dizpers

У тебя ведь и в браузере квадратики вместо кодировки выдает, так? Тебе нужно браузером подобрать нужную кодировку - при которой все нормально отображается и потом в корень сайта в .htaccess вписать эту кодировку при помощи директивы AddDefaultCharset

а как это проверить?:)

PS

кстати, в поисках методово оптимизации сайтов, в сети наткнулся на такой вариант .htaccess (который я с радостью и использую):

<IfModule mod_expires.c>
  ExpiresActive On
  ExpiresDefault A86400    
  ExpiresByType image/x-icon A2592000
  ExpiresByType application/x-javascript A2592000
  ExpiresByType text/css A2592000
  ExpiresByType image/gif A604800
  ExpiresByType image/png A604800
  ExpiresByType image/jpeg A604800
  ExpiresByType text/plain A604800
  ExpiresByType application/x-shockwave-flash A604800
  ExpiresByType video/x-flv A604800
  ExpiresByType application/pdf A604800
  ExpiresByType text/html A900
</IfModule>


<IfModule mod_header.c>
  # 3 Month
  <FilesMatch "\.(flv|gif|jpg|jpeg|png|ico|swf)$">
    Header set Cache-Control "max-age=7257600"
  </FilesMatch>
  # 1 Week
  <FilesMatch "\.(js|css|pdf|txt)$">
    Header set Cache-Control "max-age=604800"
  </FilesMatch>
  # 10 Minutes
  <FilesMatch "\.(html|htm)$">
    Header set Cache-Control "max-age=600"
  </FilesMatch>
  # NONE
  <FilesMatch "\.(pl|php|cgi|spl)$">
    Header unset Cache-Control
    Header unset Expires
    Header unset Last-Modified
    FileETag None
    Header unset Pragma
  </FilesMatch>
</IfModule>

Значит то, что у вас высчитвается при помощи:

trim(stripslashes($match[0]),'"').'/'.$parts['basename']

выдает либо 1 либо /

Сделайте перед выводом в файл echo - то что выводит echo и то что пишется в файл - одно и то же?

Проверьте - правильно ли работает запись в файл:

$file = fopen("writetesting.txt","w");

$link = 'works great!';

fwrite($file, $link);

fclose($file);  

Изначально не выставлял вообще никакого Crawl-delay - сайт во время этих нагрузок уходил в 502ую. Выставл 5 сек - сайт перестал падать, но памяти остается 200-300мб (из 4гб). Сколько вообще можно максимум установить этот параметр? Я вот думал - а можно ли как то сказать боту, чтобы он не индексирова каждый день старые картинки - они не обновиляются.

$file = fopen("out.txt","w");
$link = trim(stripslashes($match[0]),'"').'/'.$parts['basename'];
fwrite($file, $link);
fclose($file);

должно работать:)

гугл мне рассказал про это и это

А если в браузере используемую кодировку менять на утф8 - это помогает или нет?