Поисковики не ходят на сайт уже более 20 дней ...

Насколько я знаю, слово агент надо написать обязательно с маленькой буквы, то есть:

User-agent: *

Disallow:

Почемучкин,

Думаю, что дело вообще не в robots.txt

Этот файл я создал не так давно (около недели назад). Просто в логах сервера нашёл ошибку, что сервак его запрашивает - вот и создал его.

До моего вмешательства в раскрутку сайта роботы посещали его раз в 6-15 дней (судя по тем же логам)

А что выдает сервер по запросу Last-modified?

Не понял, ты про последнюю модификацию файла?

Если это узнавать с помощью phpinfo(); - то естественно это и будет время последнего сохранения этого файла.

Или я что не так понял?

Last-Modified - часть http - заголовока, который сервер выдает

поисковику при запросе странички. означает, когда она была обновлена.

Как правильно заметил redLey, это время последнего изменения файла. Просто если у Вас РНР страницы, сервер может не выдавать этого заголовка или выдавать, но привязанный к файлу, а не содержимому. Когда сайт статичный, то все в ажуре, но с динамикой могут быть проблемы. Я вот, например, на частообновляемых сайтах ставлю динамический ласт-модифиед, если сайт обновляется не очень часто, то указываю время изменения вручную.

Но даже "красивый" заголовок не гарантирует переиндексации страницы. В последнее время кое-где наблюдаю игнорирование Яндекса ласт-модифиед. Видимо, решение о переиндексации теперь принимается на основе анализа количества изменений.

Oniks, redLey,

Так каким макаром мне определить Last-Modified ?

Для этого что-то в конфиге апача надо подправить? Или какимто хитрым запросом можно?

Вот нашёл на сайте : http://www.webkuban.ru/utilites/

Но мой сайт по их данным:

"Сервер не возвращает дату последнего изменения!

Кодировка: windows-1251"

Есть 2 способа:

1. Обратиться к хостеру с просьбой внести соответствующие изменения в конфигурацию сервера (это сделают единицы)(возможно, это как-то можно указать через .htaccess, но как...);

2. Вставить в каждую страничку такой РНР код:

header('Last-Modified: Fri, 1 Jan 2005 06:05:33 GMT');

Но это будет неудобно, я всегда на все страницы сайта добавляю вот такой код:

include('../folder/http_header.php');

а в самом файле прописываю заголовок. Если на сайте были какие-то изменения, то я просто записываю дату этих изменений. И мне хорошо, и ПС не в накладе:). Можно сделать динамический заголовок, добавив туда функцию date, но это чревато игнорированием ПС заголовка, но просто необходимо, если у Вас новостной сайт.