технический ?: влияние HTTP заголовков сервера на индексацию страницы краулером Я

stealthy
На сайте с 15.06.2006
Offline
69
621

В прошлом году сталкивался с проблемой - из-за отсутствия HTTP заголовка Content-length, который генерировался скриптом, Яндекс наотрез отказывался индексировать страницу.

Если ли у кого-то похожие ситуации? Какие заголовки влияют на индексацию в плюс или в минус?

Уточняю: домыслы меня не интересуют, только проверенные факты.

Twilight CMS (http://www.twl.ru): есть Free версия, очень проста и удобна в использовании. Консультирую по любым вопросам. Новый спорт - практическая стрельба (http://nikit.in) - не для офисного планктона.
AVV
На сайте с 31.07.2006
Offline
84
AVV
#1

Вот конкретный пример:

/ru/forum/65412

filosof
На сайте с 29.10.2005
Offline
171
#2

Как думаете, а заголовки отвечающие за кеширование (время изменения страницы, действительна до... ) влияют?

stealthy
На сайте с 15.06.2006
Offline
69
#3

Если Вы о Cache-Control, Pragma, Last-Modified и Expires - не замечал, чтобы влияли. У меня на паре хостингов Apache самостоятельно пишет вдобавок к моим свой заголовок Expires совпадающий по дате с текущей датой (ну и временем, конечно). И сайты нормально индексируются.

Точно совершенно накопал проблему с заголовком Date. Если его совсем нет - в выдаче сайты показываются с очень старой датой, предположительно датой, когда сайт этот заголовок выдавал в последний раз. Случай, когда такого заголовка вовсе не было с самого начала последний раз у меня если и был то очень давно, сказать нчиего не могу. Индексирует при этом Яндекс их или нет - точно не знаю, но вероятно нет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий