robots - noindex,nofollow

12
C
На сайте с 19.09.2001
Offline
120
#11
Я разбирался. Яндекс не умеет корректно обрабатывать ответ, если ему ответить "Not Modified"

Подробнее, пожалуйста, что Яндекс не умеет.

У меня в скриптах обрабатываются If-Modified-Since и выдается 304 Not Modified, если контент не менялся, с Яндексом никаких проблем не замечал.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
Back Door Man
На сайте с 20.08.2003
Offline
151
#12
Как писал Cherny

Подробнее, пожалуйста, что Яндекс не умеет.
У меня в скриптах обрабатываются If-Modified-Since и выдается 304 Not Modified, если контент не менялся, с Яндексом никаких проблем не замечал.

С удовольствием!

Если отвечать 304, то робот с индексом "М" (подсветка "показать найденные слова") отвечает "Страница недуступна". То же самое при попытке скормить страницу с таким ответом роботу по адресу http://www.yandex.ru/info/webmaster5.html#httptest - "страница недоступна". Впрочем, это тот же робот.

Пожалуйста, расскажите подробнее, как у Вас реагирует робот на 304?

Лучше ли Яндекс стал находить реально изменившиеся страницы?

Ускорилась ли переиндексация "нужных" страниц?

Можно адрес сайта в студию? ;)

Дмитрий
[Удален]
#13

А с чего вы вообще взяли, что робот Yandex.*I пишет в каких-либо запросах if modified since?

Back Door Man
На сайте с 20.08.2003
Offline
151
#14
Как писал Interitus
А с чего вы вообще взяли, что робот Yandex.*I пишет в каких-либо запросах if modified since?

Сегалович писал.

Кроме того, это несложно проверить разобрав запрос.

C
На сайте с 19.09.2001
Offline
120
#15
А с чего вы вообще взяли, что робот Yandex.*I пишет в каких-либо запросах if modified since?

Алексей, Яндексоиды говорили неоднократно.

Если бы не было этого заголовка, как бы тогда сервера 304 отдавали, для статики, например? :)

Если отвечать 304, то робот с индексом "М" (подсветка "показать найденные слова") отвечает "Страница недуступна". То же самое при попытке скормить страницу с таким ответом роботу по адресу http://www.yandex.ru/info/webmaster5.html#httptest - "страница недоступна". Впрочем, это тот же робот.

Только что все проверил. Никаких "Страница недоступна" не нашел, все нормально, подсветка работает, 304 выдается.

Что-то у вас не так, проверяйте заголовки.

Лучше ли Яндекс стал находить реально изменившиеся страницы?

Не совсем понял вопрос. Что значит "лучше находить"?

Стал чаще их брать, потому что за один заход успевает забрать все изменившиеся документы.

Можно адрес сайта в студию?

Не дождетесь! :p

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий