Форум Поисковые системы Яндекс

Яндекс & robots.txt

1 234
BigBrother
На сайте с 16.06.2006
Offline
96
BigBrother
#31
Maxime:
Добавка: валидатор http://tool.motoricerca.info/robots-checker.phtml проблем со сжатием не находит, ровно как и robots.txt analysis в Google sitemaps (последняя проверка September 25, 2006 11:09:21 AM PDT). Выходит, всё-таки дело именно в вашем боте.

1) Accept-encoding бот не присылает - проверь по логам.

2) То, что сейчас выдается непакованный robots.txt - не значит, что он не выдавался. Я смотрел его по нашей базе - там пакованный. По-моему у кого-то просто был баг, и этот кто-то - не Яндекс.

3) Если перестал отдавать зип - все учтется нормально при обходе.

So many kings, but few jokers!
M
На сайте с 29.03.2003
Offline
65
Maxime
#32

Это шалило кэширование в mod_proxy у Апача. Судя по всему оно так шалит в каждом стандартном апаче, - лишний повод прикрутить поддержку сжатого контента к боту, а то он у вас отсталый какой-то, - большинсво ботов уже поддерживают эту фичу.

Проверь свои запросы: Вершки Рунета (http://www.43n39e.ru/)
M
На сайте с 29.03.2003
Offline
65
Maxime
#33

Сжатие для text/plain убрано вообще, т.е. robots.txt не сжимается ни для кого, а безобразия продолжают нарушаться:


213.180.217.218 - - [29/Sep/2006:17:21:56 +0400] "GET /robots.txt HTTP/1.1" 200 3377 "Yandex/1.01.001 (compatible; Win16; H)" "A-Encoding:-" "C-Encoding:-"

213.180.206.248 - - [29/Sep/2006:18:07:10 +0400] "GET /robots.txt HTTP/1.1" 200 3377 "Yandex/1.01.001 (compatible; Win16; I)" "A-Encoding:-" "C-Encoding:-"

213.180.214.133 - - [29/Sep/2006:19:05:25 +0400] "GET /cgi-bin/search.cgi.ru?q=%D0%A1%D0%BE%D1%87%D0%B8&m=near&sp=1&sy=0&s=DRP&tmplt=rss.htm.ru HTTP/1.1" 200 27164 "YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) 0 readers" "A-Encoding:-" "C-Encoding:-"

"A-Encoding:-" и "C-Encoding:-" означают, что сжатие при передаче не запрашивалось и контент уехал несжатым соответсвенно.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий