Форум Поисковые системы Яндекс

Робот Гугля не понимает яндексовского robots.txt?

wolf
На сайте с 13.03.2001
Offline
1183
wolf
604

Совершенно случайно обнаружил, что Гуглем проиндексированы некоторые страницы, запрещенные к индексации Яндексовским файлом robots.txt

Смотрим http://www.yandex.ru/robots.txt :


User-Agent: *
Disallow: /yandsearch
Disallow: /yandpage
Disallow: /yandbtm
Disallow: /subscribe/view.pl
Disallow: /last20.html
Disallow: /cgi-bin/
Disallow: /yaca
Disallow: /cy
Disallow: /ie3/yandsearch
Disallow: /redir
Disallow: /norobot

Теперь делаем запрос в Гугль: http://www.google.com/search?hl=ru&q=www.yandex.ru%2Fyandsearch и видим, что Гуглю известна страница www.yandex.ru/yandsearch , запрещенная файлом robots.txt для индексирования. То же самое и с некоторыми другими страницами из запрещенного списка.

Что бы это значило? Робот Гугля не относится к вежливым (что вряд ли) либо что-то еще?

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
AiK
На сайте с 27.10.2000
Offline
257
AiK
#1

ИМХО все нормально. Инфы про страницу он никакой не выдаёт, а знает он её вот из-за этого

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#2

Ну да, судя по всему, текст подобных страниц Гугль не индексирует, хотя знает их немало . А жаль - промелькнула было мыслишка поднять PageRank за счет страниц с результатами поиска с Яндекса. Но, как говорится, это слишком хорошо, чтобы быть правдой.

[This message has been edited by wolf (edited 08-01-2002).]

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий