Форум Поисковые системы Прочие поисковики

Как запретить сайт к индексации Yahoo и Altavista

ОА
На сайте с 28.04.2004
Offline
135
Олег А.
3213

Скажите пожалуйста, как запретить сайт к индексации Yahoo и Altavista.

--- Подпись нарушала п.4.14 Правил форума ----
SubAqua
На сайте с 21.10.2005
Offline
199
SubAqua
#1

User-Agent: yahoo! slurp

Disallow: /

User-agent: vscooter

Disallow: /

SubAqua добавил 01.04.2008 в 16:35

Кстати, интересно что форум вебмастерворлд вообще запрещен "на всех" :)

http://www.webmasterworld.com/robots.txt

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#2

Для обоих:

User-Agent: Slurp

Disallow: /

Источник: http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html

AltaVista сейчас использует поисковые результаты Yahoo

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
moldu
На сайте с 27.04.2006
Offline
432
moldu
#3
SubAqua:
Кстати, интересно что форум вебмастерворлд вообще запрещен "на всех"
http://www.webmasterworld.com/robots.txt

Там в первом абзаце объяснение.

Глаза боятся, а руки-крюки.
IL
На сайте с 25.06.2007
Offline
15
InoffLine
#4
SubAqua:
User-Agent: yahoo! slurp
Disallow: /

User-agent: vscooter
Disallow: /

SubAqua добавил 01.04.2008 в 16:35
Кстати, интересно что форум вебмастерворлд вообще запрещен "на всех" :)
http://www.webmasterworld.com/robots.txt

Там robots.txt динамический и написан на perl.

И если ты: 

if ($agent =~ /slurp/gi || $agent =~ /msnbot/gi || $agent =~ /Jeeves/gi || $agent =~ /googlebot/gi) {

То тебе дается содержимое этого файла:

http://www.webmasterworld.com/robots2

А если ты не: 

if ($agent =~ /slurp/gi || $agent =~ /msnbot/gi || $agent =~ /Jeeves/gi || $agent =~ /googlebot/gi) {

То то что вы видите, заходя на 

http://www.webmasterworld.com/robots.txt

А исходниками они кстати тоже поделились! 

http://www.webmasterworld.com/robots.txt?view=producecode
Garin&Klubok
На сайте с 22.11.2002
Offline
111
Garin&Klubok
#5
Олег А.:
Скажите пожалуйста, как запретить сайт к индексации Yahoo и Altavista.

Еще вот такая вещь помогает

Прописать правило в .htaccess 

RewriteCond %{HTTP_USER_AGENT}  Yahoo [NC,OR]

RewriteCond %{HTTP_USER_AGENT}  WebAlta [NC]

RewriteRule (.*) - [G,L]

Флаг G - Сервер выдает статус "410 Gone". В отличие от статуса 403 и 404, которые могут быть временными (по протоколу HTTP), боту сообщается открытым текстом "данная страница не потеряна, а удалена". Недовольный бот голодным возвращается домой.

KlubOK - управление качеством (http://www.klubok.net/) Мой канал YouTube (https://www.youtube.com/user/garinklubok)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий