Форум об интернет-маркетинге - Показать сообщение отдельно - Как запретить сайт к индексации Yahoo и Altavista
Показать сообщение отдельно
Старый 26.04.2008, 16:45   #5
InoffLine
Дипломник
 
Регистрация: 25.06.2007
Сообщений: 75
Репутация: 183

По умолчанию Re: Ответ: Как запретить сайт к индексации Yahoo и Altavista

Цитата:
Сообщение от SubAqua Посмотреть сообщение
User-Agent: yahoo! slurp
Disallow: /

User-agent: vscooter
Disallow: /

SubAqua добавил 01.04.2008 в 16:35
Кстати, интересно что форум вебмастерворлд вообще запрещен "на всех"
http://www.webmasterworld.com/robots.txt
Там robots.txt динамический и написан на perl.
И если ты:
PHP код:
if ($agent =~ /slurp/gi || $agent =~ /msnbot/gi || $agent =~ /Jeeves/gi || $agent =~ /googlebot/gi) { 
То тебе дается содержимое этого файла:
http://www.webmasterworld.com/robots2
А если ты не:
PHP код:
if ($agent =~ /slurp/gi || $agent =~ /msnbot/gi || $agent =~ /Jeeves/gi || $agent =~ /googlebot/gi) { 
То то что вы видите, заходя на
Код:
http://www.webmasterworld.com/robots.txt
А исходниками они кстати тоже поделились!
Код:
http://www.webmasterworld.com/robots.txt?view=producecode
InoffLine вне форума   Ответить с цитированием