Необычный robots.txt

greencoma
На сайте с 04.11.2009
Offline
83
447

Приветствую. Наткнулся на сетку ГС, у кототрых в роботс.тхт содержится следующее:

User-agent: Yandex

Disallow:

Host:

User-agent: Googlebot

Disallow:

Host:

User-agent: *

Disallow: /

С последней командой все понятно, а вот смысл первых двух не могу догнать. Точнее, непонятно, как будут реагировать ПС на пустые значения полей host и disallow. Проигнорируют или пустые значения тоже что-то означают?

Константинович
На сайте с 13.09.2008
Offline
319
#1
greencoma:
User-agent: Yandex
Disallow:
Host:

User-agent: Googlebot
Disallow:
Host:

Разрешает индексацию для яндекса и google

greencoma:
User-agent: *
Disallow: /

запрет индексации для остальных поисковиков

Нужны финансы? Быстрая скупка (http://dragmettorg.com/skupka_zolota/). Цены на сайте. А потом отыграй из на казино онлайн правила (http://premium-games.ru/)
vandamme
На сайте с 30.11.2008
Offline
675
#2
greencoma:
как будут реагировать ПС на пустые значения полей host

никак не будут реагировать, точнее яндекс не будет, а для гугля такой инструкции нет

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий