Хочу разрешить доступ к сайту только роботу-зеркальщику Яндекса, корректен ли будет т

VA
На сайте с 17.08.2008
Offline
10
511

Корректен ли будет такой robots.txt?


User-agent: Yandex/1.01.001 (compatible; Win16; H)
Disallow:
Host: www.glavnuj_site.ru

User-agent: *
Disallow: /
Dreammaker
На сайте с 20.04.2006
Offline
569
#1

Нет.

Для яндексовских роботов юзер-агент - Yandex

а так-то зеркальщик плюёт на роботс.тхт (даже если указано Disallow: / для яндекса) и лазит по сайту.

По крайней мере, так некоторое время назад было.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий