Форум Поисковые системы Google

милый совет от google

12
VF
На сайте с 26.01.2002
Offline
113
VF
#11

Rambler не намного лучше

http://www.rambler.ru/doc/robots.shtml

Следующий простой файл robots.txt запрещает индексацию всех страниц сайта всем роботам, кроме робота Рамблера, которому, наоборот, разрешена индексация всех страниц сайта.

# Инструкции для всех роботов
User-agent: *
Disallow: /

# Инструкции для робота Рамблера
User-agent: StackRambler
Disallow:
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий