robots.txt

допускается если не хотите, чтоб ботам при запросе отдавалась 404 страница, но если не сложно положить пустой файл, то не так уж и сложно будет прописать в нем 2-3 строки.

А зачем?

10 роботсов.

есть какие то основные правила?

Читаем тут:

или тут: http://www.yandex.ru/yandsearch?stype=www&nl=0&text=robots.txt

Благодарю :)

В этом есть какой-то тайный сакральный смысл? :)

Никакого подсмысла. По многим источникам расходятся мнения по поводу Пустого и описаного robots.txt. Хотел узнать мнения. Если ставите минусы коментируйте плиз

Вот еще почитайте - http://robotstxt.org.ru

НЕ нашел ответа - что такое в robots строка такого типа: host: www.site.com

Для яндекса - что считать основным доменом