Вопрос по robots.txt

Желательно и в первом и во втором.

---------- Добавлено 14.02.2013 в 00:48 ----------

User-agent: *

Disallow: /admin.php

Disallow: /engine/go.php

..........

Host: site.ru





User-agent: Yandex

Disallow: /admin.php

Disallow: /engine/go.php

..........

Host: site.ru

Тогда смысл отдельно прописывать? Тогда вроде как первого варианта должно быть достаточно

директива host является корректной только для робота Яндекса, для него только и прописывают

Зачем?....

Зачем тогда дублировать одни и те же правила?

По некоторым данным информация устаревшая. Так и не так много поисковых ботов, все читают и понимают если встречается незнакомая директива пропуская ее.

sea_dream, у Яндекса есть сервис по проверке robots.txt Загружаете туда ваш роботс и Яндекс покажет какие строки от учитывает и не надо два раза host указывать, Яндекс прекрасно и один видит.

Пардон, на первый взгляд показалось, что ТС имеет ввиду сами дерективы. Хостс и сайтмап писать единоразово, а вот каталоги стоит продублировать или прописать под ПС индивидуально.

Это не имеет смысла...

вот если мы что-то отдельно, от других ПС, хотим запретить или разрешить то да, а просто дублировать незачем...