stifler_x, а как насчёт того, что в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву '"Host" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow"?
Да.
Ага, а Земля стоит на трех слонах, слоны на трех китах, а киты на черепахе плававающей во Всемирном океане.
Нет, не всё, robots.txt составлен некорректно.
Директиву "Host" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow".
Насильно-то проканают, только ТС это зачем?
1 : 1
Я создаю Интернет! :)
Да ладно, можно подумать без World of Warcraft пацаны никогда не дрались.
Сани едут!
Больший врятли, а вот такие пожалуйста:
- вяхирь;
- витютень;
- турман;
- гулька;
- сизокрылый;
- крылатый почтальон;
- гуля;
- птица мира;
- сизарь.
и т.д.
P.S. по цифре Я.Директа "голуби" не 172803, а 142391. ;)
Эка оказия сталась!
Надо срочно исправлять сию несомненную недоработку, благо есть ещё время.
А то потом у-у-у... :)
Всё, осилил.
Ссылка в результатах поиска "Показать всё без предпочтений" доступна лишь украинским пользователям Yandex. Так что ТС, находящемуся в Питере это не представляется возможным.
В общем, всё равно мимо. :)
