Alden, на что влияет описание? :)
Radli, вообще так нельзя делать, пункт 1,2 не подходят. Hx - должен быть заголовком, а <a href... ссылкой.
Чем лучше?
Каширин, вот-вот, меня это тоже заинтриговало. ;)
добрый я, такой наивный вот вопрос, а для чего оно надо? :)
Поехал бы в Чехию, но в этом году видимо не сутьба. :)
Так зачем гуглю игнорировать, если можно написать всё правильно и корректно? :) :p
Вот эта фраза ключевая. :)
http://robotstxt.org.ru/RobotstxtErrors?v=lfi#h83-16 :)
woodworld,
User-Agent: Yandex
Disallow:
Host: www.site.ru
Костя, а так:
User-Agent: *
неверно :)
