файл Robots

dima yurgensen

Для указания яндексу основного сайта (при желании правильно произвести склейку своих сайтов)

Кстати, ссылка в факе яндекса на эту тему битая: Host Directive

В целом это директива, которую понимает только Яндекс. Именно поэтому ее целесообразно включать в файл robots.txt после блока Disallow

Вообще-то, в стандартах w3c ее нет. Но тем не менее, это якобы помогает определить роботу яндекса главное зеркало. Иногда правда не работает...

dima yurgensen, для указания Яндексу основного ЗЕРКАЛА сайта. Плюс для ускорения склейки зеркал (например, ввв.сайт.ру и сайт.ру)

Добавлено: сперва написал чушь, потом поправился

Тут один товарищ рассказывал байки о том, что можно регистрировать копии сайтов-конкурентов, скажем, на Народе, и тем самым понижать его (конкурента) в выдаче.

Все это, конечно, ужасно пошло, но чисто гипотетически, такое возможно и используется ли (и, как мне кажется, на сайте-копии нужно что-то вписать в строку с Host.)?

Дима Юргенсен, это полностью справедливо:

Только делать нужно аккуратно. Я попытался склеить, на выходе получил полную дурню - трафик с яндекса упал в три раза, а главным зеркалом он посчитал вовсе не то, что я написал в директиве, а то, что указано в каталоге...

У Вас есть доступ к народному robots.txt? 😂

dima yurgensen, показывают основное зеркало Яндексу

Т.к. ссылка в FAQ в Яндексе не работает, хочу уточнить здесь, в host: url.ru/index.html покатит или...?

Разумеется есть. Роботс кладется в корень "народного" сайта.

orgasmo, попробуйте. Смиялсо.