Это не совсем так.
Отсутствие Disallow (даже пустого) без проблем понимает Яндекс, но у других ботов с этим могут возникать проблемы, так как это не соответствует стандарту.
Я думаю, что лучше следовать стандарту и писать пустой Disallow даже для Яндекса (в любом случае хуже не будет).
Exayder, а почему Вы просто не "спросите" у Яндекса: http://www.yandex.ru/cgi-bin/test-robots?host=peklamka.com
Как по мне - то все правильно.
Конструкция типа:
User-agent: Yandex Disallow: Host: www.site.ru
вполне корректно определяется Яндексом (также это видно и по http://www.yandex.ru/cgi-bin/test-robots).
О том, что директива "Host" идет перед User-agent, насколько я понял, речи не идет.
Esco, если файл robots.txt на момент ответа был в точности таким, как Вы написали в Вашем первом посте, тогда ответ поддержки мне не понятен.
Как подобное реализовать для Google описано здесь: Справочный центр для веб-мастеров
Яндекс, насколько мне известно, шаблоны не понимает.
Небольшая цитата в тему:
Выдачу кредита подтверждаю.
PS: Не знаю зачем, но на всякий случай решил все же отметиться в топике…
Я лично генерирую "болванки", после чего руками их правлю и привожу к естественному, читаемому виду.
Важно не составлять тексты сотнями и лепить их везде, а сделать их качественными и разместить на работающих площадках.
1. ожидает модерации администрацией системы
2. принимаются только страницы 1-3 уровня.
Radomir Design, а этот топик Вам чем не понравился?
/ru/forum/186724
И в аське Вы не отвечаете…
Буду первым... В течении 10 мин. закажу дизайн за отзыв.
1. Не стоило менять урл и добавлять "www"
2. Раз уж поменяли движок, стоило поставить 301 редирект со старых адресов на новые
3. Для проверки сайта можете дополнительно воспользоваться инструментами для веб-мастеров от Google (тут также можно будет прописать основной хост и зеркало сайта)
