mastserg: Проблема не в том, что хост должен идти после юзерагента - а в том что что перед хостом идет пустая конструкция (которая ничего не делает)
Если дисалоу пустой (как в примере ТС) то не стоит его и писать, боты спотыкаются о пустые конструкции.
Это не совсем так.
Отсутствие Disallow (даже пустого) без проблем понимает Яндекс, но у других ботов с этим могут возникать проблемы, так как это не соответствует стандарту.
Я думаю, что лучше следовать стандарту и писать пустой Disallow даже для Яндекса (в любом случае хуже не будет).
AVV: Абсолютно правильный ответ платонов Яндекса.
Директива Host должна идти после User-agent, а не до него.
Также как и директива Crawl-delay, кстати. ;) :)
Яндекс, насколько мне известно, шаблоны не понимает.
Небольшая цитата в тему:
... робот Googlebot поддерживает расширенное определение стандарта. Он распознает строки Allow:, а также соответствия шаблону * и $. Поэтому когда инструмент показывает строки с такими расширениями в числе распознанных, то нужно учитывать, что это, скорее всего, применимо только к роботу Googlebot и не обязательно подходит другим роботам, которые могут сканировать ваш сайт.
2. Раз уж поменяли движок, стоило поставить 301 редирект со старых адресов на новые
3. Для проверки сайта можете дополнительно воспользоваться инструментами для веб-мастеров от Google (тут также можно будет прописать основной хост и зеркало сайта)
Проблема не в том, что хост должен идти после юзерагента - а в том что что перед хостом идет пустая конструкция (которая ничего не делает)
Если дисалоу пустой (как в примере ТС) то не стоит его и писать, боты спотыкаются о пустые конструкции.
Это не совсем так.
Отсутствие Disallow (даже пустого) без проблем понимает Яндекс, но у других ботов с этим могут возникать проблемы, так как это не соответствует стандарту.
Я думаю, что лучше следовать стандарту и писать пустой Disallow даже для Яндекса (в любом случае хуже не будет).
Exayder, а почему Вы просто не "спросите" у Яндекса: http://www.yandex.ru/cgi-bin/test-robots?host=peklamka.com
Как по мне - то все правильно.
Абсолютно правильный ответ платонов Яндекса.
Директива Host должна идти после User-agent, а не до него.
Также как и директива Crawl-delay, кстати. ;) :)
Конструкция типа:
вполне корректно определяется Яндексом (также это видно и по http://www.yandex.ru/cgi-bin/test-robots).
О том, что директива "Host" идет перед User-agent, насколько я понял, речи не идет.
Esco, если файл robots.txt на момент ответа был в точности таким, как Вы написали в Вашем первом посте, тогда ответ поддержки мне не понятен.
Как подобное реализовать для Google описано здесь: Справочный центр для веб-мастеров
Яндекс, насколько мне известно, шаблоны не понимает.
Небольшая цитата в тему:
Кредит взял у форумчанина под ником Timen, в размере 100wmz
21 декабря 2007 года, обязуюсь вернуть 115 wmz.
Выдачу кредита подтверждаю.
PS: Не знаю зачем, но на всякий случай решил все же отметиться в топике…
Я лично генерирую "болванки", после чего руками их правлю и привожу к естественному, читаемому виду.
Важно не составлять тексты сотнями и лепить их везде, а сделать их качественными и разместить на работающих площадках.
1. ожидает модерации администрацией системы
2. принимаются только страницы 1-3 уровня.
Radomir Design, а этот топик Вам чем не понравился?
/ru/forum/186724
И в аське Вы не отвечаете…
Буду первым... В течении 10 мин. закажу дизайн за отзыв.
1. Не стоило менять урл и добавлять "www"
2. Раз уж поменяли движок, стоило поставить 301 редирект со старых адресов на новые
3. Для проверки сайта можете дополнительно воспользоваться инструментами для веб-мастеров от Google (тут также можно будет прописать основной хост и зеркало сайта)