Host: или черти - что...

Нет, конечно не ручаюсь.

Тогда я вообще ничего не понимаю, в последний апдейт у меня страницы без www, выпали с поиска, а страници с www остались.

Хотя 1,5 месяца назад в роботсе прописал:

Host: peklamka.com

В чём может быть причина?

Так напишите в саппорт, если это для вас важно. Было бы мне важно, я бы уже давно написАл? ;)

Наверно надо будет всё таки писать в саппорт, но просто я ещё не до конца уверен, что у меня robots.txt составлен правильно.

+ учесть, что директива host носит рекомендательный характер

т.е. захотел бот - учел, не захотел - склеил как посчитал нужным

+ замечено у себя, что при проверке роботса, Я. неверно определяет

для себя директивы, если они идут после общих

Esco, посмотрите эту тему /ru/forum/21783

Проблема не в том, что хост должен идти после юзерагента - а в том что что перед хостом идет пустая конструкция (которая ничего не делает)

Если дисалоу пустой (как в примере ТС) то не стоит его и писать, боты спотыкаются о пустые конструкции.

Если директива Disallow будет пустой, это значит, что робот может индексировать ВСЕ файлы. Как минимум одна директива Disallow должна присутствовать для каждого поля User-agent, чтобы robots.txt считался верным.

http://webmascon.com/topics/adv/8a.asp

Это не совсем так.

Отсутствие Disallow (даже пустого) без проблем понимает Яндекс, но у других ботов с этим могут возникать проблемы, так как это не соответствует стандарту.

Я думаю, что лучше следовать стандарту и писать пустой Disallow даже для Яндекса (в любом случае хуже не будет).

У меня были проблемы с удалением урл пока в robots.txt было User-agent

после того как исправил на User-Agent все заработало

Перед началом блока параметров для следующего робота обязательно наличие пустой строки, определяющей завершение предыдущего блока. Иначе файл будет считаться с ошибкой.

Пустая строка является окончанием блока параметров для одного робота и началом блока параметров для следующего.

См. спецификацию robots.txt