Гугль игнорирует robots.txt ?

Interitus, Кажется, Host не только Яндекс поддерживает, но и другие поисковики, например Рамблер. Я потому и подумал, что так будет лучше. Не хочется чтоб были проблемы с адресом с префиксом www и без него. А раньше были, до введения директивы Host. Или я ошибаюсь, и это на самом деле не так?

Вообще-то можно написать и так, как вы написали. Просто по стандарту robots.txt должно игнорироваться незнакомое поле, а не секция целиком. То есть если другие поисковики будут следовать стандарту, а не брать пример с Гугля - то всё будет хорошо.

Интересно... вот прочитал:

Например, робот поисковой системы Google понимает расширенный формат robots.txt (в него входит, в частности, директива Allow для задания ссылок, доступ к которым разрешен, и директива Host для тех случаев, когда robots.txt описывает несколько веб-сайтов, либо один веб-сайт с несколькими "зеркалами".

взято отсюда: http://www.datapark.ru/CHulan/Upravlenierobotami.html

Это неверная инфа что-ли?

Насчет Host: неверная, Allow: правда понимает.

Сделал, как написал выше. Как к этому отнёсся Гугль, пока не знаю, ещё не было реакции.

А вот Апорт почему-то проиндексировал запрешённые страницы, до этого было всё нормально.

Правда подозреваю, что дело может быть в другом...

Когда менял robots.txt, прочитал, что он оказывается должен быть в юникс-формате, т.е. символом перевода строки должно быть не \r\n а \n. Вот и поменял формат и тогда залил.

Хотя до этого всегда использовал формат \r\n, проблем не замечал.

Собственно, вопрос, так в каком формате всё-таки правильно делать robots.txt?

Смотрю я по логам и четко вижу, что игнорируют роботс.тхт практически все.

Если не лазить с гугл-баром, то не игнорирует, а с баром везде лазит, даже по https :).

И всё-таки, в каком формате правильно делать robots.txt, виндовом или юниксовом?

А Гугль продолжает индексить всё подряд, несмотря на переписанный robots.txt... И в том числе индексит то, что запрещено в мета-тегах...

Я тоже задавал вопрос про то, в каком формате писат ьроботс. По-моему Шмель сказал, что в Виндовом тоже читает. Хотя. конечно, не все поисковики смогут в этом формате прочесть. Это уж наверняка. но я не программист, а проги, которая в другомформате даст мне роботс нет .Так что у меня выхода нет. Придется писать в блокноте.