Содержание robots.txt

Верно, посмотрите последний пункт в частых ошибках, возможно стоит поставить слеши перед именами файлов, но на индексирование сайта в целом это неповлияет

Disallow: /tcinfo_arenlist.php

и т.д. ))

Данные файлы лежат в корневой директории и слеши вставлять не нужно.

Посмотрите, что об этом думает яндекс:

http://www.yandex.ru/cgi-bin/test-robots

:)

хотел спросить...

прописали такой роботс -

User-agent: Yandex
Disallow:
Host: www.site.ru

User-agent: *
Disallow:

сайт новый...www и без ещё яндекс не склеил...при проверке пишет если с www то всё нормально...если без - то

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера clean-eco.ru:80 запрещена полностью.

я всё правильно сделал ?

да все правильно, хотя я бы, блок для всех пауков поставил на первое место, на всякий случай, а то чужой робот на директиве Host: спотыкнется. Хотя может перестраховываюсь.

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.site.ru

а то что пишет

не стоит беспокоиться ?

Вы же сами сказали, что сайт будет виден без www, директива Host: www.clean-eco.ru сделала свое дело..

Это вы напрасно так считаете, потому что в стандарте написано совсем другое:

"any URL that starts with this value will not be retrieved. For example,

Disallow: /help

disallows both /help.html and /help/index.html, whereas

Disallow: /help/

would disallow /help/index.html but allow /help.html. "

А все урлы начинаются со слеша.