Книжку Ашманова можно почитать. Для начинающего - в самый раз.
Вот отзыв с кратким содержанием и ссылки !
Начиная с 6-й главы более-менее конкретно, что надо делать, на что обращать внимание.
Ужас, это ж надо сколько нафлеймили. Нашли, что вывешивать.
может все-таки в поисковую систему, а не каталог?
Вы сами запретили индексацию всего сайта всеми роботами кроме Рамблеровского. Уберите там первые 2 строчки.
Черные списки - это другое, туда вы еще успеете :).
Знакомый ездил в Якутск, там тоже теплая зима, -38. А обычно -55 :).
Да нет здесь секции *.
А вот строки Disallow действительно не хватает.
Цитата оттуда же (в случае, если запрещать ничего не надо):
К тому же http://robotstxt.org.ru - это не первоисточник мудрости, хотя и хороший ресурс :).
А вообще интересно, вроде простая тема, а столько желающих дать неточный совет ...
Почитайте стандарт, в блоке не должно быть пустых строк!
"The file consists of one or more records separated by one or more blank lines "
Блин, электрик нанялся обслуживать эту биржу. А Яндекс к оптимизаторам не нанимался. Чувствуете разницу? :).
А еще надо убрать все пустые строки!
А User-Agent лучше написать: Yandex
т.к. остальные этот блок не поймут, не надо их смущать.
Традиция Яндекса - не информировать о своих планах, это хорошо известно.
Тем более об изменениях во внутренней кухне. И это правильно.
Если файлы *.txt обрабытываются через SSI, то вполне может быть.
Когда-то в хелпе Яндекса висел аналогичный совет с примером для 100% выбора зеркала для всех поисковиков.
