Вопрос по robots.txt

Отвечаю.

1. Узнал на Яндексе, по той же ссылке, где и все.

2. Изначально я составил все правильно. Там все нормально написано, понятно то есть. Сюда запостил, чтобы уточнить. Уточнил. Хотя первый ответ поставил меня в тупик вначале.

Я писал в саппорт, посмотрели мой роботс, сказали, что неправильно :) за что спасибо :) и сказали, что само склеится.... только вот уже тоже около месяца не клеится :(

Exteris, еще раз даю полезную ссылку:

http://kako.yandex.ru/cgi-bin/test-robots

yax, значит, не так уж все и плохо :)

Avatar,

> полноценный живой Роботс.тхт

Надеюсь, что-то вроде этого когда-нибудь и сделаем, но только вместе с обновлением всего хелпа.

Господа, а где нужно разместить robots.txt с указанием в host главного зеркала? На главном зеркале или на том, которое не должно быть главным?

Как я понял, хост нужно указывать во всех роботсах (и зеркал, и главного ресурса)

Да и лишним он не будет

Уважаемый melkov, указанная форма проверки безусловно удобна, но если можно включите в её ответ комментарий по поводу главного зеркала определенного директивой host. А то, знаете ли, страшно видеть, что твои домены запрещены к индексации полностью.

То есть примерно так (для зеркал при имеющейся дерективе host)

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера ****.ru:80 запрещена полностью.

Главное зеркало указано в директиве host как бла-бла-бла.ru

Успешно воспользовался в свое время директивой host для указания главного зеркала в Яндекс. Но как указать главное зеркало для Рамблера??

Уговорить Кеву и VS включить обработку дерективы host. Или хотя бы добиться от них комментариев :)

У меня кстати зеркала дня 4 назад склеились :)