Направить на основное зеркало!

Второй вариант

Вобщем, я понял, что можно и первый вариант использовать для большей верности результата. Но тут вот в чем вопрос возникает. Файл Роботс надо писать в расширении UNIX. Я не программист. Поэтому просто не понимаю как можно мне из-под виндов в таком расширении сохранить файл. То есть я просто написал его в блокноте. Как результат - Яндекс до сих пор индексирует другое зеркало. Возможно, и другие поисковики также поступают. А этот сайт отказываются индексировать. Профессионалы, подскажите, где скачать прогу, чтобы файл Роботс был написан имено в том, формате, который читают все пауки?

В любом формате можно, хоть в маковском. Прекрасно все понимают robots.txt, написанный в блокноте, лишь бы без ошибок. :)

У Яндекса с индексированием зеркал - конкретные грабли.

При проверке роботса зеркала через его проверялку - пишет, что сайт закрыт для индексации, но каждый раз упорно и настойчиво индексирует страницы с зеркал.

Парадокс ... 😕

ну не знаю, у меня при разруливании вышеназванным роботсом Яндекс прекрасно воспринимал кто главное зеркало :)

Лучше не выдумывать себе проблем и не использовать уникальную для яндексе директиву host, лучше предоставить ему самому выбрать понравившееся ему зеркало. Какая вам разница как к вам обращаются с www или без?..

Кстати, домен третьего уровня с префиксом www - это не модно.

Дело в том, что раскрутку яведу имено с префиксом. Поэтому, сейчас уже поздно отказываться о тнего. Но то,что Яндекс упорно индексирует без префикса, это уж точно, с головой у них там не в порядке. Что касается формата роботса, то на этом сайте уже не раз поднимался вопрос о том, что посиковики (и не только Яндекс) игнорируют роботс. Поэтмоу, мне кажется, что следует сделать вывод о том, что в блокноте лучшек роботс не писать. в данный момент изменил кодировку на юникод. Вроде бы эту кодировку дожны все поисковики понимать. Правда, при ручном чтении данный файл у меня почему-то не виден. НОв любом случае, роботс, напсанынй в блокноте, мне не помог. А если отказываться от префикса, то это значит, что надо будет поти по всем сайтам и каталогам, где мой сайт зрегистрирован и вручную там все исправлять. А это оооочень утомительно. Вот поэтмоу и пытаюсь что-то сделать с помощью роботса.

Но в принципе я сейчас подумал и понял, что, наверное, все же лучше заново обойти все каталоги и занести туда сайт без перфикса. Раз уж Яндекс такой тупой! н овсе же он является одним из лучших российских поисковиков. Правда оснвной трафик мне все равно гугль дает