robots.txt запретить поддомены

esenin, в HC (РБК) была та же проблемма. Теребил техподдержку, они что то там сделали у себя, и все вроде стало нормально.

Работало долго, на abrakadabra.site.ru выдавало 404, пока мне не понадобился поддомен. Создать не смог, стал опять им писать, они и поведали страшную историю что запретили все с именем *.site.ru. Я попросил разблокировать, разблокировали, теперь работает поддомен nujnoe.site.ru, но abrakadabra.site.ru опять ведет на site.ru

у ажиотажа тот же хостинг :) с ним как раз в асе обсуждали

esenin добавил 22.03.2008 в 19:20

То есть если я в корневой каталог сайта www.site.ru положу robots.txt с содержанием

User-agent: *

Disallow: /

Host: site1.site.ru

Host: site2.site.ru

Host: site3.site.ru

то site1.site.ru site2.site.ru site3.site.ru исключатся поисковичами из индекса ?

esenin, НЕТ.

это полная ***, директива host никакого отношения не имеет к индексации, только якобы к выбору основного зеркала, и то сомнительно.

что нужно делать:

1. с разбега бить по яйцам поддержку хостера.

2. делать клоакинг роботса. т.е. роботс должен не файлом лежать. а генериться скриптом. скрипт, имея список разрешенных доменов 3го уровня, на попытку обращения к несуществующему должен отдавать

да уже понял что тупанул :)

у кого-нибудь есть пример скрипта ?

спасибо

Вот тут прокрутите 1 страницу вниз. В примере разрешена индексация только домена www.xxxx.ru .

"Обычно для этого в .htaccess добавляют строчку:

AddHandler server-parsed .txt

После этого надо разместить следующий robots.txt :

< !--#if expr=" \"${HTTP_HOST}\" != \"www.xxxx.ru\" " -- >

User-Agent: *

Disallow: /

< !--#endif -->

"

Всё верно. Просто его домен в моём акаунте :)

Отписал админу - говорят это проблема DNS была, типа починили, ждите 24 часа.

вашу проблему замечательно лечит директива хост - для пс все остальное зеркала. пропишите основной домен и все. если одна и таже страница отдается по всем поддоменам, то и роботс тот же. а поскольку в нем есть директива хост - пс сразу увидит принадлежность и поклеит.

siv, и гугль поклеет?

гугль может и не поклеит, тут про яндекс вроде вопрос был )

Чтобы не открывать новую тему по тому же самому вопросу.. Есть реальный поддомен, который надо убрать из индексации яндекса. Правильно ли написали роботс или там есть ошибки?

При этом нужно, чтоб роботс лежал в корне самого сайта, т.к. с запихиванием в корень к поддомену есть сложности политического характера. :) Или не сработает?