rdm123, можете пояснить свой первый вопрос?
В robots.txt можно писать что угодно, но какой смысл в запрете индексации каталога /forum.site/ на этом сайте? Сейчас строчка с "Disallow" предписывает поисковикам игнорировать адреса вида http://www.site.ru/forum.site/* как будто такие адреса вообще есть
Несколько лет назад я поднимал поддомен на сайте, размещённом на мастерхосте (тоже для форума) - никаких проблем не было, всё сделали быстро и чётко. Позвоните им в поддержку по бесплатному номеру 8-800-200-97-20 - я думаю, всё быстро сделают. Да и на почту они обычно оперативно отвечали мне... Может у Вас спам-фильтр зло настроен, поэтому не пропускает ответы от их поддержки?
Разные домены у одного сайта обычно нужны для облегчения жизни людям, которые не могут идеально запомнить точный адрес.
У google.com есть адрес gppgle.com, например, чтобы помочь тем, кто опечатался в адресе (набрал "p" вместо "o", так как эти буквы находятся рядом на клавиатуре). Некоторые компании имеют короткие адреса для лёгкого запоминания и длинные - чтобы в строке браузера было полное название организации (на этот адрес обычно редиректят с короткого).
Есть два способа:
1. Поставить счётчик посещений (li.ru, например) - он посчитает запросы, по которым уже приходят на страницы. Если создать в нём фильтры для страни, то можно увидеть запросы, ведущие на конкретную страницу.
2. Обратиться в специальный сервис, который систематически мониторит выдачу поисковиков по большому количеству запросов. Сервис выдаст список запросов, по которым сайт попадает в первые столько-то результатов выдачи. Но это денег стоит, поскольку сам по себе процесс генерации такой базы очень долог и дорог.
Ну и 301-ых редиректов можно сделать на неосновных доменах, чтобы не оставить шансов не клеить.
Ну да. Поэтому постоянно приходится мониторить IP, с которых ходят роботы, представляющиеся поисковиками. Чтобы оперативно вносить их в список поисковиков :)
Но я не верю в осмысленность всей этой деятельности - контент всё равно уведут, если захотят :(
Можно делать так: формируется группа НЧ запросов (несколько сотен тысяч, так?), из них выбирается случайная контрольная группа (500-2000), для которой меряются позиции. Тонкость в том, что исполнители работы не должны знать состав этой контрольной группы (чтобы не хитрить).
После выполнения работ по продвижению, проводим повторный замер контрольной группы. Если по ним многое подросло, то, скорее всего, и по остальным НЧ запросам успех есть. Можно прикинуть примерный уровень роста позиций... Как-то так.
Но тогда исходная цель (защита от граббинка контента) отдалится ещё сильнее, так как любой балбес сможет прикинуться поисковиком. Если отличать поисковики, то по IP, а не по агенту.
С другой стороны, как только сайт попадёт в кэши поисковиков, его оттуда легко заберут, вообще не тревожа сервер топикстартера.
greysniper, я бы не ожидал от роботов приёма кук. Но Вы легко можете выяснить точный ответ на этот вопрос для разных роботов, проанализировав свои логи. И, скорее всего, Вы убедитесь в том, что куки они не едят.
2 недели - маленький срок. Если эффект будет, то не такой резвый.
Но полезно было бы сначала воспользоваться webmaster.yandex.ru (подробнее - http://help.yandex.ru/webmaster/?id=995299). Возможно, это даст Вам необходимую информацию.
Есть ли возможность посмотреть в собственные серверные логи? Там самые точные даты.
Если ПС не показывает дату индексации, то другого пути я не вижу.
