Яндекс выбрал главным зеркалом сайт, закрытый от индексирования

12
K
На сайте с 31.01.2001
Offline
737
#11

1) User-agent: Yandex

а у вас *, вы рискуете, давая остальным роботам непонятные для них директивы в секции.

2)"Адрес totalinfo.ru/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска."

Если вы сделали все правильно, вам больше не надо ничего делать, просто ждите, занимайтесь другими делами и следите за логами, если хотите полностью быть в курсе происходящего. Да, кстати, будет неплохо, если в логи записывается не только адрес взятой страницы, но и к какому хосту обращался робот.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
SZ
На сайте с 17.08.2005
Offline
63
#12
Сервис http://www.yandex.ru/cgi-bin/test-robots показывает, что http://totalinfo.ru полностью закрыт для индексции, хотя robots.txt ничего не запрещает. Что это? Яндекс закэшировал старый robots?

Этот сервис для всех сайтов, у которых в host прописан адрес, отличный от проверяемого, так выдает.

Bloody dude
На сайте с 16.03.2006
Offline
68
#13

У меня похожая проблема. Главное зеркало Яндекс, похоже, определил по каталогу, а не по директиве хост. Алиас, который был указан главным в роботс.тхт из индекса вылетел... А вслед за этим и траф с яндекса упал в разы. Самое смешное, что его искалку сейчас используют и бигмир с мэйл.ру. С них тоже упало все в разы:)

Внес в роботс.тхт директиву хост в соответствии с хотелками Яндекса и жду. Потихоньку, вроде бы, жизнь налаживаеццо

Вообще директива хост - это глупая авантюра. Лучше с ней не играться. Поэкспериминтировал, остался недоволен:)

А если Яндекс выбрал что-то главным зеркалом, то расслабьтесь и попытайтесь получить удовольствие. Поддерживайте его (зеркало) в нормальном состоянии, а пока работает, поставьте редиректы. Это будет, конечно, дольше, чем волшебная директива хост, но:

- для всех поисковиков;

- без вываливания из индекса чего попало.

L
На сайте с 24.10.2005
Offline
24
#14
pro-maker:
Сколько прошло времени?

Третий день уж...

Kost:
Если вы сделали все правильно, вам больше не надо ничего делать, просто ждите, занимайтесь другими делами и следите за логами, если хотите полностью быть в курсе происходящего.

Так и сделаю :) Просто не была уверена, что все сделано правильно...

SergoZD:
Это сервис для всех сайтов, у которых в host прописан адрес, отличный от проверяемого, так выдает.

Точно! Спасибо - успокоили.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий