Роботс глазами Яндекса

AC
На сайте с 11.11.2005
Offline
42
496

сорри, если тема была, не нашел поиском.

такой вот результат получаю по вполне типовому робоццу:

с ввв:

http://www.yandex.ru/cgi-bin/test-robots?host=www.___.ru

"Данный файл robots.txt ничего не запрещает."

без него:

http://www.yandex.ru/cgi-bin/test-robots?host=___.ru

"Запрещена индексация всех URL, начинающихся с указанных префиксов:

/

Индексация сервера ___.ru:80 запрещена полностью."

мне уже боятся, что при следующем апдейте все страницы (96) без ввв из индекса улетят? (хосты яша пока не склеил, на одном 96, на другом 22)

роботс:

User-agent: Yandex

Disallow:

Host: www.___.ru

User-agent: *

Disallow:

AVV
На сайте с 31.07.2006
Offline
84
AVV
#1
Лёлик
На сайте с 28.04.2006
Offline
54
#2

Всё нормально:

Директива

запрещает индексацию ___.ru

Ждите зеркальщика.

AC
На сайте с 11.11.2005
Offline
42
#3

спасибо!

вопрос собственно в том, произойдет ли одновременно склейка - и удаление из индекса страниц запрещенного хоста. что показывает Практика?

K
На сайте с 31.01.2001
Offline
737
#4

Страницы всех остальных зеркал постепенно или разом пропадут из индекса. Только неизвестно, когда.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий