Яндекс и robots.txt

M
На сайте с 16.01.2003
Offline
129
417

В роботс есть такая запись:

User-agent: *

Disallow: /page

При этом, при добавлении через addurl пишет:

Ваш URL http://www.xxx.ru/page внесен в нашу базу данных.

Как это понимать?

C
На сайте с 19.09.2001
Offline
120
#1

Сервис добавления страниц в базу не проверяет robots.txt, проверка происходит позже при работе основного индексатора.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий