Индексация yaca

Но http://www.google.ru/search?hl=ru&newwindow=1&rls=GGLG%2CGGLG%3A2006-05%2CGGLG%3Aru&q=+site%3Ayaca.yandex.ru&lr=

А Яндекс, думаю, сможет обойти этот запрет ;)

Спроси у Садовского.

Alex17,

В этом я не сомневался ;) И все-таки... Или не правильно интерпретирую robots.txt?

Bekker

1. а как Вы думаете, что и на каком сайте запрещено от индексаци?

2. Как должен робот реагировать на робтс.тхт?

А Вы точно внимательно читали задаваемые вопросы?

И рботс внимательно читали? Хосты смотрели?

Мой сайт когда появился в Я-каталоге буквально на следующей неделе взлетел по слову, используемому в ссылке...

Так что вижу учитывается

http://www.yandex.ru/yandsearch?ras=1&text=&site=yaca.yandex.ru

Да, действительно забавно :)

Зачем Яндексу индексировать свой же каталог, т.е. свою базу данных?? Зачем ему посылать робота, чтобы собрать данные, которые у него уже лежат в БД?

Немного о Каталоге Яндекса читайте здесь.

Сам каталог http://yaca.yandex.ru/yca/cat/ запрещен только для Яндекса (судя по куче обсуждений, Яндекс и без этого знает, что у него где), для остальных поисковиков этот путь не запрещен.

Еще как учитывал, со страшной силой (еще пару лет назад). Причем не только название, но и описание.

Этот учет шел дополнительно к основному алгоритму, показывал "найдено по ссылке", если слово из запроса было в описании, но на главной странице не было.

За сейчас - не ручаюсь, но не надо думать, что учет дополнительной информации (помимо поисковой базы) невозможен.