Нечистоплотные сайты

wolf, именно так, на одном из сайтов моей тематики раздел каталога ссылок запрещен к индексации. Страницу где размещена моя ссылка я добавил вручную через addurl, правда делал это пару раз с интервалом в сутки. В итоге в списке ссылающихся эта страница появилась.

Может, там robots.txt криво написан? Что говорит по его поводу сервис robots.txt глазами Яндекса

wolf, сервис утверждает что все ОК и соответствующие разделы запрещены к индексации, ссылку на роботс этого сайта я Вам отправил в лич. сообщения

funnybunny,

Да, действительно, в приведенном Вами примере страницы, запрещенные к индексации файлом robots.txt, содержатся в базе Яндекса. И если они действительно попали туда, будучи уже запрещенными, то это серьезный повод обвинить индексирующего робота Яндекса (надеюсь, уж про него-то яндексоиды не осмелятся сказать, что это не робот) в несоблюдении файла robots.txt

wolf, В примере страницы со ссылками на мой сайт есть и прошлогодние, есть и этого года, есть и совсем свежие. Т.е. эта ситуация не сегодняшнего дня, а давняя

funnybunny,

На всякий случай, уточню. То есть было так:

1. Вы обмениваетесь ссылками с сайтом.

2. Ваша ссылка появляется на странице сайта, запрещенной к индексации файлом robots.txt

3. Этой страницы к тому времени нет в базе.

4. Вы добавляете ее в Яндекс ручками через стандартную форму

5. Запрещенная к индексации страница индексируется и появляется в базе

?

wolf,

1. Да

2. Да

3. Одна из трех уже была, я проверял

4. Да

5. Да

А потом Яндекс переиндексировал эту страницу???

В таком случае, можно утверждать, что индексирующий робот Яндекса не соблюдает файл robots.txt, что для поисковой машины такого уровня, несомненно, очень и очень неприглядно. Может, господа из Яндекса возьмут на себя труд прокомментировать, почему их поисковой машиной индексируются страницы, запрещенные к индексации файлом robots.txt ?

wolf, я тут крайним случаем не стану, не хотелось бы под раздачу попасть ;)

Ну, порядочные люди, вообще-то, других за свои ошибки не наказывают...