funnybunny,
На всякий случай, уточню. То есть было так:
1. Вы обмениваетесь ссылками с сайтом.
2. Ваша ссылка появляется на странице сайта, запрещенной к индексации файлом robots.txt
3. Этой страницы к тому времени нет в базе.
4. Вы добавляете ее в Яндекс ручками через стандартную форму
5. Запрещенная к индексации страница индексируется и появляется в базе
?
CarDriver,
Вообще-то, этот топик явно тянет на 10 баллов штрафа по 8-му пункту. Советую больше так не делать. ;)
Наверное с того, что Smile раскрыл ее местонахождение. Не удивлюсь, что вскоре выяснится, к примеру, что Cossack вещает из Жмеринки :D
Да, действительно, в приведенном Вами примере страницы, запрещенные к индексации файлом robots.txt, содержатся в базе Яндекса. И если они действительно попали туда, будучи уже запрещенными, то это серьезный повод обвинить индексирующего робота Яндекса (надеюсь, уж про него-то яндексоиды не осмелятся сказать, что это не робот) в несоблюдении файла robots.txt
Может, там robots.txt криво написан? Что говорит по его поводу сервис robots.txt глазами Яндекса
Кстати, funnybunny, Вы уверены, что страницы, которые Вы постите в базу Яндекса вручную, туда попадают? Согласен, что addurl'овский робот "D" не смотрит в robots.txt, но ведь, вроде, его дело - просто проверить URL и включить его в список для обхода индексирующим роботом I, который, по идее, и заносит документы в базу и robots.txt все же соблюдает.
funnybunny, Вам определенно пора в отпуск :) Под спамером тут явно понимались не Вы, а тот робот, что не соблюдает robots.txt :)
А вообще, та дискуссия закончилась тем, что яндексоиды объявили некоторых своих роботов "не роботами" и заявили, что поэтому robots.txt им не указ.
P.S. "И не рыбы вместо рыб будут плавать там..." (С) "Танцы минус" :D
Ну, украинцев, думаю, здесь все ж поменее будет, чем россиян... ;)
Александр, присоединяюсь к поздравлениям!
Alex F.,
Обращаю Ваше внимание на п. 12 правил форума
