Позволю себе отрезюмировать.
Яндекс в лице В.Иванова фактически согласился с тем, что один из его роботов, не является вежливым. Что для компании, претендующей на зкание крупнейшего российского поисковика, не очень красиво, на мой взгляд. Но у Яндекса на этот счет другое мнение - он считает это нормальным. Точка. Каждый сделает свой вывод сам.
Попытки представителей Яндекса не соглашаться с очевидным и представлять ситуацию в свете "все - в г...., а мы - все в белом", поверьте, становятся не менее утомительными.
Лазить-то, может и лазит, а вот если на домен никто не ссылается, то индексить его Гугль вряд ли будет. Но если Гугль через свой бар имеет информацию, что домен регулярно посещается (а заходил на него благодаря этому топику не только vmegap, но и многие из нас, тоже имеющие Гуглевский тулбар), то может посчитать, что ресурс может быть достаточно интересным и проиндексировать его, даже не имея информации о ссылках на него. Замечу, что это всего лишь мое личное мнение.
А Вы уверены, коллега, что они не соблюдают robots.txt?
Ха! Намекаете, Вячеслав, на то, что Ваш робот, из-за которого разгорелся прошлогодний сыр-бор с Яндексом тоже не был индексирующим? ;) Парируйте, В.Иванов!
Пардон, а где ж теперь форма бесплатной заявки в каталог??? По всей видимости, каталог Яндекса все же стал полностью платным.
IE - не робот, а если его посчитать роботом, и заставить выполнять robots.txt, то тогда, увы, почти никто не сможет воспользоваться поиском на Яндексе ;). А то, что приходит с IP 213.180.193.35 - робот и должно соблюдать robots.txt, чтобы оно там ни делало.
Сразу припомнился прошлогодний конфликт Яндекса с ТопПингом, когда Яндекс предъявлял претензии к топпинговскому метапоисковому роботу за несоблюдение им яндексовского файла robots.txt. А сами, значит... Блин, в который раз Яндекс демонстрирует двойные стандарты
Не-а. По таким запросам ссылки с www.agava.ru выдаются (например, 15-я позиция по запросу #link="book.vsem.ru"), а на нем, по идее, как раз должен непотный фильтр стоять. Или ужо сняли? Хотя, по-видимому, еще нет - ВИЦ у Агавы по-прежнему маленький.
Кстати, по поводу случая с Агавой.
А можно ли каким-нибудь образом узнать, стоит ли на конкретном сайте яндексовский "непот-фильтр"? В случае с Агавой один из яндексоидов проболтался, а так, по большому счету, наверное, и не узнать никак...
