Информация к размышлению

Некоторе время назад я решил поднять посещаемость своего сайта за счет обмена ссылками. С этой целью я зарегистрировал его в линкообменной системе под названием onlink.ru. В предупредительных сообщениях системы указывалось, что некий робот раз в три дня обходит все сайты участники на предмет активности страницы со ссылками. Если быть точным заявлялось, что сайты проверяются в ручную (http://onlink.ru/ - Каждый сайт проверяется

вручную раз в 3 дня. в самом верху), но подобная информация оказалась достоверной лишь отчасти.

По прошествии времени во мне появилось желание поискать слабые места в обороне данной системы от "нечесных промоутеров". С этой целью я скачал со своего вебсервера лог-файлы и начал их анализировать простым и до боли знакомым Microsoft Office Access 2003. Вот тут то и начинается самое интересное...

Зная, что сайты проверяются раз в три дня и предполагая с большой долей вероятности, что врятли найдется фанат делающий это в ручную, по косвенным признакам я определил таки этого робота. Робот оказался не очень продвинутым механизмом. В частности он не проверял страницы ссылок далее первой (формат страниц с ссылками в этой системе - site_1.html ... site_999999.html, при этом страница site.php в результате RewriteEngine on RewriteRule ^site_([0-9]*)\.html$ /site.php?thepage=$1 принимает какой угодно вид в пределах заданных рамок) и вызвал мое сомнение по поводу проверки файла robots.txt и наличия линка на страницу с ссылками с главной страницы сайта. При этом администрация системы запугивает своих потенциальных клиентов подобными проверками. Далее для исключения возможности ошибки в своих поисках я проанализировал поведение других роботов посещавших сайт. Данные поиски подтвердили, что подозреваемым являлся именно робот по имени "squidclam". Роботы других поисковиков ходили гораздо глубже первой страницы линкфарма и их посещаемость имела хаотичный характер, нежели трехдневный интервал "squidclam". получается, если "squidclam" видит первую страницу ссылок, то живите дальше, если не видит, стучит кому надо...

Настало время выяснить проверяют ли сайты в ручную. Это оказалось не только просто, но и открыло некоторые новые характеристики. Оказалось, что робот "squidclam" приходит на мой сайт с IP-адреса отличного от IP-адреса onlink.ru. Адрес onlink.ru - 81.176.67.220, а робот с завидным постоянством (выборка была сделана за 2 месяца и робот соответственно приходил на сайт 20 раз) приходил с адреса - 213.180.210.151. Сделал выборку в логах по этому айпишнику... Была таки ручная проверка. Кул. Обо мне заботятся. Но вот реферал меня не устроил. Его дарес был вот такой - http://sb.yandex.ru/complain.xml?pageID=0&id=XXXXX&pageNumber=1&sort_by=ID&sort_type=desc. Поле id я сознательно поменял на Х боясь, пока, гнева своих добродетелей. Вдруг найдут меня по этой зацепке :-). Что же меня не устроило в реферале, а вот что: http://sb.yandex.ru/. Беру сей адрес и прямиком в IE, получаю ответ: Невозможно отобразить страницу. Набираю - ping -t sb.yandex.ru. Получаю ответ от ДНСа shaman.yandex.ru с адресом 213.180.198.130. Получается, что такой домен есть, но наверное наружу он не смотрит. Ради справедливости IP Yandex - 213.180.204.11. Ну это ничего страшного, Яндекс большой, наверняка его масштабы выходят за рамки большого числа подсетей.

Вернемся к рефералу. Помимо того, что он явно работал с Яндексовского айпишника, четко прослеживается наличие некого софта на стороне пользователя. Первый пример это робот по кличке "squidclam", ну а второй это сам загадочный сайт находящийся по адресу http://sb.yandex.ru/complain.xml. Возможно sb это аббривиатура, :-) служба безопасности к примеру, а может и служба быта.

Далее желаю отбросить последние сомнения по поводу некого родства Яндекса и Onlinka. Захожу на http://www.nic.ru/whois/, набираю там IP- 213.180.210.151, получаю адрес http://www.nic.ru/whois/?ip=213.180.210.151 и нахожу там серьезное подтверждение всему выше сказанному. Адрес

Вы можете набрать и сами, но вот некоторые выдержки с той страницы:

дапазон выделенных адресов - inetnum: 213.180.210.128 - 213.180.210.255

владелец - descr: Yandex corporate network

его реквизиты - role: Yandex LLC Network Operations

address: Yandex LLC

address: 40A Vavilova st.

address: 117333, Moscow, Russia

phone: +7 095 9743555 (можно прям сейчас позвонить и уточнить)

fax-no: +7 095 9743565

e-mail: noc@yandex.net

Что это? Можно только додумывать, тем более, что onlink зарегистрирован в Воронеже, а Яндекс как бы в Москве :-). На память приходит вырезка из пользовательского соглашения яндекса, расположенного по адресу http://rules.yandex.ru/termsofuse.xml:

3.4. Упорядочивание результатов, как часть процесса индексирования и поиска, происходит полностью автоматически в соответствии с установленными критериями релевантности, которые могут меняться для повышения качества по нашему усмотрению.

Ни по каким ключевым словам Яндекс не манипулирует позициями сайтов (страниц), никогда и никому их не продает и не гарантирует их неизменность.

Яндекс понимает релевантность как наилучшее соответствие интересам пользователей, ищущих информацию, что может в общем случае не совпадать с интересами авторов сайтов.

3.5. Яндекс запрещает «поисковый спам» — попытки обмана поисковой системы и манипулирования ее результатами с целью завышения позиции сайтов (страниц) в результатах поиска. Сайты, содержащие «поисковый спам», вручную исключаются из индекса из-за невозможности их корректного ранжирования.

Мы не комментируем удаление сайтов, не предуведомляем о нем и не даем никаких гарантий и сроков на повторное их включение в индекс.

Мы также не сообщаем исчерпывающий список методов спама, которые могут вызвать удаление сайта. Тем не менее, вот некоторые из них: использование на странице элементов, вводящих в заблуждение поисковую систему (текст, ссылки и др.); создание и размещение обманных «входных» страниц, перенаправляющих посетителей тем или иным способом на целевую страницу; специальное программирование веб-сайта с целью выдачи роботу Яндекса содержимого, отличного от того, которое выдается обычным пользователям; размещение ссылок, предназначенных лишь для «накачивания» релевантности в поисковой системе, в т.ч. участие в программах их обмена с указанной целью.

Кстати IP этого поддомена 213.180.204.20