Робот банщик и IP

12 3
P
На сайте с 12.02.2006
Offline
183
2933

Тут в порядке эксперимента работал с тремя сайтами, эксперимент состоял в том чтобы посмотреть работу поисковых ботов Яндекса, в общем за время эксперимента забанили два сайта (специально пошел на провокацию, сам же на свои и настучал), в общем, что имею и что хочу спросить:

Выборка, конечно маловата (Миха, только не пинай ногами :)), так вот наблюдаю на протяжении эксперимента, что заходит бот Яндекса, обычный индексатор Yandex/1.01.001 (compatible; Win16; I) на забаненные страницы регулярно (особенно любит время, когда апы идут, так было последних два апа), но фишка вся в том, что заходит этот бот ВСЕГДА на страницы с нарушением и всегда с одного и того же айпишника 83.222.4.47, то есть он минует главную страницу не смотрит абсолютно на robots.txt, а именно тупо заходит на одни и те же страницы с нарушениями, причем по нескольку раз в день

Постоянно заходит и другой индексатор Yandex/1.01.001 (compatible; Win16; I) с айпишника Яндекса 213.180.206.223 или с такого 213.180.217.7 так тот как нормальный бот идет с главной, потом robots, а потом обходит несколько страниц и уходит (то есть обычный индексирующий бот)

Самое интересное, что после обращения в Яндекс, дескать, почему пропали сайты из индекса, модер прошелся именно по тем страницам, что индексировал этот бот с 83.222.4.47

Хочу спросить тех, у кого были или есть забаненные сайты в работе может гляньте по логам, есть у Вас такое чудо (наблюдаю его последние недели полторы), потому как и совпадение не исключено, хорошо бы и владельцы незабаненных откликнулись, у меня статистика в основном все по счетчикам идет (клиентам так удобнее), поэтому начинать эпопею по сбору лог-статистики не хочу...

[Удален]
#1

Есть такое дело: сайт забанен, 83.222.4.47 идет напрямую на линкаторную страницу в среднем раз в день. К модерам пока не обращался.

А Yandex/1.01.001 (compatible; Win16; I) гуляет по всему сайту, в том числе и на линкатор.

Получается по 83.222.4.47 можно смотреть причину бана и в итоге исправлять только это нарушение?

Присоединяюсь к promosite: посмотрите логи забаненых сайтов.

promosite, не подскажешь какие данные в логах оставляет модер?

P
На сайте с 19.01.2006
Offline
96
#2

у меня с этого ип 83.222.4.47 были заходы в пару тематических каталогов недели две назад. И оба раза - только на страницу /add.php

Похоже яндексоиды (если это таки ИП службы яндекса) закупились базой белых каталогов и совершили их обход :)

Правда мои каталоги действительно белые, о чем и написано на страницах добавления, может поэтому санкций яндекса не последовало...

Размещу недорого ваши статьи туристической тематики.
[Удален]
#3
pheny:

Похоже яндексоиды (если это таки ИП службы яндекса) закупились базой белых каталогов и совершили их обход :)

Нет, ко мне на типичную линко помойку заходили (про которую я и забыл кстати :))

Avatar
На сайте с 18.05.2003
Offline
168
#4
pheny:
Правда мои каталоги действительно белые, о чем и написано на страницах добавления

Унесите меня, я плАчу 😂

D
На сайте с 23.05.2002
Offline
173
#5

https://www.nic.ru/whois/?ip=83.222.4.47

А что, у Яндекса есть сервера на MASTERHOST-COLOCATION?

P
На сайте с 29.06.2006
Offline
11
#6
dweller:
https://www.nic.ru/whois/?ip=83.222.4.47
А что, у Яндекса есть сервера на MASTERHOST-COLOCATION?

Да уж... странновато как-то :)

[Удален]
#7

ктонибудь выводы может сделать?

например что модератор не заходит на страницу пока бот не проверит ее?

P
На сайте с 12.02.2006
Offline
183
#8
Jamming:
ктонибудь выводы может сделать?
например что модератор не заходит на страницу пока бот не проверит ее?

У меня модератор прошелся именно по тем страницам, по которым прошлось это чудо, тоже был линкаторный каталог :)

WladimirU одно из этого sb.yandex.ru/verify.xml

sb.yandex.ru/complain.xml

Ко мне с complain.xml заходили

Кстати, есть мысль, что все-таки не бан-робот, а может и вправду какой-нибудь каталожный бот, на мастерхосте это не аргумент, в принципе что мешает замести следы и прикупить парочку не своих ip, бот-то ясно в логах показывается Yandex/1.01.001 (compatible; Win16; I)

Хотелось бы услышать, было ли, что этот бот заходил не на каталожные (линкаторные) страницы и кто его где еще видел?

PS В принципе, сначала подумалось, что может это какой-то внешний бот, который проходит только по ссылкам, но тогда я не могу понять, как он хавает именно внутренние линкаторные страницы, минуя главную, ведь ясное дело на внутренние каталожные страницы никто ссылок не ставит, получается он с основными ботами Яндекса обмен ведет, непоняток пока больше?...

Avatar
На сайте с 18.05.2003
Offline
168
#9
promosite:
Кстати, есть мысль, что все-таки не бан-робот, а может и вправду какой-нибудь каталожный бот, на мастерхосте это не аргумент, в принципе что мешает замести следы и прикупить парочку не своих ip, бот-то ясно в логах показывается Yandex/1.01.001 (compatible; Win16; I)

Бред. Нафига тогда анонимные ИП покупать? 😂

А юзерагента подделать - не так сложно ;)

[Удален]
#10

Я в своем первом посте неправильно выразился, у меня был не линкатор, а страница обменом ссылками. Все было строго по тематике в дизайне и т.д. Всего было 8 ссылок, обратки на мой сайт стояли.

Поэтому версию что это ТОЛЬКО линкаторный бот можно отбросить.

Может это бот по стуку, определяющий нарушения связанные с сылками на автомате?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий