Только сейчас столкнулся с этой проблемой. Но прежде, чем предпринимать какие-либо действия, хотелось бы немного разобраться. У меня вопросы к тем, кто этим занимается уже давно.
Давайте исходить из того, что сам по себе факт того, что некие боты ходят на наш сайт, нам не важен. В том смысле, что максимум, что они могут сделать - создавать нагрузку на сервер, но этим фактором я предлагаю пренебрегать. При этом есть мнение, что такие боты портят поведенческие факторы нашего сайта в глазах Яндекса. Серьезных доводов о том, что трафик с Яндекса падает из-за ботов, я тут не увидел. Всё только на уровне предположений. У меня такая же ситуация: боты появились в конце марта и постепенно трафик от них растет, а трафик с Яндекса начал постепенное снижение в сентябре, до сих пор снижается, при этом с Google и Mail.ru никаких изменений. Хотелось бы считать, что причина проблемы найдена, потому что когда знаешь причину, найдешь и решение.
Может быть потому, что Яндекс, как и декларировал, сделал ПФ основным ранжирующим фактором? А позиции в Яндексе, не гипотетически, а вполне реально проседают, по страницам, на которые ведётся воздействие.
Метрика это только один из инструментов оценки сайта.
И что на разные сайты ведется воздействие с одинаковых IP ? Как по времени распределено? В одинаковые интервалы? Последовательно? У меня нет возможности наблюдать за работой ботов на большом пуле сайтов.
Сбор отдельных ip это контрпродуктивно. Так как большое количество бототрафика поступает от мобильных операторов, а там конкретный ip это, вообще, понятие условное. Любой ip из диапазона подсети оператора может светиться в тот или иной день. Здесь может работать сборка - страница воздействия + ASN (либо подсеть, либо страна, либо useragent). Необходимо смотреть и анализировать лог файл своего сайта, больше никак.
ПС Любое публичное обсуждение методов противодействия привлекает внимание не только заинтересованных лиц, но и создателей ботоферм, для изменения алгоритмов воздействия. Впрочем, этих людей, в недостатке фантазии трудно заподозрить.
Вообще, ситуация для меня совершенно непонятная. Допустим это нагул ботов, тогда зачем убивать топовые страницы, возьми топ 40 и долби, никто не вкурит, что страницы пессимизируются поисковиками, потому как они и так в опе. А так, как можно не заметить вынос с топ 3 за десятку? Если конкуренты валят, то согласен, слишком массовое явление, настолько массовое, что информация о такой благородной услуге уже бы вылилась во всенародный доступ. Какие еще есть мысли?
Единственное, что приходит на ум - это месть яндексу за введение доминирующего ПФ фактора. Попыткой полностью уничтожать адекватность выдачи и тем самым
а) унизить яндекс.
б) кинуть на деньги, путем вынуждения изменения, проработки алгоритма, дискредитации яндекс-директа путем склика бюджетов рекламодателей и уничтожения репутации.
в) попытка заставить яндекс нивелировать значение ПФ при ранжировании сайтов.
г) просто обида и месть за потерянную кормушку в виде продажи ссылок и всех сервисов на этом завязанных.
ПС Написал все это и подумал, какому же поисковому гиганту все это может быть выгодно? Прямо, как говорится - картина маслом.
Нас до недавнего времени тоже долбили в 2 страницы, причем без позиций.
А сейчас начали в самые трафиковые. Примерно 25 штук.
Мож обкатали алгоритм, мож показали Вашим конкурентам, как это будет, так сказать, на натуре. А сейчас бабки получили и начали работать на понижение Вас в выдаче.
если заметили падение активности ботов и 100% разгадывание капчи, значит у вас просто правила настроены не верно, только и всего )))
покажите что вы там вообще фильтруете?
Фильтрую все правильно (логи читаю постоянно и пытаюсь минимизировать неудобства для обычных юзеров). Другое дело, что ребята могут менять страницы, на которые ведется воздействие. Но тут тоже вилка, они не просто долбят, абы что, а берут хорошо стоящий ключ из топа и его просаживают. Постоянно меняют операторов от ростелекома, всей мобильной тройки, до региональных, ну и естественно шлак забугорный. Так, что это возможно борьба с ветряными мельницами, но по крайней мере, я создам максимальные трудности для энтузиастов ботоводов в области пессимизации моих ресурсов.
Одно время были популярны платные почтовые рассылки. С базой в 6000-8000 контактов можно было зашибать до 100-200$ в день. И казалось это будет вечно ибо электронные ящики никто никогда не отменит. Но очень быстро лафа закончилась, вплоть до того что рассылка по базам уже никого не интересует. Так будет и с сайтами, которые ведутся не командой, а вебмастерами-одиночками. Большие трудозатраты, постоянно меняющиеся алгоритмы, постоянное падение дохода с контекста...
У этой медали есть обратная сторона, когда работает команда, необходимо каждому заплатить и рентабельность такого проекта, тоже, факт не бесспорный.
