Борьба со скликиванием и ухудшением ПФ

12
Д1
На сайте с 26.11.2016
Offline
25
1319

Всем привет! Очень нужна помощь сообщества. Думаю, моя тема актуальна сейчас.

Есть сайт, на него идет уже несколько лет атака кликеров с невероятно огромной сетью. Массово заходят на сайт, сидят 0-30 секунд и уходят тем самым обгаживая ПФ. Также скликивают рекламу в директе и гугле (в гугле не точно, в директе 100%). Это продолжается уже как минимум 3 года. Раньше эти заходы делались ненавязчиво и незаметно. Например, с одной айписети 3 захода по 0 секунд и один заход с проведением часа на сайте. В среднем продолжительность времени на сайте при таком раскладе 15 минут, что не вызывало подозрений. Но после хорошего продвижения статьями, этот сайт сильно вырос в позициях яндекса и сразу же началась массированная атака этих ботоуродов. По 200 нулевых прямых заходов в день. Было выявлено порядка 40 айписетей, учавствующих в изнасиловании сайта, все они были заблокированы (в основном айпишники мегафон метрополитена). Сразу их выкладываю. Вся сетка метрополитена выявлена:

31.173.80.*

31.173.81.*

31.173.82.*

31.173.83.*

31.173.84.*

31.173.85.*

31.173.86.*

31.173.87.*

Потом вроде все затихло, сайт еще не падал, а продолжал расти. Но потом атака стала более изощренной. Стали проводить не по 0 сек на сайте, а от 0 до 30 секунд. Заходы (или маскировали реффер или реально) стали не только прямыми. Такие заходы рассредоточились на поисковые заходы, заходы из соц сетей. Параллельно теми же айпишниками долбится реклама в директе. Сжиралось 2/3 рекламного бюджета. И директ пришлось погасить, потому-что там стоит ограничение по блокированию айпи. Заходы стали проходить с сетей теле2, мегафон, мтс, частные сети разные, мгтс неделю назад подключился. Раньше 95% было айпи сетей московских, сейчас вся Россия подключилась. На данный момент блокировано более 200 айписетей. Каждая сеть проверяется через 2ip.ru. Чтобы ненароком ботов яндекс и гугл не заблокировать.

Потом я подумал, что блокировать не очень хорошо. Много заходов из поиска блокируется (15-20 в день). Я подумал, что если яндекс будет видеть, что человек перешел из поиска, а на сайт не попал, то к сайту применят санкции. И еще клиент много тратит в контекстную рекламу и если реальный человек попытается зайти на сайт из директа и будет заблокирован, сами понимаете, слив бюджета. И я сделал такую штуку.

Предположим, что у нас сайт site.ru. Если заходит человек с айписети кликиров, то он переадресуется на сайте security.site.ru. там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru (причем на ту страницу, на которую он хотел). Вот код:

<?php

$myIP = $_SERVER['REMOTE_ADDR'];

$referer = $_SERVER['HTTP_REFERER'];

$ipOctets = explode('.', $myIP);

$ipnetwork = $ipOctets[0] . '.' . $ipOctets[1] . '.' . $ipOctets[2] . '.' . '*';

$blacklist = array("109.252.110.*", "109.252.17.*", .....);

$value = 'redire';

$d = date("H");

$d2 = date("d");

$url = "?reffer=https://" . $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];

$has_session = (session_status() == PHP_SESSION_ACTIVE);

if($has_session==true){

$has_session = "yes";

}

if((isset($_COOKIE["TestCookie$d2$d"])) && ($has_session == 'yes')){$i=1;}

elseif (stristr($referer, 'ok.ru')){$i=2;}

elseif (stristr($referer, 'facebook')){$i=2;}

elseif (stristr($referer, 'vk.com')){$i=2;}

elseif (stristr($referer, 'my.mail.ru')){$i=2;}

elseif (stristr($referer, 'instagram')){$i=2;}

elseif (stristr($referer, 'twitter')){$i=2;}

elseif (stristr($referer, 'youtube')){$i=2;}

elseif(in_array($ipnetwork, $blacklist)){$i=2;}

switch ($i) {

case 1:

break;

case 2:

setcookie("TestCookie$d2$d", $value, 0, "/", ".site.ru");

header("Location: https://security.site.ru/".$url);

session_start();

break;

}

?>

На сайте security.site.ru (и основной и вспомогательный сайт на вордпрессе) установлен плагин со статистикой переходов. То есть никакие скрипты и уж тем более аналитика от яндекса и гугла на нем не установлена. А на основном сайте установлена аналитика и от яндекса и от гугла. Приведенный выше код вставлен вверх страницы, а Я метрика и Г аналитикс в подвале. То есть если ботпользователь переходит на сайт из яндекса и переадресуется на security.site.ru, то Я. метрика его не видит и не регистрирует, а уж если он на security.site.ru кнопочку нажмет, тогда метрика его отслеживает. За 2 недели эта система заблокировала 450 таких переходов. Тем временем заходов на сайт site.ru с 0-20 сек с этих айпи - около 250 штук. То есть треть эта система пропускает. Я поставил свою айписеть в массив blacklist (то есть обозначил свою айписеть как подозрительную) и каждый раз при проверке я перехожу как надо на security.site.ru . Но на сайте установлены 2 плагина кеширования и сжатие скриптов - wp fastestcache и autoptimize. Собственно, мои вопросы, уважаемое сообщество:

1. Может быть плагины кеширования затирают код проверки и кликеры спокойно переходят на сайт?

2. Код, приведенный выше, предполагает, что куки действуют 1 час. И если бот будет переадресован на security.site.ru, потом еще раз попробует зайти на сайт site.ru в течении этого часа, то он спокойно пройдет проверку и сделает свое грязное дело. Есть мысли как доработать код?

3. Может ли яндекс наложить санкции, если клик по сниппету в поисковой выдаче будет, а пользователь будет переадресован и не попадет на сайт?

4. Могут ли кликеры подделывать реффер? (Предполагаю, что могут) И может они вообще заходят по прямым заходам, а делают видимость, что они из поиска?

У меня месяц жркий с этой задачей, много всего перелопатил, и попробовал, но не хочу весь опыт тут изливать, дабы не перегружать. Будут вопросы, пишите. Давайте решим эту проблему, тем много создается подобных, я готов поделиться опытом , статистикой и информацией.

LS
На сайте с 17.09.2017
Offline
27
#1

Писали по этому поводу Платону?

Бесплатные ссылки (/ru/forum/975026)
Д1
На сайте с 26.11.2016
Offline
25
#2

нет, а смысл? что он скажет?

напишет, что мол не переживайте, главное, чтобы это были не вы. Если это злоумышленники портят вам ПФ, мы это видим и на позиции это не повлеяет. А если кто-то скликивает ваш бюджет, то все уходит в недействительные клики. Ответ будет стандартным.

Devvver
На сайте с 02.07.2008
Offline
618
#3
Ден1987:
Если заходит человек с айписети кликиров, то он переадресуется на сайте security.site.ru. там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru (причем на ту страницу, на которую он хотел).

Современный бот выполняет js и легко обойдет эту защиту если долбят целенаправленно именно вас

Мой блог. Все о создании сайтов,Seo и СДЛ (https://devvver.ru/) А вот это блог о жизни в Таиланде и Паттайе (http://tourwebring.com). Еще о Таиланде (https://tailand-gid.org).
S
На сайте с 30.09.2016
Offline
459
#4

1. Это проверяется логированием.

2. Не вникал в код, но куки начинают работать при повторном заходе на сайт.

3. Не по моей части.

4. Могут.

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
skapunker
На сайте с 15.01.2014
Offline
143
#5

если от ботов надо спрятаться то botguard

Скидка 5% на все услуги reg.ru по промокоду B5A1-2430-5C32-1D70
Д1
На сайте с 26.11.2016
Offline
25
#6
Devvver:
Современный бот выполняет js и легко обойдет эту защиту если долбят целенаправленно именно вас

статистика показывает, что 2/3 ботов переадресуются. А код с проверкой по айпи стоит до <html>. Можно поподробнее пожалуйста, каким образом они могут обойти эту защиту? Они могут нажать кнопку на проверочном сайте или вообще не переадресовываться?

---------- Добавлено 11.05.2020 в 22:03 ----------

Sitealert:
1. Это проверяется логированием.

Да, согласен. Надо долго копаться в логах и сопоставлять с другими данными) Логи включены и есть статистика за весь период. Надо выделить на это время.

Sitealert:
2. Не вникал в код, но куки начинают работать при повторном заходе на сайт.

Да, в том-то и дело, это нормально. До переадресации пользователю записываются куки, чтобы один раз пройдя проверку потом при каждом клике не уходить на проверку снова в течении часа.

anthony_
На сайте с 12.04.2007
Offline
256
#7

Была аналогичная задача, также в определённый период начался массовый наплыв отказного трафика.

Тематика сайта - бизнес, продажа услуг под договор с обязательным подтверждением e-mail-а.

Проанализировал все отказные сессии, повторные (более 3-х раз за месяц) занёс в чёрный список. При заходе с IP из чёрного списка редирект на отдельную страницу без кода метрики с сообщением: "С вашего IP поступают автоматические запросы.. если вам необходим доступ к полезным материалам сайта, пожалуйста, введите ваш e-mail и арифметическая капча"

Практически весь отказной трафик удалось из Метрики убрать. В течение двух месяцев было с десяток обращений, где как оказалось партнёры держали в вкладках сайт и при выходе из спящего режима (офисные работники) получались отказные сессии.

Полезным партнёрам/клиентам доступ открыли, общие отказы нормализовали.

Подряд пару месяцев общались с менеджерами, жалоб, резких изменений числа клиентов не было. Работает по сей день.

√ SEO консалтинг (/ru/forum/992763), маркетинговые изыскания, поиск новых точек роста. Опыт работы более 10 лет (http://akazansky.ru). В ТОП выдачи без предоплат (/ru/forum/comment/15807404) и оплатой за результат! Связь (http://akazansky.ru/snachala-rezultat-potom-oplata).
fliger
На сайте с 17.09.2015
Offline
66
#8
Ден1987:
в основном айпишники мегафон метрополитена

31.173.80.0 - 31.173.87.255

Metropolitan branch of OJSC MegaFon = Столичный филиал ОАО "МегаФон"

Как вы определили, что это метрополитен?

Devvver
На сайте с 02.07.2008
Offline
618
#9
Ден1987:
Можно поподробнее пожалуйста, каким образом они могут обойти эту защиту?

Я намекаю

Ден1987:
там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru

что современные боты в состоянии жать на эту кнопку, так как используют полноценный браузер. Поэтому такой метод фильтра = прошлый век.

Д1
На сайте с 26.11.2016
Offline
25
#10
fliger:
31.173.80.0 - 31.173.87.255
Metropolitan branch of OJSC MegaFon = Столичный филиал ОАО "МегаФон"

Как вы определили, что это метрополитен?

да, в спешке не проверил перевод. Но суть не меняется. После блокировки этого списка столичного филиала новых плохих заходов с таким названием сети больше не происходит.

---------- Добавлено 12.05.2020 в 19:50 ----------

Devvver:
Я намекаю

что современные боты в состоянии жать на эту кнопку, так как используют полноценный браузер. Поэтому такой метод фильтра = прошлый век.

Я не спорю, что реально написать скрипт, с помощью которого будет нажиматься кнопка. Но я не думаю, что это всё затеяно чтобы специально потопить наш сайт. Мочат не только нас, а, судя по подобным темам на форумах, сотни сайтов. Менять алгоритм и переписывать скрипт специально под нас - много чести нам бы было.

---------- Добавлено 12.05.2020 в 19:54 ----------

anthony_:
Проанализировал все отказные сессии, повторные (более 3-х раз за месяц) занёс в чёрный список. При заходе с IP из чёрного списка редирект на отдельную страницу без кода метрики с сообщением: "С вашего IP поступают автоматические запросы.. если вам необходим доступ к полезным материалам сайта, пожалуйста, введите ваш e-mail и арифметическая капча"

а большой черный список у вас получился? У нас на данный момент более 200 ip сетей.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий