Борьба со скликиванием и ухудшением ПФ

Ден1987 · 2020-05-10T10:19:20.0000000Z

Всем привет! Очень нужна помощь сообщества. Думаю, моя тема актуальна сейчас. Есть сайт, на него идет уже несколько лет атака кликеров с невероятно огромной сетью. Массово заходят на сайт, сидят 0-30 секунд и уходят тем самым обгаживая ПФ. Также скликивают рекламу в директе и гугле (в гугле не точно, в директе 100%). Это продолжается уже как минимум 3 года. Раньше эти заходы делались ненавязчиво и незаметно. Например, с одной айписети 3 захода по 0 секунд и один заход с проведением часа на сайте. В среднем продолжительность времени на сайте при таком раскладе 15 минут, что не вызывало подозрений. Но после хорошего продвижения статьями, этот сайт сильно вырос в позициях яндекса и сразу же началась массированная атака этих ботоуродов. По 200 нулевых прямых заходов в день. Было выявлено порядка 40 айписетей, учавствующих в изнасиловании сайта, все они были заблокированы (в основном айпишники мегафон метрополитена). Сразу их выкладываю. Вся сетка метрополитена выявлена: 31.173.80.* 31.173.81.* 31.173.82.* 31.173.83.* 31.173.84.* 31.173.85.* 31.173.86.* 31.173.87.* Потом вроде все затихло, сайт еще не падал, а продолжал расти. Но потом атака стала более изощренной. Стали проводить не по 0 сек на сайте, а от 0 до 30 секунд. Заходы (или маскировали реффер или реально) стали не только прямыми. Такие заходы рассредоточились на поисковые заходы, заходы из соц сетей. Параллельно теми же айпишниками долбится реклама в директе. Сжиралось 2/3 рекламного бюджета. И директ пришлось погасить, потому-что там стоит ограничение по блокированию айпи. Заходы стали проходить с сетей теле2, мегафон, мтс, частные сети разные, мгтс неделю назад подключился. Раньше 95% было айпи сетей московских, сейчас вся Россия подключилась. На данный момент блокировано более 200 айписетей. Каждая сеть проверяется через 2ip.ru. Чтобы ненароком ботов яндекс и гугл не заблокировать. Потом я подумал, что блокировать не очень хорошо. Много заходов из поиска блокируется (15-20 в день). Я подумал, что если яндекс будет видеть, что человек перешел из поиска, а на сайт не попал, то к сайту применят санкции. И еще клиент много тратит в контекстную рекламу и если реальный человек попытается зайти на сайт из директа и будет заблокирован, сами понимаете, слив бюджета . И я сделал такую штуку. Предположим, что у нас сайт site.ru. Если заходит человек с айписети кликиров, то он переадресуется на сайте security.site.ru. там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru (причем на ту страницу, на которую он хотел). Вот код: <?php $myIP = $_SERVER['REMOTE_ADDR']; $referer = $_SERVER['HTTP_REFERER']; $ipOctets = explode('.', $myIP); $ipnetwork = $ipOctets[0] . '.' . $ipOctets[1] . '.' . $ipOctets[2] . '.' . '*'; $blacklist = array("109.252.110.*", "109.252.17.*", .....); $value = 'redire'; $d = date("H"); $d2 = date("d"); $url = "?reffer=https://" . $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI']; $has_session = (session_status() == PHP_SESSION_ACTIVE); if($has_session==true){ $has_session = "yes"; } if((isset($_COOKIE["TestCookie$d2$d"])) && ($has_session == 'yes')){$i=1;} elseif (stristr($referer, 'ok.ru')){$i=2;} elseif (stristr($referer, 'facebook')){$i=2;} elseif (stristr($referer, 'vk.com')){$i=2;} elseif (stristr($referer, 'my.mail.ru')){$i=2;} elseif (stristr($referer, 'instagram')){$i=2;} elseif (stristr($referer, 'twitter')){$i=2;} elseif (stristr($referer, 'youtube')){$i=2;} elseif(in_array($ipnetwork, $blacklist)){$i=2;} switch ($i) { case 1: break; case 2: setcookie("TestCookie$d2$d", $value, 0, "/", ".site.ru"); header("Location: https://security.site.ru/ ".$url); session_start(); break; } ?> На сайте security.site.ru (и основной и вспомогательный сайт на вордпрессе) установлен плагин со статистикой переходов. То есть никакие скрипты и уж тем более аналитика от яндекса и гугла на нем не установлена. А на основном сайте установлена аналитика и от яндекса и от гугла. Приведенный выше код вставлен вверх страницы, а Я метрика и Г аналитикс в подвале. То есть если ботпользователь переходит на сайт из яндекса и переадресуется на security.site.ru, то Я. метрика его не видит и не регистрирует, а уж если он на security.site.ru кнопочку нажмет, тогда метрика его отслеживает. За 2 недели эта система заблокировала 450 таких переходов. Тем временем заходов на сайт site.ru с 0-20 сек с этих айпи - около 250 штук. То есть треть эта система пропускает. Я поставил свою айписеть в массив blacklist (то есть обозначил свою айписеть как подозрительную) и каждый раз при проверке я перехожу как надо на security.site.ru . Но на сайте установлены 2 плагина кеширования и сжатие скриптов - wp fastestcache и autoptimize. Собственно, мои вопросы, уважаемое сообщество: 1. Может быть плагины кеширования затирают код проверки и кликеры спокойно переходят на сайт? 2. Код, приведенный выше, предполагает, что куки действуют 1 час. И если бот будет переадресован на security.site.ru, потом еще раз попробует зайти на сайт site.ru в течении этого часа, то он спокойно пройдет проверку и сделает свое грязное дело. Есть мысли как доработать код? 3. Может ли яндекс наложить санкции, если клик по сниппету в поисковой выдаче будет, а пользователь будет переадресован и не попадет на сайт? 4. Могут ли кликеры подделывать реффер? (Предполагаю, что могут) И может они вообще заходят по прямым заходам, а делают видимость, что они из поиска? У меня месяц жркий с этой задачей, много всего перелопатил, и попробовал, но не хочу весь опыт тут изливать, дабы не перегружать. Будут вопросы, пишите. Давайте решим эту проблему, тем много создается подобных, я готов поделиться опытом , статистикой и информацией.

803

Антоний Казанский

12 мая 2020, 19:32

#11

Ден1987:
а большой черный список у вас получился? У нас на данный момент более 200 ip сетей.

Примерно под сотню IP адресов.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов, внедрение эффективных решений цифрового маркетинга, точечная и ответственная работа с ПФ. Cопровождение SEO задач - 900 рублей/час.

324

Aisamiery

14 мая 2020, 17:37

#12

Зачем вы редиректите?

Если вы считаете что заход серый, не выводите код метрики.

Добавляйте в сегмент и давайте сегменту минус цены в директе.

Мне всегда было интересно, что с теми сайтами кто не юзает метрику и гугл аналитикс? Они все в попе топов так как поисковики не видят их поведенческий?

Разработка проектов на Symfony, Laravel, 1C-Bitrix, UMI.CMS, OctoberCMS

113

fliger

15 мая 2020, 07:58

#13

Aisamiery:
Мне всегда было интересно, что с теми сайтами кто не юзает метрику и гугл аналитикс? Они все в попе топов так как поисковики не видят их поведенческий?

Никогда не ставил ни аналитикс, ни метрику. Сайты живут нормально.

Маркетинг для шоколадной фабрики. На 34% выше средний чек

Вышел новый Яндекс Браузер с YandexGPT и YandexART