- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем привет! Очень нужна помощь сообщества. Думаю, моя тема актуальна сейчас.
Есть сайт, на него идет уже несколько лет атака кликеров с невероятно огромной сетью. Массово заходят на сайт, сидят 0-30 секунд и уходят тем самым обгаживая ПФ. Также скликивают рекламу в директе и гугле (в гугле не точно, в директе 100%). Это продолжается уже как минимум 3 года. Раньше эти заходы делались ненавязчиво и незаметно. Например, с одной айписети 3 захода по 0 секунд и один заход с проведением часа на сайте. В среднем продолжительность времени на сайте при таком раскладе 15 минут, что не вызывало подозрений. Но после хорошего продвижения статьями, этот сайт сильно вырос в позициях яндекса и сразу же началась массированная атака этих ботоуродов. По 200 нулевых прямых заходов в день. Было выявлено порядка 40 айписетей, учавствующих в изнасиловании сайта, все они были заблокированы (в основном айпишники мегафон метрополитена). Сразу их выкладываю. Вся сетка метрополитена выявлена:
31.173.80.*
31.173.81.*
31.173.82.*
31.173.83.*
31.173.84.*
31.173.85.*
31.173.86.*
31.173.87.*
Потом вроде все затихло, сайт еще не падал, а продолжал расти. Но потом атака стала более изощренной. Стали проводить не по 0 сек на сайте, а от 0 до 30 секунд. Заходы (или маскировали реффер или реально) стали не только прямыми. Такие заходы рассредоточились на поисковые заходы, заходы из соц сетей. Параллельно теми же айпишниками долбится реклама в директе. Сжиралось 2/3 рекламного бюджета. И директ пришлось погасить, потому-что там стоит ограничение по блокированию айпи. Заходы стали проходить с сетей теле2, мегафон, мтс, частные сети разные, мгтс неделю назад подключился. Раньше 95% было айпи сетей московских, сейчас вся Россия подключилась. На данный момент блокировано более 200 айписетей. Каждая сеть проверяется через 2ip.ru. Чтобы ненароком ботов яндекс и гугл не заблокировать.
Потом я подумал, что блокировать не очень хорошо. Много заходов из поиска блокируется (15-20 в день). Я подумал, что если яндекс будет видеть, что человек перешел из поиска, а на сайт не попал, то к сайту применят санкции. И еще клиент много тратит в контекстную рекламу и если реальный человек попытается зайти на сайт из директа и будет заблокирован, сами понимаете, слив бюджета. И я сделал такую штуку.
Предположим, что у нас сайт site.ru. Если заходит человек с айписети кликиров, то он переадресуется на сайте security.site.ru. там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru (причем на ту страницу, на которую он хотел). Вот код:
<?php
$myIP = $_SERVER['REMOTE_ADDR'];
$referer = $_SERVER['HTTP_REFERER'];
$ipOctets = explode('.', $myIP);
$ipnetwork = $ipOctets[0] . '.' . $ipOctets[1] . '.' . $ipOctets[2] . '.' . '*';
$blacklist = array("109.252.110.*", "109.252.17.*", .....);
$value = 'redire';
$d = date("H");
$d2 = date("d");
$url = "?reffer=https://" . $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
$has_session = (session_status() == PHP_SESSION_ACTIVE);
if($has_session==true){
$has_session = "yes";
}
if((isset($_COOKIE["TestCookie$d2$d"])) && ($has_session == 'yes')){$i=1;}
elseif (stristr($referer, 'ok.ru')){$i=2;}
elseif (stristr($referer, 'facebook')){$i=2;}
elseif (stristr($referer, 'vk.com')){$i=2;}
elseif (stristr($referer, 'my.mail.ru')){$i=2;}
elseif (stristr($referer, 'instagram')){$i=2;}
elseif (stristr($referer, 'twitter')){$i=2;}
elseif (stristr($referer, 'youtube')){$i=2;}
elseif(in_array($ipnetwork, $blacklist)){$i=2;}
switch ($i) {
case 1:
break;
case 2:
setcookie("TestCookie$d2$d", $value, 0, "/", ".site.ru");
header("Location: https://security.site.ru/".$url);
session_start();
break;
}
?>
На сайте security.site.ru (и основной и вспомогательный сайт на вордпрессе) установлен плагин со статистикой переходов. То есть никакие скрипты и уж тем более аналитика от яндекса и гугла на нем не установлена. А на основном сайте установлена аналитика и от яндекса и от гугла. Приведенный выше код вставлен вверх страницы, а Я метрика и Г аналитикс в подвале. То есть если ботпользователь переходит на сайт из яндекса и переадресуется на security.site.ru, то Я. метрика его не видит и не регистрирует, а уж если он на security.site.ru кнопочку нажмет, тогда метрика его отслеживает. За 2 недели эта система заблокировала 450 таких переходов. Тем временем заходов на сайт site.ru с 0-20 сек с этих айпи - около 250 штук. То есть треть эта система пропускает. Я поставил свою айписеть в массив blacklist (то есть обозначил свою айписеть как подозрительную) и каждый раз при проверке я перехожу как надо на security.site.ru . Но на сайте установлены 2 плагина кеширования и сжатие скриптов - wp fastestcache и autoptimize. Собственно, мои вопросы, уважаемое сообщество:
1. Может быть плагины кеширования затирают код проверки и кликеры спокойно переходят на сайт?
2. Код, приведенный выше, предполагает, что куки действуют 1 час. И если бот будет переадресован на security.site.ru, потом еще раз попробует зайти на сайт site.ru в течении этого часа, то он спокойно пройдет проверку и сделает свое грязное дело. Есть мысли как доработать код?
3. Может ли яндекс наложить санкции, если клик по сниппету в поисковой выдаче будет, а пользователь будет переадресован и не попадет на сайт?
4. Могут ли кликеры подделывать реффер? (Предполагаю, что могут) И может они вообще заходят по прямым заходам, а делают видимость, что они из поиска?
У меня месяц жркий с этой задачей, много всего перелопатил, и попробовал, но не хочу весь опыт тут изливать, дабы не перегружать. Будут вопросы, пишите. Давайте решим эту проблему, тем много создается подобных, я готов поделиться опытом , статистикой и информацией.
Писали по этому поводу Платону?
нет, а смысл? что он скажет?
напишет, что мол не переживайте, главное, чтобы это были не вы. Если это злоумышленники портят вам ПФ, мы это видим и на позиции это не повлеяет. А если кто-то скликивает ваш бюджет, то все уходит в недействительные клики. Ответ будет стандартным.
Если заходит человек с айписети кликиров, то он переадресуется на сайте security.site.ru. там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru (причем на ту страницу, на которую он хотел).
Современный бот выполняет js и легко обойдет эту защиту если долбят целенаправленно именно вас
1. Это проверяется логированием.
2. Не вникал в код, но куки начинают работать при повторном заходе на сайт.
3. Не по моей части.
4. Могут.
если от ботов надо спрятаться то botguard
Современный бот выполняет js и легко обойдет эту защиту если долбят целенаправленно именно вас
статистика показывает, что 2/3 ботов переадресуются. А код с проверкой по айпи стоит до <html>. Можно поподробнее пожалуйста, каким образом они могут обойти эту защиту? Они могут нажать кнопку на проверочном сайте или вообще не переадресовываться?
---------- Добавлено 11.05.2020 в 22:03 ----------
1. Это проверяется логированием.
Да, согласен. Надо долго копаться в логах и сопоставлять с другими данными) Логи включены и есть статистика за весь период. Надо выделить на это время.
2. Не вникал в код, но куки начинают работать при повторном заходе на сайт.
Да, в том-то и дело, это нормально. До переадресации пользователю записываются куки, чтобы один раз пройдя проверку потом при каждом клике не уходить на проверку снова в течении часа.
Была аналогичная задача, также в определённый период начался массовый наплыв отказного трафика.
Тематика сайта - бизнес, продажа услуг под договор с обязательным подтверждением e-mail-а.
Проанализировал все отказные сессии, повторные (более 3-х раз за месяц) занёс в чёрный список. При заходе с IP из чёрного списка редирект на отдельную страницу без кода метрики с сообщением: "С вашего IP поступают автоматические запросы.. если вам необходим доступ к полезным материалам сайта, пожалуйста, введите ваш e-mail и арифметическая капча"
Практически весь отказной трафик удалось из Метрики убрать. В течение двух месяцев было с десяток обращений, где как оказалось партнёры держали в вкладках сайт и при выходе из спящего режима (офисные работники) получались отказные сессии.
Полезным партнёрам/клиентам доступ открыли, общие отказы нормализовали.
Подряд пару месяцев общались с менеджерами, жалоб, резких изменений числа клиентов не было. Работает по сей день.
в основном айпишники мегафон метрополитена
31.173.80.0 - 31.173.87.255
Metropolitan branch of OJSC MegaFon = Столичный филиал ОАО "МегаФон"
Как вы определили, что это метрополитен?
Можно поподробнее пожалуйста, каким образом они могут обойти эту защиту?
Я намекаю
там посетитель видит текст "Ваш переход похож на автоматический, подтвердите, что вы человек" и если кнопка кликается, то пользователь попадает на site.ru
что современные боты в состоянии жать на эту кнопку, так как используют полноценный браузер. Поэтому такой метод фильтра = прошлый век.
31.173.80.0 - 31.173.87.255
Metropolitan branch of OJSC MegaFon = Столичный филиал ОАО "МегаФон"
Как вы определили, что это метрополитен?
да, в спешке не проверил перевод. Но суть не меняется. После блокировки этого списка столичного филиала новых плохих заходов с таким названием сети больше не происходит.
---------- Добавлено 12.05.2020 в 19:50 ----------
Я намекаю
что современные боты в состоянии жать на эту кнопку, так как используют полноценный браузер. Поэтому такой метод фильтра = прошлый век.
Я не спорю, что реально написать скрипт, с помощью которого будет нажиматься кнопка. Но я не думаю, что это всё затеяно чтобы специально потопить наш сайт. Мочат не только нас, а, судя по подобным темам на форумах, сотни сайтов. Менять алгоритм и переписывать скрипт специально под нас - много чести нам бы было.
---------- Добавлено 12.05.2020 в 19:54 ----------
Проанализировал все отказные сессии, повторные (более 3-х раз за месяц) занёс в чёрный список. При заходе с IP из чёрного списка редирект на отдельную страницу без кода метрики с сообщением: "С вашего IP поступают автоматические запросы.. если вам необходим доступ к полезным материалам сайта, пожалуйста, введите ваш e-mail и арифметическая капча"
а большой черный список у вас получился? У нас на данный момент более 200 ip сетей.