Скликивание Adsense ботами / Мобильный фильтр

Всем доброго здоровья!

В феврале мы заметили (точнее гугл заметил), что на нашем сайте сильно возросло количество недействительных кликов. С того времени, в поисках решения этой проблемы, я перечитал десятки статей и тем на наших и зарубежных форумах. Сейчас у меня сложилась более-менее четкая картина происходящего и я хочу поделиться с вами своими мыслями наработками. На этом форуме уже есть несколько похожих тем, но там так и не пришли к решению этой проблемы.

Коротко о сайте:

• Возраст 4 года;
• Тематика развлекательная (приколы, подборки фото, вирусный контент. Без шока);
• Трафик из фейсбука (плюс/минус 300 000 пользователей в месяц);
• Страница на фейсбуке продвигалась только белыми методами, трафик с хорошими поведенческими показателями;
• Движок Wordpress с минимумом плагинов;
• С выплатами никогда проблем не было.

Все началось с того, что на сайт наложили пресловутый фильтр от случайных нажатий. Тогда мы решили, что проблема в верстке и в неправильном размещении рекламных блоков. Связались с поддержкой и выполнили их рекомендации:

• Увеличить расстояние (в пикселях) между рекламными блоками и основным контентом сайта.
• Пометить свои объявления AdSense с помощью заголовков "Реклама" и "Рекламные ссылки".
• Разместить кнопки навигации, направляющие посетителей на следующую страницу сайта, над рекламными блоками, а не под ними.
• Проверить работу сайта с разных устройств, поскольку недействительный трафик считается изо всех источников.

Через 2 недели фильтр был снят, но буквально через 2 дня появился снова. Опять связались с поддержкой. На этот раз они просто повторили предыдущие рекомендации и сообщили, что все решения принимает некая "спам-команда", а к ним доступа нет. Начали разбираться сами. Первым делом, проанализировали данные Google аналитики. И тут, как мне кажется, мы нашли реальную причину проблемы.

В феврале (12.02), возросло количество двойных кликов (я их так называю, на самом деле один пользователь может делать больше кликов). Таких кликов было примерно в 3-4 раза больше чем обычных, которые засчитывала Adsense. В воскресенье 16 февраля был большой всплеск. Почти 19 000 двойных кликов против 3000 обычных. После этого, в понедельник первый раз на объявления наложили фильтр (хорошо, что не забанили аккаунт). В последнее время вижу много сообщений о том, что банят аккаунты и люди не понимают почему, возможно как раз из-за таких кликов.

Стоит отметить, что эти двойные клики появились в марте 2019 года, но по какой-то причине гугл не обращал на них внимания. Возможно из-за того, что не было так много трафика (ранее, практически весь трафик шел на моментальные статьи) или не было таких всплесков.

Прошу всех, у кого есть похожие сайты, поделится статистикой. Чтобы проверить свои сайты, перейдите в отчет "Поведение - издатели - обзор", выберете AdSense и показатель "Число кликов на объявления Adsense". Далее создайте сегменты.

Первый (обычные клики)

Второй (двойные клики)

Для полноты картины можно создать еще третий сегмент для нулевых кликов (покажет клики без дохода).

Тут основной вопрос: кто эти пользователи?

- обычные люди с зараженными устройствами

- боты

- люди с ботоферм

Анализ имеющихся в аналитике данных практически ничего не дал. Источник трафика в основном фейсбук, разные устройства и браузеры. География: Россия и Украина. С таким количеством трафика, в логах копаться практически бесполезно. Мне удалось вычислить только несколько сеансов по вебвизору. На сайте они ведут себя вполне обычно.

Что делали, чтобы исправить ситуацию:

1) Сообщили в гугл о недействительных кликах по этой форме https://support.google.com/adsense/contact/invalid_clicks_contact Они не отвечают, но говорят, что эти сообщения берут во внимание, когда решают банить или нет.

2) Купили платную версию плагина Ad inserter Pro. Среди его функций есть Click fraud protection, когда система считает количество кликов каждого пользователя и перестает показывать рекламные блоки, когда превышен лимит. В нашем случае это не помогло. Дело в том, что плагин сохранял данные в кеше, а такую защиту легко обойти. Плюс сам процесс скликивания довольно странный: такое ощущение, что при заходе, бот или пользователь сразу нажимает на все блоки. Потому, чем больше блоков, тем больше двойных кликов. По специфике сайта у нас довольно длинные посты, а реклама вставляется через определенное количество картинок, потому на странице может быть 5-8 рекламных блоков. Цена плагина 30$ за лицензию.

4) Купили WAF (web application firewall) от Cloudflare. Этот фаервол блокирует довольно много запросов, связанных с попытками взлома и другими мошенническими действиями. Цена 20$ в месяц.

5) Купили плагин Click fraud Monitoring - он работает также как и Ad inserter но привязывается к IP пользователя. Плагин полезный, но у него есть одна существенная проблема. Как показала практика, он считает не только клики, но и тапы по блокам с мобильных. Потому в статистику попадали тысячи "кликов". В чем же польза плагина? Мы нашли ему такое применение: если оставить 1 рекламный блок где-то внизу страницы, обычные пользователи будут редко кликать и тапать по нему, а боты будут. Таким образом можно собрать список IP и забанить их на уровне фаервола. Мы так и сделали, забанив несколько подсетей. Цена 69 евро за лицензию.

6) Полностью удалили шаблон, поставили новый и заново все настроили. Обновили версию php на сервере и все пакеты.

7) В одной из тем на форуме была мысль о том, что код отслеживания аналитики установлен неправильно. Его нужно устанавливать непосредственно перед тегом </head>. У нас раньше все коды были установлены через Google Tag Manager. Добавили их вручную.

8) Еще один совет, который я нашел на форуме - отключить анимированные объявления. В аккаунте Adsense переходим "Управление блокировкой - Все сайты - Показ объявлений".

В итоге двойных кликов стало реально меньше, хоть и полностью от них избавиться не удалось.

Главная цель создания этой темы - получить статистику от владельцев похожих сайтов и вместе попытаться определить причины и найти решение. Возможно, многие даже не подозревают о проблеме.

Буду благодарен, если вы поделитесь информацией:

- Когда у вас аналитика начала фиксировать двойные клики?

- Были ли всплески двойных кликов?

- Какая установлена CMS? Может проблема в Wordpress?

- Есть ли дополнительная защита на сервере?