Пример рабочих механик которые в конечном итоге ничем не помогают.
При отдаче вторичного контента, JS метрики или фоток, проверяйте наличие кукишей которые создает браузер при открытии страницы вашего сайта. У нас 9 из 10 роботов тырящих контент попадаются на эту примитивную проверку, вы сможете исключить их из Метрики, агрессивно брендировать фотки или вовсе забанить IP.
Если вам ближе проверки на лету, то считайте частотность. Обычный пользователь открывает N% html и JPG/PNG файлов, M% JS и CSS файлов, у типового робота N стремится к 100, M - к нулю. Эмпирически установите порог срабатывания, в т.ч. по количеству запросов (чтобы не банить сервисы типа WhatsApp подсасывающие мету по ссылкам) и деклассируйте обращения роботов по вкусу. Несмотря на простоту обхода такой проверки атакующая сторона упорно меняет провайдеров, но не меняет код. То ли используются готовые решения, то ли быстрее сменить одну облачную помойку на другую. Банить надо аккуратно, так как выкачиватели умудряются работать из сетей Google / Яндекс, причем не обязательно из опубликованного списка облачных сетей.
Сложности нет, просто в этом нет смысла. На двух самых проблемных сайтах блокировка всех зашедших по ссылкам ботов и прямых заходов дала мне -1% роботов по мнению метрики и примерно -10% от общего числа ПФ-ботов по моей субъективной оценке. Заблокированный бот сразу же или через 10-60 секунд приходит на ту же страницу из поиска. Если бы яндекс хоть что-то делал со своей стороны, то проблема была бы решаемой.
Что вы имеете ввиду под "доппинг ПФ халтурный"? Что вы вкладывает в понятие "доппинг" и по каким критериям он халтурный?
Я через Селениум буду из ниоткуда заходить на сайт и тыкать в ссылку в ленту новостей, потихоньку скроллить страницу "читая". Все, сессия завершена. По маршрутам у нас сессий без реферала до 20%, их вроде засчитывают за людей в Метрике, что там у них профилях - бог его знает. Но я понял, у профи задачи обычно по раскачке с нуля, с нашими они не особо пересекаются.
Палит Яндекс накрутку.
У меня в мыслях вот такой кейс. По GA у нас в неделю 200 тыс. пользователей, 2.5 млн событий. Раз в неделю есть новый лендинг, обычно новые товары под каким-то соусом. В принципе, пока хватает просто разместить ссылки но новьё на узловых страницах, в подсказках поиска и т.д., но часть страниц не взлетает. Так вот, мне кажется, что в общей массе обычных пользователей доппинг ПФ для новых страниц пройдет даже халтурный, без профилей. Не пробовал кто такой подход?
И да, у нас домен старше чем у гугл и яндекс, возможно ветеранам тоже положены скидки.
Не поверишь - у меня есть целая сетка сайтов сделанная в 2008 году по одному шаблону - они до сих пор в ТОП1 по вообще всем запросам и с каждым месяцем только растут по трафику. Как говорится если работает - не трогай! На остальное - по барабану что там и где.
