Чистка отчётов в Google Analytics от реферального спама

Всем привет!

Многие из вас уже сталкивались в отчётах с реферальным спамом

Есть несколько решений, каждый из них, условно, можно называть "костылём", т.к. никакого официального решения нет, а в Google Analytics Measurement Protocol - это "дыра в тылу", в которую всегда может пробиться враг

Оперативный костыль №1

Можно отсеивать реф спам в .htaccess, например

<IfModule mod_setenvif.c>

# Set Referrer Spam as spambot

SetEnvIfNoCase Referer semalt.com spambot=yes

SetEnvIfNoCase Referer buttons-for-website.com spambot=yes

SetEnvIfNoCase Referer traffic2cash.xyz spambot=yes

SetEnvIfNoCase Referer adf.ly spambot=yes

SetEnvIfNoCase Referer copyrightclaims.org spambot=yes

SetEnvIfNoCase Referer get-your-social-buttons.info spambot=yes

SetEnvIfNoCase Referer snip.to spambot=yes

SetEnvIfNoCase Referer snip.tw spambot=yes

SetEnvIfNoCase Referer santasgift.ml spambot=yes

SetEnvIfNoCase Referer годом.рф spambot=yes

SetEnvIfNoCase Referer black-friday.ga spambot=yes

SetEnvIfNoCase Referer rankings-analytics.com spambot=yes

SetEnvIfNoCase Referer w3javascript.com spambot=yes

SetEnvIfNoCase Referer 2your.site spambot=yes

SetEnvIfNoCase Referer nufaq.com spambot=yes

SetEnvIfNoCase Referer topseoservices.co spambot=yes

SetEnvIfNoCase Referer for-your.website spambot=yes

SetEnvIfNoCase Referer trafficgenius.xyz spambot=yes

SetEnvIfNoCase Referer cyber-monday.ga spambot=yes

SetEnvIfNoCase Referer rusexy.xyz spambot=yes

SetEnvIfNoCase Referer top1-seo-service.com spambot=yes

SetEnvIfNoCase Referer quit-smoking.ga spambot=yes

SetEnvIfNoCase Referer hdmoviecamera.net spambot=yes

SetEnvIfNoCase Referer lsex.xyz spambot=yes

SetEnvIfNoCase Referer floating-share-buttons.com spambot=yes

SetEnvIfNoCase Referer simple-share-buttons.com spambot=yes

SetEnvIfNoCase Referer get-your-social-buttons.info spambot=yes

SetEnvIfNoCase Referer semalt.com spambot=yes

SetEnvIfNoCase Referer get-free-social-traffic.com spambot=yes

SetEnvIfNoCase Referer Get-Free-Traffic-Now.com spambot=yes

SetEnvIfNoCase Referer buttons-for-website.com spambot=yes

SetEnvIfNoCase Referer share-buttons.xyz spambot=yes

SetEnvIfNoCase Referer qualitymarketzone.com spambot=yes

SetEnvIfNoCase Referer chinese-amezon.com spambot=yes

SetEnvIfNoCase Referer quit-smoking.ga spambot=yes

## add all the SPAM sites you want

Order allow,deny

Allow from all

Deny from env=spambot

</IfModule>

Оперативный костыль №2

Другой вариант создать отдельное представление, в котором вы будете строить отчёты, и создавать в нём фильтры на основе регулярных выражений, например:

.*(semalt(media)?|buttons\-for\-website)\.com.*

.*((event\-tracking|semalt(media)?|(100dollars|success)\-seo|chinese\-amezon|e\-buyeasy)\.com|traffic(monetize(r)?|2money)\.(org|com)|pops\.foundation|erot\.co).*

.*((best(websitesawards|\-seo\-(solution|offer))|Get\-Free\-Traffic\-Now|googlsucks|theguardlan|webmaster\-traffic)\.com|(domination|torture)\.ml|((rapidgator\-)?(general)?porn(hub(\-)?forum)?|4webmasters)\.(ga|tk|org|uni)|(buy\-cheap\-online)\.info).*

.*((darodar|priceg|buttons\-for(\-your)?\-website|makemoneyonline|blackhatworth|hulfingtonpost|o\-o\-6\-o\-o|(social|(simple|free|floating)\-share)\-buttons)\.com|econom\.co|ilovevitaly(\.co(m)?)|(ilovevitaly(\.ru))|(humanorightswatch|guardlink)\.org).*

(best|100dollars|success|top1)\-seo|(videos|buttons)\-for|anticrawler|^scripted\.|semalt|forum69|7makemoney|sharebutton|ranksonic|sitevaluation|dailyrank|vitaly|video\-|profit\.xyz|rankings\-|dbutton|\-crew

ohow\.co|translatingservice\.com|webcacheservice\.com|videoservice\.com|206\.190\.45\.150|shoppingcart\.com|cdn\-service\.com

Недостатки первых 2-х костылей в том, что нужно постоянно отслеживать и обновлять списки и/или правила фильтрафии. Домен реф спамер может изменять сколько угодно раз.

Основательный костыль №3

Протокол передачи статистических данных Google Analytics (Measurement Protocol) позволяет обращаться к номеру вашего счётчика напрямую, даже не заходя к вам на сайт и/или даже не зная, что у вас за сайт в принципе. Именно по этому принципу накручивается реф спам. Чтобы избежать этого, нужно:

• Создавать куку в браузере пользователя, если он вошел на сайт.
• Создать в представлении фильтр, который включает в отчёты данные исключительно с этой кукой, все остальные данные он просто игнорирует.

Что вы получаете в результате?

Спамеры долбятся в ваш номер счётчика по Measurement Protocol, куки нет, поступающие данные ударяются в фильтр без куки и отваливаются. Пользователь зашел на сайт, появилась ваша кука, данные ударяются об фильтр - кука есть, и они попадают в отчёт.