Бототрафик с реферером соцсетей.

123 4
genjnat
На сайте с 08.10.2008
Offline
229
1340
Три недели назад на сайт пошли боты с реферарми click.my.mail.ru, facebook.com, ok.ru, youtube.com, zen.yandex.ru... С каждой социалки по 15-25 шт. В сумме около 200/день.
Это точно боты (все андроид, все МСК, и пр идентичные параметры), но шифрованные под людей,  обходят от 1 до 3 страниц, время от 40 до 120 сек. и никогда больше.
Вроде ничего такого подозрительного не делают, но если кто-то льет шифрованых ботов, то замем-то ему это надо. Поэтому озадачился как заблокировать
По ИП, так что бы не порезать нормальный трафик не получается, они от 4 мобильных операторов и динамические. Поэтому заблокировали по реферерам  facebook.com, ok.ru, youtube.com... и т.п.
Теперь вот сижу думаю...
Ну во первых заблокировала ли я их, реферер ведь наверняка не настоящий?
Как отреагируют на блокировку боты ПС, которые тоже могут переходить из социалки?
Что им вообще надо?

Есть кто сталкивался, и вообще, что это такое?
Snake800
На сайте с 02.02.2011
Offline
215
#1

genjnat :
реферер ведь наверняка не настоящий?

 Реферер - это то, что браузер указывает в http-заголовке. По правилам он помещает туда ссылающуюся страницу, но может написать что угодно, хоть "Посланник Дональда Трампа". Что и делают боты.

genjnat :
боты ПС, которые тоже могут переходить из социалки

 А они разве ходят? 😳

genjnat
На сайте с 08.10.2008
Offline
229
#2
Snake800 #:
А они разве ходят?

Ползают, плаваю, летают... не знаю. Можете сказать, есть какие-то последствия блокировки ботов ПС только с нескольких источников?

abst
На сайте с 14.01.2011
Offline
136
#3
У себя на сайтах наблюдаю их с марта этого года, заметил еще что ровно на то же количество переходов сократились прямые заходы в метрике как раз в день появления этого мусорного трафика с маскировкой под соцсети.
Облачные VPS с SSD (https://goo.gl/Z2PT6u) от 150 руб. ДЦ в МСК и СПБ. Utpime 99.9%. 100 рублей на тест в подарок!
H7
На сайте с 30.01.2013
Offline
87
#4
С марта это дерьмо прет! Настройки метрики не помогают отфильтровать.
genjnat
На сайте с 08.10.2008
Offline
229
#5
abst #:
на то же количество переходов сократились прямые заходы в метрике как раз в день появления этого мусорного трафика с маскировкой под соцсети.

Точно

И что оно такое никому неведомо?)

Snake800
На сайте с 02.02.2011
Offline
215
#6
genjnat #:
Можете сказать, есть какие-то последствия блокировки ботов ПС только с нескольких источников?

Знаю, что боты ПС шастают с "выдачи". Но чтобы по реферерам соцсетей/сайтов... Я просто не в курсе. В любом случае, Вы же отдаёте не заклоаченный контент, а 403 или типа того. Не думаю, что будут негативные последствия от блокировки.

LevShliman
На сайте с 03.09.2018
Offline
159
#7
Вы статьи платные размещаете с ссылками?
От сюда хорошо видно, что Вы делаете на этом форуме http://www.fsb.ru
genjnat
На сайте с 08.10.2008
Offline
229
#8
Snake800 #:
а 403 или типа того

Ну вот это и беспокоит, что боты ПС получают такой ответ. Пусть и с ограниченного числа источников.

LevShliman #:
Вы статьи платные размещаете с ссылками?

Нет.

Аналитикс кстати такого количества переходов из соцсетей не видит.  Но то что видит, идет на те же страницы (их всего 3-4), и в подозрительно одинаковом количестве с разных соцсетей. С каждой по 100 +\-

Метрика

sochi-russia
На сайте с 06.01.2012
Offline
183
#9

В htaccess

<IfModule mod_rewrite.c>

RewriteEngine on

## SITE REFERRER BANNING

RewriteCond %{HTTP_REFERER} ok.ru [NC,OR]

RewriteCond %{HTTP_REFERER} t.co [NC,OR]

RewriteCond %{HTTP_REFERER} vk.com [NC,OR]

RewriteCond %{HTTP_REFERER} youtube.com [NC,OR]

RewriteCond %{HTTP_REFERER} l.instagram.com [NC,OR]

RewriteCond %{HTTP_REFERER} facebook.com [NC,OR]

RewriteCond %{HTTP_REFERER} zen.yandex.ru [NC,OR]

RewriteCond %{HTTP_REFERER} click.my.mail.ru [NC,OR]

RewriteCond %{HTTP_REFERER} porndl.org [NC]

RewriteRule .* - [F]

# Options +FollowSymlinks

RewriteCond %{HTTP_REFERER} ok\.ru [NC]

RewriteCond %{HTTP_REFERER} vk\.com [NC]

RewriteCond %{HTTP_REFERER} youtube\.com [NC]

RewriteCond %{HTTP_REFERER} facebook\.com [NC]

RewriteCond %{HTTP_REFERER} zen.yandex\.ru [NC]

RewriteCond %{HTTP_REFERER} click.my.mail\.ru [NC]

RewriteCond %{HTTP_REFERER} l.instagram\.com [NC]

RewriteRule .* - [F]

</ifModule>
https://clck.ru/Rk2P5 Сервера, конфигуратор тарифов VPS | Авиабилеты дешево https://avia-avia.ru . | Супер Хостинг от 9,20 руб в день https://clck.ru/Rk2P5 🖧 VPS от 19 руб. https://clck.ru/afhGc 🖧 Выделенные СЕРВЕРЫ - БЕСПЛАТНЫЕ плюшки https://clck.ru/YhkZe 🖧 / / Хостинг от 6руб в день! https://clck.ru/Rk2P5
genjnat
На сайте с 08.10.2008
Offline
229
#10
Это блокирует рефереры, что уже и так сделано.  И судя по статистике роста прямых переходов, ненужных ботов не заблокировало. 
Заблокировало нужных, которые действительно идут с этих адресов, и живых людей.
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий