Список черных IP против ботов и роботов

12
22
На сайте с 01.10.2010
Offline
88
340

Друзья и коллеги, последнее время обнаружил повышенную активность ботов и роботов на своих проектах - 1 просмотр на посещение, не более 15-16 секунд (минимальный порог для нормальных ПФ). 

Раньше сталкивался с подобным и обычно было два варианта негативно влиять на сайт:
1. Большое количество посещений ботами сайта, чтобы росла нагрузка на сайт и сайт медленнее работал.
2. Небольшое количество посещений сайта ботами, но с определенными условиями, которые плохо влияют на метрики сайта и в итоге на поисковое продвижение сайта - количество просмотров страниц на пользователя (1 просмотр) и малое время нахождение на сайте (менее 30 секунд).

С первым вариантом проще бороться, со вторым сложнее. Сейчас составляю список IP адресов (с которых атакуют мои проекты), чтобы потом их заблокировать на серверах. Список сюда в тему выложу дня через два-три.

Огромная просьба тем, кто уже делал подобные списки черных IP - накидайте, пожалуйста. Давайте создадим базу таких IP (если есть - киньте ссылкой), чтобы её дополнять и использовать для блокировки на сайтах.

Всем спасибо заранее.

foxi
На сайте с 02.03.2011
Offline
880
#1

Очень глупая и вредоносная идея собирать IP которые накручивают поведенческие. Потому что они юзают мобильных и домашних провайдеров России и реже Украины. Т.е. через 5 минут с этого IP скорее всего будет ходить уже реальный человек. 

По вашей же логике вообще нужно банить всю Россию и Украину ))) чтоб уж точно не зашли.

Только вот накрутка поведенческих работает не на сайте, а на сервере яндекса, когда бот кликает по спец ссылке в выдаче. И не важно уже вообще зашел юзер на сайт в итоге или нет.

Для снижения нагрузки на сайт от активности левых ботов можно юзать антибота https://antibot.cloud/ru.html 

Антибот защита для сайта (https://antibot.cloud/ru.html#searchengines) (защита от кражи контента и спама) | ВебМастерские микроблоги (https://wmsn.biz/#searchengines) | Фокси SEO форум (https://foxi.biz/#searchengines)
22
На сайте с 01.10.2010
Offline
88
#2
foxi #:

Очень глупая и вредоносная идея собирать IP которые накручивают поведенческие. Потому что они юзают мобильных и домашних провайдеров России и реже Украины. Т.е. через 5 минут с этого IP скорее всего будет ходить уже реальный человек. 

Спасибо. Как бороться с ботами, которые посещают сайт ровно 15 секунд и таких где-то 300 в день? И есть еще с 0 секунд, столько же, а есть еще 9, 12, 16 секунд)))

alaev
На сайте с 18.11.2010
Offline
417
#3
2on2 #:

Как бороться с ботами, которые посещают сайт ровно 15 секунд и таких где-то 300 в день? И есть еще с 0 секунд, столько же, а есть еще 9, 12, 16 секунд)))

Никак! Если накрутка не прекратится, то в ближайшем будущем сайт начнет падать, скорее всего.

Если пожалуетесь Платону и скажате, что это не вы, то вам обнулят учет поведенческих метрик, а ссылками и текстом сайт в топе теперь не удержишь.

Вот так теперь выглядят сайты, на которые льют ботов из социалок и писалось письмо Платону. Ботов больше нет 😊


Я таких сайтов за последнее время много видел. Либо они вылетают вообще за топ 100, либо падают ниже 5 страницы и все..

Продвижение сайтов - https://alaev.net
22
На сайте с 01.10.2010
Offline
88
#4
alaev #:

Ботов больше нет 😊

Грусть печаль.

Спасибо за график)))

foxi
На сайте с 02.03.2011
Offline
880
#5
не надо жаловаться. надо скорее накручивать себе качественно. Чтоб этих говноботов было процентов не больше 10 от вашей качественной накрутки.
alaev
На сайте с 18.11.2010
Offline
417
#6
foxi #:
не надо жаловаться. надо скорее накручивать себе качественно. Чтоб этих говноботов было процентов не больше 10 от вашей качественной накрутки.

Ок, опустим вопрос о том, что такой всплеск трафа - огромная вероятность получить бан по сегодняшним настроениям Яндекса.

Давайте о стоимости вашей гипотезы)))

На сайт льют 50 ботов в сутки из социалок и прямых заходов. 500 качественных ботов в сутки с нагуленными профилями сколько будут стоить, учитывая стоимость сервака, проксей и софта?

Ну, и где среднестатистическому Васе Пупкину осенью 2020 года взять все это, если он об этом слышит впервые? Тем более ему это нужно реализовать как вы говорите "как можно скорее".

K
На сайте с 25.08.2005
Offline
120
#7
alaev #:

Ок, опустим вопрос о том, что такой всплеск трафа - огромная вероятность получить бан по сегодняшним настроениям Яндекса.

Давайте о стоимости вашей гипотезы)))

На сайт льют 50 ботов в сутки из социалок и прямых заходов. 500 качественных ботов в сутки с нагуленными профилями сколько будут стоить, учитывая стоимость сервака, проксей и софта?

Ну, и где среднестатистическому Васе Пупкину осенью 2020 года взять все это, если он об этом слышит впервые? Тем более ему это нужно реализовать как вы говорите "как можно скорее".

Есть подозрения в виду массовости проблемы и похожими условиями у всех затронутых, что так поднимают спрос на накрутку ПФ всякие рекламные конторы. Возможно мощности (мобильные прокси, оконечное оборудование, софт) стали не востребованы в узком кругу "накрутчиков" и теперь их пытаются окупить за счет продажи широким массам. Количество звонков  с предложением накрутки ПФ увеличилось в разы.  Общий спрос на рекламные услуги упал, вот ребята и ищут новые точки роста продавая в паблик.

N
На сайте с 18.11.2019
Offline
9
#8
alaev #:

Давайте о стоимости вашей гипотезы)))

На сайт льют 50 ботов в сутки из социалок и прямых заходов. 500 качественных ботов в сутки с нагуленными профилями сколько будут стоить, учитывая стоимость сервака, проксей и софта?

От 5 000 рублей в месяц, но придется серьезно поработать и головой и руками (из личного опыта) ;) 

anthony_
На сайте с 12.04.2007
Online
270
#9
2on2 :
Сейчас составляю список IP адресов (с которых атакуют мои проекты), чтобы потом их заблокировать на серверах. Список сюда в тему выложу дня через два-три.

Как уже сказал коллега, блокировать IP на уровне сервера и те более составлять блэк листы вредоностных IP для паблика - идея неблагодарная, есть большая вероятность, что посрубается полезный трафик. 

Я решал задачу следующим образом - вредоностные IP не обрубал, а уводил на отдельную служебную страницу (в обход Метрики) с капчей и просьбой подтвердить намерение получить полезную информацию на сайте. Меня на форуме, помню, критиковали, что никто ничего заполнять не будет и полезный трафик будет уходить - ничего подобного, пол года у меня было, чтобы протестировать своё решение. В итоге из забракованных нескольких десятков IP, обращений было всего несколько и я их убрал из блэк листа. В итоге - отказы значимо уменьшили, общая поисковая видимость выросла, продажи удалось только поднять. 

Так что вопреки сложившемуся мнению, что ничего сделать нельзя - сделать можно, если сильно захотеть и применить свои опытные наработки в этом направлении. 

√ SEO консалтинг (/ru/forum/992763), маркетинговые изыскания, поиск новых точек роста. Опыт работы более 10 лет (http://akazansky.ru). В ТОП выдачи без предоплат (/ru/forum/comment/15807404) и оплатой за результат! Связь (http://akazansky.ru/snachala-rezultat-potom-oplata).
aleksandrbol
На сайте с 17.07.2009
Offline
364
#10
anthony_ #:

Как уже сказал коллега, блокировать IP на уровне сервера и те более составлять блэк листы вредоностных IP для паблика - идея неблагодарная, есть большая вероятность, что посрубается полезный трафик. 

Я решал задачу следующим образом - вредоностные IP не обрубал, а уводил на отдельную служебную страницу (в обход Метрики) с капчей и просьбой подтвердить намерение получить полезную информацию на сайте. Меня на форуме, помню, критиковали, что никто ничего заполнять не будет и полезный трафик будет уходить - ничего подобного, пол года у меня было, чтобы протестировать своё решение. В итоге из забракованных нескольких десятков IP, обращений было всего несколько и я их убрал из блэк листа. В итоге - отказы значимо уменьшили, общая поисковая видимость выросла, продажи удалось только поднять. 

Так что вопреки сложившемуся мнению, что ничего сделать нельзя - сделать можно, если сильно захотеть и применить свои опытные наработки в этом направлении. 

Умное решение! А скриптом можете поделиться?

Если Да, скиньте в личку. Спасибо.

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий