keys-so-bot

12
D
На сайте с 07.11.2000
Offline
219
3123

keys-so-bot довольно таки агрессивно сканирует сайт. Конечно, каждый IP всего до 20-30 запросов в минут.
Но, одновременно сканирует с десятков IP.
Оно не влияет на работоспособность сайта, но мне не нравится, что сайт сканируют какие то парсеры и сервисы.
В robots явный allow для гугла, яндекста, маила и бинга. И запрет для всех остальных. 

Суть темы и вопрос:
Все  IP - Biterika Grupp. Есть смысл жаловаться? 

Вообще кто-то отсылает абузы при агрессивном парсинге?
Кто-то (не кейсо) вообще сканировал сайт со скоростью 1100 страниц в секунду. На работу не влияет, но, повторюсь, мне это не нужно и сканируют в основном для копипаста. 


TheVS
На сайте с 27.12.2006
Offline
441
#1
Всю битерику по номеру AS можно смело в бан отправлять даже не пытаясь что-то оттуда фильтровать и ограничивать.
🍄 Финансовая партнёрская программа для вебмастеров и блогеров: https://bit.ly/finance_pp
WN
На сайте с 22.02.2022
Offline
26
#2

зачем жаловаться если можно просто блокать это.

для клауда (ip.geoip.asnum in {35048}) - в блок.

и это я думаю не кейс-со-бот, а подмена.

35048 это AS битерики.

Можно дополнить правило по user-agent сделать типо так:

(ip.geoip.asnum in {35048}) or (http.user_agent contains "keys-so-bot")

если AS битерики - то блок, или юзер агент содержит  keys-so-bot - тоже блок.


D
На сайте с 07.11.2000
Offline
219
#3
WantNight #:
зачем жаловаться если можно просто блокать это.

"Зачем жаловаться, если отобрали деньги, когда можно записаться на бокс." :)
Чтобы не повадно было. Я против парсинга, об этом явно указал в robots. 

WantNight #:

и это я думаю не кейс-со-бот, а подмена.

Там десятки разных IP. Или битерика дает целый пул IP всем желающим?
Обычно подмена - гуглбот в ЮА ставят.


WN
На сайте с 22.02.2022
Offline
26
#4
Dimka #:

"Зачем жаловаться, если отобрали деньги, когда можно записаться на бокс." :)
Чтобы не повадно было. Я против парсинга, об этом явно указал в robots. 

Там десятки разных IP. Или битерика дает целый пул IP всем желающим?
Обычно подмена - гуглбот в ЮА ставят.


По юзер агенту key-so-bot только AS битерики.


Mr. 301
На сайте с 18.09.2023
Offline
8
#5
Да пусть сканирует, может неплохой аналог ахрефса сваяют
P7
На сайте с 07.05.2015
Offline
75
#6
Dimka :
Кто-то (не кейсо) вообще сканировал сайт со скоростью 1100 страниц в секунду. На работу не влияет, но, повторюсь, мне это не нужно и сканируют в основном для копипаста

1100 страниц в секунду - это уже DDOS, а не сканирование.

Кейсо сканирует сайт, чтоб потом продавать данные о нём Вам или другим лицам.

Я заблокировал сегодня всю битерику. Посмотрим что изменится.

Альберт
На сайте с 05.07.2007
Offline
153
#7

Нашел эту тему по запросу "keys-so-bot".

Эта фиговина теперь и по другим ASN. 
Были переходы с моего хостинга (бегет) (был  настроен как skip).
IP разные, полагаю их немало. У себя за последние 6 часов нашел 4 шт. 

P
На сайте с 09.09.2007
Offline
130
pzn
#8
Альберт #:

Нашел эту тему по запросу "keys-so-bot".

Эта фиговина теперь и по другим ASN. 
Были переходы с моего хостинга (бегет) (был  настроен как skip).
IP разные, полагаю их немало. У себя за последние 6 часов нашел 4 шт. 

Я заблокировал их в клауде по user-agent: (http.user_agent contains "keys-so-bot")

slavegirl
На сайте с 25.06.2012
Offline
393
#9
WantNight #:
зачем жаловаться если можно просто блокать это

Позвонила в Keys.so по номеру телефона, указанному внизу главной страницы, попросила не ддосить сайты. Оператор сильно удивился, но в ответ попросил прислать по email список сайтов и пообещал, что их исключат из системы. 😅

Я слишком наивная и нужно топать их банить? Прошло уже больше двух недель, ничего так и не изменилось.

https://t.me/Keep2Share/23332  ❤️  ИНВАЙТ В ПРИВАТНУЮ ГРУППУ — $100
WS
На сайте с 10.11.2023
Offline
0
#10
Сегодня он у меня улетел в бан по CF
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий