Форум Поисковые системы Яндекс

Переходы с user agent curl/7.81.0 и axios/0.24.0

P
На сайте с 09.09.2007
Offline
131
pzn
847

В событиях CloudFlare заметил кучу переходов с юзерагентами curl/7.81.0 и axios/0.24.0 - user-agents.net говорят, что это боты/краулеры.

axios/0.24.0 идут только с AS24940 HETZNER-AS из Германии
curl/7.81.0 ломятся с кучи разных подсетей и с разных стран в раздел /wp-json/tdw/save_css, которого на сайте нет

Собственно, вопрос, что это за боты/краулеры и стоит ли их блокировать?

vashfreelancer
На сайте с 24.10.2023
Offline
28
vashfreelancer
#1
Это парсеры (веб-скрапинг). Второй судя по всему заходит на картинки (ну у меня так). Блок, ничего полезного с них не получите.
Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
S
На сайте с 12.10.2012
Offline
202
sagamorr
#2
pzn :

В событиях CloudFlare заметил кучу переходов с юзерагентами curl/7.81.0 и axios/0.24.0 - user-agents.net говорят, что это боты/краулеры.

axios/0.24.0 идут только с AS24940 HETZNER-AS из Германии
curl/7.81.0 ломятся с кучи разных подсетей и с разных стран в раздел /wp-json/tdw/save_css, которого на сайте нет

Собственно, вопрос, что это за боты/краулеры и стоит ли их блокировать?

Блокируйте HETZNER на прямые заходы AS.
vold57
На сайте с 01.10.2007
Offline
261
vold57
#3
sagamorr #:
Блокируйте HETZNER на прямые заходы AS.

Почему только на прямые заходы?

Аудит сайтов - главная часть это тщательная ручная работа, а не отчеты сервисов и программ (https://vold57.com/audit). Продвижение сайтов (https://vold57.com/seo)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий