До того как они зашли на сайт, это не было 404, а просто запрос к каким-то страницам определенным. А то что их не существует, стало понятно когда уже ваш сервер обработал запрос.
Найдите общие признаки: например, айпишники, подсеть, юзерагент, адреса страниц к которым только эти боты обращаются. Если это небольшое количество одних и тех же страниц, баньте при обращении к ним. Ну в таком ключе.
в платной версии есть http.response.code с возможностью считать rate limit и последующим блоком https://developers.cloudflare.com/ruleset-engine/rules-language/fields/http-request-response/в бесплатной есть http.response.headers, но по факту CF не реагирует на custom headers (или я не умею настраивать), и не ясно как делать ограничение по rate limitесть решение через fail2ban передавать IP в CF по API, но это надо настраивать fail2ban под каждый API, если их много)
подскажите, как с помощью cloudflare сделать блокировку ботов пытающихся массово сканировать сайт, но получающих ошибку 404?
лично я жду мира во всем мире)ну и пишу в спортлото, чтоб поторопились с миром...
Не все вебмастера настолько грамотны, чтобы уметь настраивать фильтрацию.
защиту не настроишь, точнее нельзя на 100% защититьсяу яндекса хорошая антифрод система, но она ломается, если сайт общетематический и скликивают неЦА ботыникто не застрахован
удаляешь метрику и другую статистику с сайта и ботов нету, чего не видишь того и нету 😀
кстати метрика и не показывает поведенческих ботов, может вручную как-то через вебвизор и можно вычислить гадов, но это же вручную)
защиты от роботов без биг даты не существует)а люди которые пишут "у меня на сайте роботов нет", просто смешны)
анонимный, для хакеров, без смс и регистрации
