- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
подскажите, как с помощью cloudflare сделать блокировку ботов пытающихся массово сканировать сайт, но получающих ошибку 404?
До того как они зашли на сайт, это не было 404, а просто запрос к каким-то страницам определенным. А то что их не существует, стало понятно когда уже ваш сервер обработал запрос.
Найдите общие признаки: например, айпишники, подсеть, юзерагент, адреса страниц к которым только эти боты обращаются. Если это небольшое количество одних и тех же страниц, баньте при обращении к ним. Ну в таком ключе.
До того как они зашли на сайт, это не было 404, а просто запрос к каким-то страницам определенным. А то что их не существует, стало понятно когда уже ваш сервер обработал запрос.
Найдите общие признаки: например, айпишники, подсеть, юзерагент, адреса страниц к которым только эти боты обращаются. Если это небольшое количество одних и тех же страниц, баньте при обращении к ним. Ну в таком ключе.
в платной версии есть http.response.code с возможностью считать rate limit и последующим блоком https://developers.cloudflare.com/ruleset-engine/rules-language/fields/http-request-response/
в бесплатной есть http.response.headers, но по факту CF не реагирует на custom headers (или я не умею настраивать), и не ясно как делать ограничение по rate limit
есть решение через fail2ban передавать IP в CF по API, но это надо настраивать fail2ban под каждый API, если их много)
в платной версии есть http.response.code с возможностью считать rate limit и последующим блоком https://developers.cloudflare.com/ruleset-engine/rules-language/fields/http-request-response/
в бесплатной есть http.response.headers, но по факту CF не реагирует на custom headers (или я не умею настраивать), и не ясно как делать ограничение по rate limit
есть решение через fail2ban передавать IP в CF по API, но это надо настраивать fail2ban под каждый API, если их много)
Как по мне, это выглядит слишком перезаморочено. Если таких страниц не миллион, и если заходы не с десятков тысяч айпи, с сотен подсетей. А если 5 страниц, десяток айпишников, и пару подсетей, то их и так забить можно, без наворотов.
Вы же не выкатили полное описание вопроса, так, плюс-минус километр.
Как по мне, это выглядит слишком перезаморочено. Если таких страниц не миллион, и если заходы не с десятков тысяч айпи, с сотен подсетей. А если 5 страниц, десяток айпишников, и пару подсетей, то их и так забить можно, без наворотов.
Вы же не выкатили полное описание вопроса, так, плюс-минус километр.
пытался задать вопрос предельно просто, без лишней информации, полное описание наверное потянет на ТЗ для миниCMS)
да их не много 1-3к IPшек в сутки по всем серверам, у которых один общий признак это сканирование 404 страниц)
Добрый день
Подскажите, переходы с Hetzner Online GmbH стоит блокировать все? Без анализа ip
Есть вероятность, что заблокирую людей?
Поделитесь опытом, плиз
Добрый день
Подскажите, переходы с Hetzner Online GmbH стоит блокировать все? Без анализа ip
Есть вероятность, что заблокирую людей?
Поделитесь опытом, плиз
Блокировать не стоит. ВПНшиков поблочите. Если есть Клауд, то под капчу.
Блокировать не стоит. ВПНшиков поблочите. Если есть Клауд, то под капчу.
Спасибо!
Здравствуйте. Заблокировала первым правилом AS16509 -AMAZON-02, почему он через капчу лезет? И как понять проходит он капчу или нет. Не поняла в настройках пока. Подскажите, пожалуйста.
Здравствуйте. Заблокировала первым правилом AS16509 -AMAZON-02, почему он через капчу лезет? И как понять проходит он капчу или нет. Не поняла в настройках пока. Подскажите, пожалуйста.
Правило блокировки плохих ботов, asn должно быть перед skip-ом белых ботов CF. Если прошли, значит какое-то правило впереди их пропустило.
P.S. Я бы Bot Fight Mode выключил.
Здравствуйте. Заблокировала первым правилом AS16509 -AMAZON-02, почему он через капчу лезет? И как понять проходит он капчу или нет. Не поняла в настройках пока. Подскажите, пожалуйста.
Отключите бесполезную галку с Bot Fight Mode. У вас же на скриншоте видно что он отрабатывает, а не ваши правила, если в правилах действительно есть блок. В чем сомневаюсь.
Откройте метрику и по времени посмотрите, есть ли заход. Или в логах сервера.