- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В последнее время очень много запросов ботов на сервер из Бразилии, именно запросов а не реальных людей.
Изначально они приходили от старых версий хрома и фаирфокса я их заблокировал и вроде все норм. Сегодня было по 5000-6000 запросов в секунду на различные страницы из msie 5.0.
Диапазон ip очень большой бывает в день до 300000 разных ip. Как это фильтровать или банить я не понимаю.
То есть они скачивают по паре страниц и одного ip. У меня даже впервые за 7 лет nginx начал иногда отдавать 502 а сервер в своп ушел.
Вот график по версиям http в сумме получается до 800000 запросов в час
Собственно вопрос что это может быть и кто с таким сталкивался? Я пока весь трафик из Бразилии и Китая перевел на 127.0.0.1 но бесит ещё и то что они не кешируют dns и счета за aws выросли.
Мне кажется это либо ктото ai очень агрессивно тренирует либо ктото просто парсит выдачу ворует страницы и что-то с этим делает.
Насчёт банить весь AS там очень широкий набор ip который принадлежит какомунить телеком провайдеру и получается что проще банить всю страну.
или попробовать завернуть траф не основного гео в мультикаст сервер, если атакуют
В прошлом году до млн запросов из Бразилии было, потом повалили через Сингапур.
В итоге, оставил на время траф только под ЦА, а через 4 месяца "интерес" у них пропал. Пока все тихо. Спс за сигнал.
приходится свои велосипеды городить
что успешного нагородил?, делись)
капча самопальная, если это тупо реквесты без JS, то куча ботов отпадет или скачают "пустышку"
Я блокнул нецелевые страны.
В прошлом году до млн запросов из Бразилии было, потом повалили через Сингапур.
В итоге, оставил на время траф только под ЦА, а через 4 месяца "интерес" у них пропал. Пока все тихо. Спс за сигнал.
Сингапур это скорее всего huawei cloud я его заблокировал полностью. Ещё были alibaba cloud и amazon compute engline.
Я тогда (пару месяцев назад) подумал что они додосят или парсят через лямда функции типа получают очень большой range ip, и делают это за бесплатные деньги потому что платно нет никакого фрофита меня скачивать.
Они скачивали служебные страницы с nofollow и на всех языка то есть есть страницы типа report this content с формой на 20+ языках которая не имеет никакой ценности и они туда ломятся.
Я пытался через whois + dns определять что за хост и если он относится к облачным провайдерам блокировать /24.
Потом проследив за поведением обнаружил что они делают сначала head потом get запрос. Так появился первый велосипед. Head запрос на служебную страницу на которую нормальные боты не ходят бан условно на сутки для /24.
Но вот то что происходит сейчас непонятно, опять же обидно что делают бессмысленные вещи с точки зрения украсть контент а я получаю только раздутый счёт от aws за route53 и трачу время на борьбу с ними.
P.S не умею сразу двоим в одном сообщении ответить.
msie 5.0 - это может быть Mirai.
Спасибо это именно то что я искал
https://en.m.wikipedia.org/wiki/Mirai_(malware)
В моем случае скорее всего кто-то через ботнет зачем-то выкачивает весь сайт или крутит поведенческие или обучает ai это неважно. Пойду думать как это побороть чтобы не задеть обычных пользователей.
Спасибо это именно то что я искал
Это у тебя нету защиты поэтому издеваются..
Там ничего не стоит сменить User Agent на более реальные.
Проверяют скорее сколько Мбит/с может выдержать сайт и хватает ли у них мощности..