- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Посоветуйте пожалуйста какие технологии можно использовать для защиты от нагружающих парсеров, то есть таких которые дают много глупых запросов. Например из одной подсети по одному запросу в секунду циклически меняя IP и юзер-агенты.
На уровне логики веб-приложения такое отсекается очень легко, но не хочется допускать таких парсеров до этого уровня, хочется корректно обрезать их чем-то раньше.
Клаудфлар - на уровне не доходящем до вашего сервера.
Смотреть логи и банить в nginx по юзерагенту и ip - тоже не доводя по php.
https://antibot.cloud/ - на уровне php вашего сайта.
из одной подсети по одному запросу в секунду
Я бы смотрел в сторону nginx imit req. Осталось определиться с допустимыми правилами..
К примеру, как формализовать условие "запрашивается только странный адрес"? А потом в конфиге это условие и записать..
Если подсети известны - можно что-то вроде такого использовать:
https://stackoverflow.com/questions/49998529/nginx-rate-limiting-count-for-a-whole-subnet-not-just-per-ip
ivan-lev, с такими способами еще полезно иметь базу хороших ботов, типа гугла и яндекса, чтоб им не мешать, а то получится вреда больше, чем пользы.
Клаудфлар - на уровне не доходящем до вашего сервера.
Да, cloudflare как-раз такое убирает. Но речь идет чтобы убрать своими силами.
Смотреть логи и банить в nginx по юзерагенту и ip - тоже не доводя по php.
Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?
https://antibot.cloud/ - на уровне php вашего сайта.
На уровне php не интересно. У меня на уровне php самописная защита, которая банит и тупых ботов и умных. А хотелось бы найти какой-то инструмент, который банит тупых ботов раньше, не доходя до уровня php.
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Solmyr, про nginx не встречал готового и удобного. Сам смотрю по логам антибота у себя и если бот имеет свой юзерагент и сильно надоедлив, тогда руками его заношу в nginx.
Чем смотреть? Чем банить, чем снимать бан, есть какой-то инструмент?
Для начала определиться с условиями бана.. )) формализовать.
Так-то, тот же fail2ban можно пользовать.. :D