- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть ли такое регулярное выражение которое банило бы все ботов, по вхождению *bot, кроме указанных Pinterestbot/1.0;, Googlebot/2.1;, Googlebot-Image/1.0
сейчас так
Есть ли такое регулярное выражение которое банило бы все ботов, по вхождению *bot, кроме указанных Pinterestbot/1.0;, Googlebot/2.1;, Googlebot-Image/1.0
сейчас так
Правильнее будет так
Изначально флаг ставим в ноль, то есть пропускаем всех. Дальше ищем признаки ботов в юзерагенте. Ищем встречаются ли куски текста типа bot или Riddler и т.д. Если нашли, то выставляем флажок для дальнейшей блокировки. Затем баним всех тупых парсильщиков вообще без юзерагента. Дальше проверяем еще раз, не полезные ли это боты Гугла и Яндекса. Если это так, то снимаем флаг блокировки. Ну и в конце проверяем по итогу проверок блокировать этого посетителя или пропустить. Если флаг остается равен 1 то отдается 444 ошибка, то есть вообще ни чего — полный игнор в 0 байт.
Правильнее будет использовать map
map $http_user_agent $bad_useragent {
default 0;
~*ia_archiver 1;
~*Curl 1;
~*libwww 1;
~*BLEXBot 1;
~*SBooksNet 1;
~*MJ12bot 1;
~*Java 1;
~*NTENTbot 1;
~*GetIntent 1;
~*SemrushBot 1;
~*HybridBot 1;
~*AhrefsBot 1;
~*SeznamBot 1;
~*DeuSu 1;
~*GrapeshotCrawler 1;
~*SentiBot 1;
~*default 1;
~*Virusdie 1;
~*WordPress 1;
~*WhatsApp 1;
~*SeopultContentAnalyzer 1;
~*WinHTTP 1;
}
+ это в каждый нужный сервер
if ($bad_bot) {
return 444;
}
Более широкий вид блокировки тут
сделал след образом
взял список ip адресов тут https://ru.myip.ms/files/blacklist/general/full_blacklist_database.zip
потом в nginx.conf
ну а вот содержание bad_ip
вроде все заработало. что скажете? насколько оптимальный вариант?
iccup, вы закрыли свой сайт от мизерного коли-ва мусорного трафика, вот (как мне кажется) более подходящее решение /ru/forum/958253
Закрыть на уровне фаервола трафик с подсетей крупнейших хостеров мира.
Юзаю это решение более года + свою надстройку /ru/forum/comment/14885499, просадки по трафику не заметил, а вот мусорного трафика устало меньше на 90%.
Даже одна контора аналитики писала мне письмо - типа что такое, раньше парсили ваш сайт нормально, а сейчас он нормально открывается с компа, а наш сканер типа пробиться не может :)))
P.S. в вашем решении нет финальной строки
if ($bad_ip) {
return 444;
}
iccup
P.S. в вашем решении нет финальной строки
if ($bad_ip) {
return 444;
}
да, упустил это. вообще я делал этот способ по мотивам http://www.gofuckbiz.com/showthread.php?t=39716, там все разжевано.
Что касается блокировки хостинг провайдеров, большой охват, но возможен бан пользователей вместо ботов.
Пытался ставить ipset получил такое
Loaded plugins: fastestmirror
Setting up Install Process
Loading mirror speeds from cached hostfile
Could not retrieve mirrorlist http://rpms.remirepo.net/enterprise/6/safe/mirror error was
12: Timeout on http://rpms.remirepo.net/enterprise/6/safe/mirror: (28, 'connect() timed out!')
Error: Cannot find a valid baseurl for repo: remi-safe
Что касается блокировки хостинг провайдеров, большой охват, но возможен бан пользователей вместо ботов.
А можно поподробнее? Сотрудников ДЦ? Они не смогут зайти к вам на сайт? Откуда такое предположение...
Пытался ставить ipset получил такое
А так не пробовали?
А так не пробовали?
у меня centos 6.9, 64 разрядность.
Пытался ставить ipset получил такое
rpms.remirepo.net видимо накрылся(что странно), может совсем, поставь из другого места