- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
http { limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s; # ... server { location / { limit_req zone=one burst=20 nodelay; # ... } } }У Яндекса в вебмастере стоит до 30 запросов в секунду максимум.
Не забывайте, что количество запросов распространяется и на статику тоже. Если у вас h2 то одновременное будет тянуться не только HTML, но и всякие картинки и CSS и т.д., а их может быть больше 10 шт и вы получите тормоза сайта.
Поэтому выставите пределах в 50-100 запросов в секунду.
Но и опять же... это ограничение на по IP. В основном ДДОС идёт с 1000 IP и эти лимиты не помогут. Поэтому эти лимиты больше защита от F5 или парсеров, но не более.
У Яндекса в вебмастере стоит до 30 запросов в секунду максимум.
Не забывайте, что количество запросов распространяется и на статику тоже. Если у вас h2 то одновременное будет тянуться не только HTML, но и всякие картинки и CSS и т.д., а их может быть больше 10 шт и вы получите тормоза сайта.
Поэтому выставите пределах в 50-100 запросов в секунду.
Но и опять же... это ограничение на по IP. В основном ДДОС идёт с 1000 IP и эти лимиты не помогут. Поэтому эти лимиты больше защита от F5 или парсеров, но не более.
Благодарю за развёрнутый ответ. Какое значение для burst порекомендуете выставить?
Благодарю за развёрнутый ответ. Какое значение для burst порекомендуете выставить?
Ну сделайте 50/100 для начала.
Или ставьте только в критические секции location (тяжелые долгие скрипты). А из статики уберите вообще.
Как правильно заметили люди выше - попытка самостоятельно настроить защиту от ддоса скорее всего приведет к "выстрелу в ногу" и негативным последствиям для посетителей/поисковых ботов сайта.
На рынке, в том числе российском, имеются сервисы ддос защиты с дешевыми или бесплатными начальными тарифами - рекомендую попробовать воспользоваться ими. С большой вероятностью это решит основные проблемы без ложных срабатываний и негативного опыта для посетителей сайта. А в случае атак по сильнее/умнее - и переезжать с этих сервисов уже не надо будет - всегда есть выбор тарифов на вырост. Бонусом получите бесплатные ssl, CDN, ускорение сайта и прочие вкусности готовых решений.
Например, можете посмотреть наш сервис защиты (в подписи).
Правильно вам вверху написали - роботы будут попадать под раздачу. К тому же варианты с ограничением запросов по времени не сработают (ненамного ослабят атаку) - у меня с некешированным сайтом примитивным php crawler`ом сайт валили при такой защите - просто много проксей набирали и долбили по карусели. Это если кто то loic скачал и решил Вам навредить со своего ip поможет а с множественных ip нет. Смотрите в сторону cloudflare с ограничением по протоколу (проверка всего трафа http/1.0 и 1.1) + разрешить Known Bots (яндекс, гугл и прочее) - эффективое и простое решение
geo $limit {
default 1;
#google
66.249.64.0/19 0;
66.102.0.0/20 0;
64.68.80.0/21 0;
64.233.160.0/19 0;
72.14.192.0/18 0;
209.85.128.0/17 0;
216.239.32.0/19 0;
#yandex
77.88.0.0/18 0;
87.250.224.0/19 0;
93.158.128.0/18 0;
95.108.128.0/17 0;
213.180.192.0/19 0;
#bing
13.66.139.0/24 0;
40.77.169.0/24 0;
65.52.104.0/24 0;
65.52.108.0/22 0;
65.55.24.0/24 0;
65.55.52.0/24 0;
65.55.55.0/24 0;
65.55.213.0/24 0;
65.55.217.0/24 0;
131.253.24.0/22 0;
131.253.46.0/23 0;
40.77.167.0/24 0;
199.30.27.0/24 0;
157.55.13.0/24 0;
157.55.16.0/23 0;
157.55.18.0/24 0;
157.55.32.0/22 0;
157.55.36.0/24 0;
157.55.48.0/24 0;
157.55.109.0/24 0;
157.55.110.40/29 0;
157.55.110.48/28 0;
157.56.92.0/24 0;
157.56.93.0/24 0;
157.56.94.0/23 0;
157.56.229.0/24 0;
199.30.16.0/24 0;
207.46.12.0/23 0;
207.46.192.0/24 0;
207.46.195.0/24 0;
207.46.199.0/24 0;
207.46.204.0/24 0;
157.55.39.0/24 0;
}
map $limit $limit_key {
0 "";
1 $binary_remote_addr;
}
limit_req_zone $limit_key zone=one:10m rate=3r/s;
limit_req_log_level error;
limit_req_status 429;
это в основной конфиг, а в конфиг для конкретного хоста
location /folder/ {limit_req zone=one burst=1 nodelay;
...
}
у меня так
Вот мое решение, работает до сих пор. Спустя годы проблем нет https://searchengines.guru/ru/forum/954988/page2#comment_14885499
А если появятся новые подсети ботов Гугла или Яндекса? Их же тоже можно случайно заблокировать.
А если появятся новые подсети ботов Гугла или Яндекса? Их же тоже можно случайно заблокировать.
У меня есть отдельный лог для запросов с юзер агентом Поисковых систем и IP не из белого списка. Каждую ночь этот лог прогоняется обратным ДНС запросом на предмет проверки а может реально это новая подсеть поисковиков и если да, мне приходит уведомление. За два года пришло три или 4 таких уведомления и я проверив IP вручную обновил белый список.