- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Бот sape.ru делает в максимуме до 82 запросов в секунду.
На моей практике и до 170 легко доходит от них.
1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)
Не верят и не хотят, разные вещи 😂
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?
многие сталкиваются, но больше как с неизбежностью, чем с вопиющим случаем.
Яша похлеще досит :) подними ограничение да и всё.
+100500 Вот у кого нет ограничений по скорости на своих ботов, так это у яши ☝
Проблема в том, что плюс к ботам sape часто бывают ддос боты, которые нужно ограничивать.
Если ддос грамотный, то фильтры по количеству обращений не помогут ибо имитация людей, ну а если школьники, так они сразу по 200-2000 коннектов ставят. Вот от этого и надо отталкиваться, я так думаю.
Если ддос грамотный, то фильтры по количеству обращений не помогут ибо имитация людей, ну а если школьники, так они сразу по 200-2000 коннектов ставят. Вот от этого и надо отталкиваться, я так думаю.
Грамотный ддос (с имитацией пользователя) бывает редко.
Чаще ддос боты делают по 5-200 запросов в секунду каждый.
Из за них и ставятся лимиты в nginx.
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.
однозначно, при 500 страницах в секунду к битриксу намано на средних серваках живём.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?
не только Вы, но для ботов СЭЙП можно сделать VIP доступ, не смотря на их поведение
одно дело ПС, они не каждый день индексируют сайты, а другое дело СЭЙП им надо проверять 2 раза в день наличие ссылки на страничке, а так как обычно продают 1-2 ссылки со странички, то ботам СЭЙП приходится обходить довольно приличное число страничек, если не нравится - не продавайте ссылки 🍿
Вот, кстати, аппорт и майл - они нагибают, по 50 соединений и щёлкают стотысячстраничные сайты за десятки минут, причем половина хитов повторяется, видимо клоакинг или склейку криво исчут.
А у сапы достаточно мирный бот.
Боты сапы в белом списке и их защита от ддос (анализирующая логии access.log) не банит.
Но для лимитов nginx нет белого списка.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
limit_req zone=lphp burst=10 nodelay;
zexis добавил 24.06.2011 в 23:56
Проблема в том, что плюс к ботам sape часто бывают ддос боты, которые нужно ограничивать.
Люди не делают более 2-4 запросов в секунду к динамическим страницам сайта.
zexis
1) Вы не верно ставите в nginx,то как вы хотите делать, надо делать по другому.
2) Я бы сказал как но было бы смешно, так как статус у вас должен всё-таки быть, и банальные вещи вы должны видить.
3)-ГО, не дано.
+100500 Вот у кого нет ограничений по скорости на своих ботов, так это у яши
У яши есть кравн - что не у одних ботов (у других систем индексации) нету.
У яши есть кравн - что не у одних ботов (у других систем индексации) нету.
Ололо? Превед!