- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Администрирую сервер, на котором размещены сайты индексируемые ботом sape.ru.
В nginx стоит ограничение на количество запросов к динамическим страницам с одного IP.
Разрешено 2 запроса в секунду с одного IP с возможными пиками до 10 запросов.
Реализация в конфиге nginx.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
location / {
limit_req zone=lphp burst=10 nodelay;
Бот sape.ru делает в максимуме до 82 запросов в секунду.
Это зафиксировано у меня в логах.
Естественно в большинстве случаев получает ошибку 503.
Сапой занимаюсь не я, а другие люди. Я администрирую сервер.
Не первый раз уже вижу полное не понимание проблемы с их стороны.
1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)
2) считают, что сайт должен обслуживать до 50 запросов в секунду от их бота.
3) Уверяют, что никто кроме меня на скорость их бота не жалуется.
4) Уверяют, что снизить скорость бота невозможно, так как индексируется много сайтов. Я же считаю, что индексировать сайты можно параллельно и делать к каждому сайту запросы с меньшей частотой.
Разрешенные лимиты в nginx я поднял.
Сервер мощный, справится.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?
отнюдь, я сменил не мало хостеров именно по причине сапобота, в определенные моменты он способен положить на лопатки даже весьма не хилый сервер
503 еррор это стандартная картина для слабых серверов, чаще всего даже очень мощный серв едва-едва может выдержать проверку в несколько десятков тысяч ссылок
Не пробовал считать скорость сапобота. За год ни разу проблем не возникало.
ТС вы википедию администрируете? С обычными сайтами до 10тыс стр. у меня проблем не было на стандартном шаред-хостинге..
у меня проблем не было на стандартном шаред-хостинге..
Шаред на то и шаред, что ресурсов можно отжать больше, чем разрешено.
При особом желании можно положить весь шаред в одиночку с любым софтом для регрессивного тестирования, было бы желание.
Даже Петя из 6 "Б" может утопить среднюю впску своей любимой оперой, но речь всё равно не об этом.
zexis, можно спросить по поводу доса от сапобота у любого хостера с саппортом по чату, думаю подтвердят нагрузку. Спросить можно, например, у eskhosting и иже с ним.
Администрирую сервер, на котором размещены сайты индексируемые ботом sape.ru.
В nginx стоит ограничение на количество запросов к динамическим страницам с одного IP.
Разрешено 2 запроса в секунду с одного IP с возможными пиками до 10 запросов.
Реализация в конфиге nginx.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
location / {
limit_req zone=lphp burst=10 nodelay;
Бот sape.ru делает в максимуме до 82 запросов в секунду.
Это зафиксировано у меня в логах.
Естественно в большинстве случаев получает ошибку 503.
Сапой занимаюсь не я, а другие люди. Я администрирую сервер.
Не первый раз уже вижу полное не понимание проблемы с их стороны.
1) не верят, что их бот делает столько запросов в секунду (хотя в логах nginx это зафиксировано)
2) считают, что сайт должен обслуживать до 50 запросов в секунду от их бота.
3) Уверяют, что никто кроме меня на скорость их бота не жалуется.
4) Уверяют, что снизить скорость бота невозможно, так как индексируется много сайтов. Я же считаю, что индексировать сайты можно параллельно и делать к каждому сайту запросы с меньшей частотой.
Разрешенные лимиты в nginx я поднял.
Сервер мощный, справится.
Но реально не понимаю, не ужели только я сталкиваюсь со слишком высокой скоростью бота sape.ru?
Яша похлеще досит :) подними ограничение да и всё.
У меня было подобное, уже не помню какой сайт, да и не только сапа. А вообще думаю у них в системе предусмотрено, если скорость отдачи страниц быстрая то и индексация ускоряется.
Это всё не страшно когда индексируется 1 сайт, а если сервер хостинга с 2-3к сайтов, и параллельно индексируется несколько, то получаем действительно дос. А кроме этого у нас же обычно их IP в белом списке и за излишнюю активность сапе ничего не будет.
Можно протестить анализировав лог на любом сервере где много сайтов.
cat access_log|grep 123.123.
смотрим домены, 123.123. - подсеть сапы
cat access_log|grep 123.123.|grep domain.ru
tail -10000 access_log|grep 123.123.|grep domain.ru
смотрим 1 домен время начало и конец сапы, а потом кол-во запросов
cat access_log|grep 123.123.|grep domain.ru
полученное делим на число секунд, конечно это будет не вычисление пика а среднее число запросов..
Проблема с сапоботом сильно преувеличена. Их бот не намного активнее гугла, а если добавить остальных (яхо, яндекс ...), так сапа вообще затеряется в общей массе.
Причина в кривых скриптах сайтов. Если там наставили вордпресов - то не нужно пенять на сапу ;)
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.
Защита, видемо зекуса срабатует и банит сапу :), хотя я помню он писал что стоит у него алгоритм который отличает ботов от flood Ботов.
Боты сапы в белом списке и их защита от ддос (анализирующая логии access.log) не банит.
Но для лимитов nginx нет белого списка.
limit_req_zone $binary_remote_addr zone=lphp:10m rate=2r/s;
limit_req zone=lphp burst=10 nodelay;
zexis добавил 24.06.2011 в 23:56
А что, 82 запроса это очень много? Тогда пришла пора сменить сервер.
Проблема в том, что плюс к ботам sape часто бывают ддос боты, которые нужно ограничивать.
Люди не делают более 2-4 запросов в секунду к динамическим страницам сайта.