Яндекс бота теперь никак не остановить?

1 234
D
На сайте с 07.06.2012
Offline
48
#31

кеш nginx наверн не спасет, вряд ли яндекс дергает одни и те же страницы.

У Фокси дорвеи скорее всего, и запускаются генераторы страниц при обращении яндекса, верно, Фокси?

iOweYouNothing
На сайте с 08.01.2011
Offline
190
#32

Подобный вопросы возникают с проксирующими дорами - время парсинга донора больше времени между посещениями бота: забиваются наглухо коннекты с вытекающими.

Тут либо саму модель менять, либо с челобитной к Платонам. (а бешенство ябота в последние недели зашкаливает, по себе скажу)

voxia
На сайте с 12.10.2016
Offline
23
#33
foxi:
пока придумал такое решение сдерживания https://pastebin.com/YpBe1HAM

Я от ботов Яндекса в конфиге NGINX отбивался, отдавал 503 каждую 1, 1-2, 1-2-3 миллисекунды, в зависимости от остервенения Яндекса.

Плохо, что без зависимости от load average, но хорошо, что для расчётов PHP лишний раз не запускался, серверу полегше...

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#34

Я честно сказать разочарован с серча. Дичь какая-то дичайшая льется в ответы.

Это доры. Их негде и нельзя просто так взять и закешировать в nginx, потому что это будет уже совсем другой порядок затрат на сервера.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Оптимизайка
На сайте с 11.03.2012
Offline
396
#35
foxi:
Это доры. Их негде и нельзя просто так взять и закешировать в nginx

Ну так с этого и надо было начинать. Если у вас бесконечное кол-во страниц (генеренка), то понятно что с кешем не получится. Значит ваша участь лимитирование кол-во соединений в секунду, по другому никак. Либо вываливать бабки на адекватный сервер(ы).

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий