Дайте совет как бороться с таким спамом.

да в принципе, если боты не кладут сайт и не копипастят его, то можно и забить на них. максимум – плавающее цтр будет, если монетизация какая-то есть.

то есть, во-первых, надо понимать простую вещь – борьба с ботами это всегда trade-off, поиск компромисса. чем шире и проще решение, тем больше потери трафика, особенно в ру-зоне, где большая часть прогрессивной меньшей части давно под бурж-впн сидит.

а, во-вторых, бессмысленно рассуждать о противодействии ботам, без понимания того, чем они могут грозить в каждом конкретном случае.

"There is no security without a threat model, only paranoia" (с) reddit

А есть третий вариант? :))) Они или кладут или че-то тырят с вашего сайта и лично я с этим мериться не намерен!

есть :) у яндекса, например, есть выводок совершенно безумных ботов, которые проверяют на опасные для пользователя виды монетизации.

у некоторых мобильных браузеров есть встроенные проксификаторы/ускорители загрузки, они контент тоже тянут из сетей дата-центров, но отдают живым пользователям.

Никто с подобным мириться не хочет. Но вроде проще делать проверки на свой контент в сети, текст, картинки. А ботов тысячи, с ума можно сойти всех мониторить - нудно. Кучи сервисов с собственными добрыми ботами - мы сами их приглашаем

Вся разница в том, что у меня в реальном времени юзер похожий на яндекса чекается на реальную принадлежность, т.е. изначально никаких списков нету, они создаются в процессе в реальном времени и никакой бот не пострадает, а в ваших nginx примерах белый бот не попадет на сайт пока владелец логов не поизучает их руками чтоб найти там ботов потеряшек.

Запиливать для nginx в реальном времени редактирование списков + рестарт nginx для применения конфига это сложно и не удобно, любой косяк и все сайты сервера уйдут в оффлайн пока админ не отредактирует косяки конфига и не подымит nginx.

Как я уже писал выше, более чем за год на 50-80.000 юзеров в день я дополнил этот список всего дважды.

Ну а сравнивать быстроту и простоту решений на nginx и php даже смысла нет, тем более что мои примеры бесплатны...

Dram, дело не в юзерах. На отдельно взятый сайт (ip) разнообразия яндекс ботов идет не такое большое. У меня фронтенды для дорвеев раньше были во многих странах, с одним общим логом антибота, это +40% подсетей примерно давало, чем на отдельно стоящий сайт, не бегающий по хостерам разных стран. Сайт размещенный в России и сайт размещенный за cloudflare - разница в подсетях ботов получается большой.