Борьба с роботностью

Подниму кстати тему, специально для любителей составления полотен User Agent.

Вот кусок реального лога, в каждом запросе подставляется новый, с разными известными именами ботов.

35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /laravel/.env HTTP/1.1" 200 103546 "-" "Mozilla/5.0 (compatible; YouBot/1.0; +https://you.com/bot)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /storage/logs/laravel.log HTTP/1.1" 200 100246 "-" "Mozilla/5.0 (compatible; Meta-ExternalAgent/1.0; +https://developers.facebook.com/docs/sharing/webmasters/crawler)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /wp-config.php.bak HTTP/1.1" 200 104055 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /.env.swp HTTP/1.1" 200 102846 "-" "Mozilla/5.0 (compatible; Bravebot/1.0; +https://brave.com/search/)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /wp-config.php.swp HTTP/1.1" 200 100006 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /.env.php.bak HTTP/1.1" 200 103145 "-" "Mozilla/5.0 (compatible; Meta-ExternalAgent/1.0; +https://developers.facebook.com/docs/sharing/webmasters/crawler)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /storage/.env HTTP/1.1" 200 103980 "-" "Mozilla/5.0 (compatible; Hunyuan/1.0; +https://hunyuan.tencent.com/)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /wp-config.php~ HTTP/1.1" 200 99881 "-" "DuckAssistBot/1.1 (https://duckduckgo.com/duckassistbot)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /wp/.env HTTP/1.1" 200 103015 "-" "Mozilla/5.0 (compatible; Bravebot/1.0; +https://brave.com/search/)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /configuration.php.bak HTTP/1.1" 200 99527 "-" "Mozilla/5.0 (compatible; Meta-WebIndexer/1.0; +https://developers.facebook.com/docs/sharing/webmasters/crawler)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /_debugbar/open HTTP/1.1" 200 99098 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-SearchBot/1.0; +claudebot@anthropic.com)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /.env.dev HTTP/1.1" 200 99236 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
35.196.183.13 - - [09/Nov/2026:14:26:33 +0300] "GET /config/.env.php HTTP/1.1" 200 103370 "-" "Mozilla/5.0 (compatible; Meta-WebIndexer/1.0; +https://developers.facebook.com/docs/sharing/webmasters/crawler)"

Я вообще угараю с chatgpt. Он часто путается и ошибается. Где-то можно его даже прогнуть, сказав - а почему так, давай вот так лучше. Он скажет - да, точно, так будет даже лучше)

Если нифига не разбираешься в теме, то ИИ не панацея. В то же время благодаря ему многое для себя открыл))

Через кодекс(программа на компе от опен аи)?

Подписка есть?

Если нейронка ошибается, значит где-то тупит прослойка между ней и твоим сайтом)

В ИИ можно аномалии посмотреть, а потом проверить IP через базу ipinfo_io.

К примеру выше Анти БОТ написал IP, проверяем его по базе и оказывается это облако Гугл, а оттуда кто хочет может ходить. 

Так ты не разбираешься в вопросе и не можешь дать чату нормальные инструкции вот он и чудит.

Купил подписку Go. На компе нет Кодекса. С телефона с ним общаюсь, а на компе вношу правки.

Ты как обычно, кроме бестолкового «ты не разбираешься» ничего не написать не можешь.

Можете мне объяснить, что делать с этим? По статистике отказы происходят на страницах с буквами gnccmd - это страницы тегов, пагинации и пользователей. Это кто-то скачал базу сайта или воспользовался ей и пуляет туда своих ботов? Потому что на них приходятся прямые заходы и отказы - 0 секунд пребывания на сайте. Это страницы малоинформативны.

С помощью chatgpt сделали js-проверку, правда, она не сработала и все равно отказы не уменьшились. JS-проверку удалил потом.

Можно ли как-то сделать правильную проверку на такого типа страниц?

И вот на скрине показываю, что сделали. Какие-то лимиты, предложенные ИИ.

Также прикрепляю скрин заблокированных ботов и IP, некоторые правила там отключили.

Смотри с каких IP ходят на твои страницы с отказами, я уже до этого написал, что nginx особо тебе не поможет.

Берешь лог за сутки, смотришь кто там в топ-10 и их проверяешь. Что за сегмент и Страна.

и банишь москву, россию, мегафон? )