keys-so-bot

У меня на блок по юзерагенту не реагирует. Как будто нет блока.  Проходит и все. А в логах  keys-so-bot указан, в каждом заходе.

Это список адресов или подсетей? Глянул, адреса. От этого точно толку мало.

PS. Вот что хотел добавить. Ощущение, что это не совсем кейсо бот. Или же кто то под шумок им представляется. Я у себя видел несколько заходов, когда в адресе был как бы заход из поиска Гугла по товарам. По их Мерчант. Там в адресе добавляется ?srsltid=.... че то там.

Значит неправилось правило блокировки прописано или не там где должно быть.

Вы блокируете юзерагент keys-so-bot  или  Mozilla/5.0 (keys-so-bot) ? Если второе, то это ошибка.

keys-so-bot. Оно давно стояло и случайно увидел в логах, что проходит такой бот. Потом скопировал на всяких случай в логах и еще строку написал (вдруг было неправильно написано), но не поменялось ничего. Все равно проходил. Поэтому вручную подсетями забанил.

Там Мошонкин, Битерика и еще какая то ИП женская. Битерики 70%.

Если у вас нет этого, то скорее потому что Битерика забанена, а не из за юзерагента. Клауда у меня нет. Все в htacess.

RewriteCond %{HTTP_USER_AGENT} ^keys-so-bot [NC,OR]

Информация об ASN47913

У меня вот так он заблочен

SetEnvIfNoCase User-Agent "^keys-so-bot" bad_bot

<Limit GET POST HEAD> 

Order Allow,Deny 

Allow from all

Deny from env=bad_bot

</Limit>

Так вы его не заблокируете, поскольку строка Юзер-агент начинается с Mozilla, а не с keys.

Не проще ли записать одной строкой правило для всех bot, добавив в исключение нужные (Яндекс, Гугл и др.)?

А отчего ж все остальные боты заблокированы таким образом и их нет в логах?

RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Bytespider [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^GPTBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^ClaudeBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^ImagesiftBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^CCBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^ChatGPT-User [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^omgili [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Diffbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Claude-Web [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^PerplexityBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Amazonbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^LinkpadBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^PetalBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^BLEXBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^facebookexternalhit [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^keys-so-bot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^DataForSeoBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Barkrowler [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Applebot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^VirusTotalBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^StatOnlineRuBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^NetpeakCheckerBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^BackupLand [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^meta-externalagent [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^DuckDuckBot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^TurnItIn [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^wpbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^Konturbot [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^InternetMeasurement [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^"ALittle\ Client" [NC,OR]

RewriteCond %{HTTP_USER_AGENT} ^DotBot [NC]

RewriteRule .* - [F,L]

if ($http_user_agent ~* "AhrefsBot"){ return 403; }
if ($http_user_agent ~* "SemrushBot"){ return 403; }
if ($http_user_agent ~* "PetalBot"){ return 403; }
if ($http_user_agent ~* "dotbot"){ return 403; }
if ($http_user_agent ~* "SiteCheckerBotCrawler"){ return 403; }
if ($http_user_agent ~* "DataForSeoBot"){ return 403; }
if ($http_user_agent ~* "serpstatbot"){ return 403; }
if ($http_user_agent ~* "MJ12bot"){ return 403; }
if ($http_user_agent ~* "BLEXBot"){ return 403; }
if ($http_user_agent ~* "AntBot"){ return 403; }
if ($http_user_agent ~* "keys-so-bot"){ return 403; }
if ($http_user_agent ~* "facebookexternalhit"){ return 403; }
if ($http_user_agent ~* "Bytespider"){ return 403; }
if ($http_user_agent ~* "my-tiny-bot"){ return 403; }
if ($http_user_agent ~* "fidget-spinner-bot"){ return 403; }
if ($http_user_agent ~* "thesis-research-bot"){ return 403; }
if ($http_user_agent ~* "AwarioBot"){ return 403; }
if ($http_user_agent ~* "ImagesiftBot"){ return 403; }
if ($http_user_agent ~* "Baiduspider"){ return 403; }
if ($http_user_agent ~* "Barkrowler"){ return 403; }
if ($http_user_agent ~* "Barkrowler/0.9"){ return 403; }
if ($http_user_agent ~* "claudebot"){ return 403; }
if ($http_user_agent ~* "SeznamBot"){ return 403; }
if ($http_user_agent ~* "Pinterestbot"){ return 403; }
if ($http_user_agent ~* "bingbot"){ return 403; }
if ($http_user_agent ~* "GPTBot"){ return 403; }
if ($http_user_agent ~* "Amazonbot"){ return 403; }
if ($http_user_agent ~* "Amazonbot/0.1"){ return 403; }
if ($http_user_agent ~* "CCBot/2.0"){ return 403; }
if ($http_user_agent ~* "meta-externalagent/1.1"){ return 403; }
if ($http_user_agent ~* "applebot"){ return 403; }
if ($http_user_agent ~* "Go-http-client/1.1"){ return 403; }
if ($http_user_agent ~* "GuzzleHttp/7"){ return 403; }

а вот мой (nginx)

if ($http_user_agent ~* (PetalBot|MauiBot|GuzzleHttp|DotBot|ZumBot|serpstatbot|YunSecurityBot|IZaBEE|trendiction|vebidoobot|Seekport|ICC\-Crawler|WinHttp|opensiteexplorer|DotBot|alphaseobot|Sogou\s*web|Vagabondo|Re\-re\s*Studio|femtosearch|Uptimebot|psbot|Seopult|HttpUrlConnection|Microsoft\s*URL\s*Control|Detectify|BDCbot|zgrab|Scrapy|Nimbostratus|VelenPublicWebCrawler|Researchscan|LinkpadBot|YisouSpider|Cliqzbot|SemrushBot|VelenPublicWebCrawler|sistrix|SEOkicks|Riddler|Linguee|tracemyfile|python|statdom\.ru|MJ12bot|Apache[\s\-]*HttpClient|megaindex|CCBot|wget|ip\-web\-crawler\.com|curl|BLEXBot|teleport|ZmEu|360\s*Spider|Collapsar\s*TEXT|libwww\-perl|libwww|Snoopy|HuaweiSymantecSpider|TurnitinBot|MJ12bot|Gigabot|SolomonoBot|Ezooms|Indy.*?Library|Feed.*?Parser|Yahoo.*?Pipes|WordPress|AhrefsBot|DLE_Spider) ) {
    return 403;
}