Как скрыть свои бэклинки от ботов ahrefs, majestic и т.д. / NGINX

map $http_user_agent $bad_bot {
default 0;
# SEO Spiders
~*(AhrefsBot|SemrushBot|SemrushBot-BA|MJ12bot|DotBot|DataForSeoBot|BLEXBot|SEOkicks|SeopultContentAnalyzer|MegaIndex.ru|PR-CY.RU|SeolytBot|Adsbot|Barkrowler|serpstatbot|NetpeakCheckerBot|Screaming\ Frog\ SEO\ Spider|SiteAnalyzerBot) 1;
                        
# Other Crawlers
~*(Pinterestbot|GetIntent\ Crawler|netEstate\ NE\ Crawler|Leikibot|Barkrowler|weborama-fetcher|coccocbot-web|bidswitchbot|MediaMathbot|WebEMailExtrac|ContentSmartz|pathbuster|PetalBot|proximic|GrapeshotCrawler|CCBot|Quantcastbot|CensysInspect|Scrapy|NetcraftSurveyAgent|SeznamBot|ev-crawler|YisouSpider|ZoominfoBot|Neevabot|YaK|Researchscan|SerendeputyBot|SeekportBot|SurdotlyBot|python-requests|Python-urllib|python-httpx|BW|Riddler|BackupLand|Go-http-client|wp_is_mobile|ALittle\ Client|Apache-HttpClient|"-"\ "-") 1;
}

Товарищи, в общем, под RU сегмент вот что удалось найти. У меня сайт около 30к в сутки посещаемость, вот я за несколько месяцев логи полистал — нашёл только это. 

Если у кого-то есть что добавить (не важно, это ссылочный павук или любой другой бесполезный для RU сайтов) — поделитесь пожалуйста. Ну и по поводу моего списочка, может я что-то зря блокнул. 

А так вот, пользуйтесь на здоровье.

По поводу 

"-"\ "-"

сомневаюсь, но у меня там копейки в общей массе, поэтому блокнул.

1. Боты фильтруются по ASN + ГЕО, а не по юзерагентам.

2. Используй cloudflare, проще будет и эффективнее, так как в случае с nginx ты блокируешь трафик уже при попадании на сервер, а сетевые фильтры берут нагрузку на себя.

Глянул, там вообще по настройкам красота. Не совсем понятно, почему даже на бесплатном тарифе фаервол можно прям ювелирно настраивать. В чём подвох? Так то логично, что лучше с порога всё нежелательное отсеивать и сервер не нагружать.

Почитай разницу между фри а корпоративным аккаунтом. У всех разные лимиты и ограничения, фаервол не является чем-то таким, что требует много ресурсов