Форум Практика оптимизации Ссылочные и пользовательские факторы

Как скрыть свои бэклинки от ботов ahrefs, majestic и т.д. / NGINX

12
M
На сайте с 10.07.2022
Offline
7
monwhooper
#11
iccup #:
а не факт что вообще уберет
Вот это поворот.
M
На сайте с 10.07.2022
Offline
7
monwhooper
#12 
map $http_user_agent $bad_bot {
default 0;
# SEO Spiders
~*(AhrefsBot|SemrushBot|SemrushBot-BA|MJ12bot|DotBot|DataForSeoBot|BLEXBot|SEOkicks|SeopultContentAnalyzer|MegaIndex.ru|PR-CY.RU|SeolytBot|Adsbot|Barkrowler|serpstatbot|NetpeakCheckerBot|Screaming\ Frog\ SEO\ Spider|SiteAnalyzerBot) 1;
                        
# Other Crawlers
~*(Pinterestbot|GetIntent\ Crawler|netEstate\ NE\ Crawler|Leikibot|Barkrowler|weborama-fetcher|coccocbot-web|bidswitchbot|MediaMathbot|WebEMailExtrac|ContentSmartz|pathbuster|PetalBot|proximic|GrapeshotCrawler|CCBot|Quantcastbot|CensysInspect|Scrapy|NetcraftSurveyAgent|SeznamBot|ev-crawler|YisouSpider|ZoominfoBot|Neevabot|YaK|Researchscan|SerendeputyBot|SeekportBot|SurdotlyBot|python-requests|Python-urllib|python-httpx|BW|Riddler|BackupLand|Go-http-client|wp_is_mobile|ALittle\ Client|Apache-HttpClient|"-"\ "-") 1;
}

Товарищи, в общем, под RU сегмент вот что удалось найти. У меня сайт около 30к в сутки посещаемость, вот я за несколько месяцев логи полистал — нашёл только это. 

Если у кого-то есть что добавить (не важно, это ссылочный павук или любой другой бесполезный для RU сайтов) — поделитесь пожалуйста. Ну и по поводу моего списочка, может я что-то зря блокнул. 

А так вот, пользуйтесь на здоровье.


По поводу 

"-"\ "-"

сомневаюсь, но у меня там копейки в общей массе, поэтому блокнул.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
-S
На сайте с 10.12.2006
Offline
1354
-= Serafim =-
#13

1. Боты фильтруются по ASN + ГЕО, а не по юзерагентам.

2. Используй cloudflare, проще будет и эффективнее, так как в случае с nginx ты блокируешь трафик уже при попадании на сервер, а сетевые фильтры берут нагрузку на себя.

Блокировка IP средствами fail2ban, Упал доход Есть ли список ботов
M
На сайте с 10.07.2022
Offline
7
monwhooper
#14
-= Serafim =- #:

1. Боты фильтруются по ASN + ГЕО, а не по юзерагентам.

2. Используй cloudflare, проще будет и эффективнее, так как в случае с nginx ты блокируешь трафик уже при попадании на сервер, а сетевые фильтры берут нагрузку на себя.

Глянул, там вообще по настройкам красота. Не совсем понятно, почему даже на бесплатном тарифе фаервол можно прям ювелирно настраивать. В чём подвох? Так то логично, что лучше с порога всё нежелательное отсеивать и сервер не нагружать.

Чье это? гробят адалт Бесплатный хостинг -в чем актуальны ли тизерки в
-S
На сайте с 10.12.2006
Offline
1354
-= Serafim =-
#15
monwhooper #:

Не совсем понятно, почему даже на бесплатном тарифе фаервол можно прям ювелирно настраивать. В чём подвох?

Почитай разницу между фри а корпоративным аккаунтом. У всех разные лимиты и ограничения, фаервол не является чем-то таким, что требует много ресурсов

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий