Борьба с роботностью

CN
На сайте с 12.12.2008
Offline
145
#91
yalol #:

сократил так: if ($http_user_agent ~* (360Spider|80legs.com|AhrefsBot|AcoonBot|Acunetix|BaiduSpider|Barkrowler|Bytespider|CCBot|ClaudeBot|CensysInspect|CommonCrawler|crawler4j|DataForSeoBot|DotBot|Exabot|ExaSearchBot|HTTrack|InternetMeasurement|MJ12bot|MegaIndex|PerplexityBot|pycurl|Scrapy|SemrushBot|SeekportBot|Screaming|SISTRIX|Slurp|TurnitinBot|WebCopier|WebReaper|WPScan|YisouSpider|ZmEu|Amazonbot|GeedoProductSearch|meta-externalagen|FriendlyCrawler|BacklinksExtendedBot|ChatGLM-Spider|tphotobot|ElevenlabsCrawler|ShapBot|QlyzeBot|meta-webindexer|LinkupBot|weborama-fetcher|ImagesiftBot|matlistan|BLEXBot|coccocbot-web)) {
return 444;
}

Все. пора завязывать с блокировкой ботов. Пора уже заняться созданием контента, а то я увяз буквально в этом бесполезном деле.

Надо будет какой-нить сервис подключить просто и все.

Раньше тоже занимался этой мутью, потом забил :)

Оставил только блокировку по странам.

Антоний Казанский
На сайте с 12.04.2007
Offline
849
#92
yalol #:

(360Spider|80legs.com|AhrefsBot|AcoonBot|Acunetix|BaiduSpider|Barkrowler|Bytespider|CCBot|ClaudeBot|CensysInspect|CommonCrawler|crawler4j|DataForSeoBot|DotBot|Exabot|ExaSearchBot|HTTrack|InternetMeasurement|MJ12bot|MegaIndex|PerplexityBot|pycurl|Scrapy|SemrushBot|SeekportBot|Screaming|SISTRIX|Slurp|TurnitinBot|WebCopier|WebReaper|WPScan|YisouSpider|ZmEu|Amazonbot|GeedoProductSearch|meta-externalagen|FriendlyCrawler|BacklinksExtendedBot|ChatGLM-Spider|tphotobot|ElevenlabsCrawler|ShapBot|QlyzeBot|meta-webindexer|LinkupBot|weborama-fetcher|ImagesiftBot|matlistan|BLEXBot|coccocbot-web)) {
return 444;
}

Все. пора завязывать с блокировкой ботов. Пора уже заняться созданием контента, а то я увяз буквально в этом бесполезном деле.

Вам сразу сказали не заниматься попытками блокирования по названиям.  Но вы не слушаете.


yalol #:
Надо будет какой-нить сервис подключить просто и все.

Я вам несколько страниц назад об этом сказал.

Всё что вы пытаетесь сделать, уже реализовано в наработках сервиса. 

► https://akazansky.ru - продуктовое SEO продвижение, аудиты, комплексное сопровождение для бизнеса • Продвижение от 10 тыс. / месяц • Почасовая нагрузка - 1000 рублей / час.
yalol
На сайте с 12.12.2007
Offline
254
#93
Антоний Казанский #:

Вам сразу сказали не заниматься попытками блокирования по названиям.  Но вы не слушаете.


Я вам несколько страниц назад об этом сказал.

Всё что вы пытаетесь сделать, уже реализовано в наработках сервиса. 

Благодарю. Просто программист сделал это, плюс внес кучу ботов, а я разбираюсь сижу в этом списке.

Он думает, что кроме Яндекса и Гугла не существует больше ничего. Но самое главное, это не дает результатов по отказам и роботности - все остается на прежнем уровне.

Антоний Казанский
На сайте с 12.04.2007
Offline
849
#94
yalol #:

Благодарю. Просто программист сделал это, плюс внес кучу ботов, а я разбираюсь сижу в этом списке.

Он думает, что кроме Яндекса и Гугла не существует больше ничего. Но самое главное, это не дает результатов по отказам и роботности - все остается на прежнем уровне.

Уверенно переходите к следующему этапу.
yalol
На сайте с 12.12.2007
Offline
254
#95
Антоний Казанский #:
Уверенно переходите к следующему этапу.

Только с этими строками надо разобраться. Оставить как есть или что-то убрать? 

if ($http_user_agent ~* (360Spider|80legs\.com|AhrefsBot|AcoonBot|Acunetix|BaiduSpider|Barkrowler|Bytespider|CCBot|ClaudeBot|CensysInspect|CommonCrawler|crawler4j|DataForSeoBot|DotBot|Exabot|ExaSearchBot|HTTrack|InternetMeasurement|MJ12bot|MegaIndex|PerplexityBot|pycurl|Scrapy|SemrushBot|SeekportBot|Screaming|SISTRIX|Slurp|TurnitinBot|WebCopier|WebReaper|WPScan|YisouSpider|ZmEu|Amazonbot|GeedoProductSearch|meta-externalagent|FriendlyCrawler|BacklinksExtendedBot|ChatGLM-Spider|tphotobot|ElevenlabsCrawler|ShapBot|QlyzeBot|meta-webindexer|LinkupBot|weborama-fetcher|ImagesiftBot|matlistan|BLEXBot|coccocbot-web|PetalBot|Reflectionbot|SeznamBot)) {

    return 444;

}

Например, где-то прочитал, что ExaSearchBot можно не убирать. Но хз

CN
На сайте с 12.12.2008
Offline
145
#96
yalol #:
Но самое главное, это не дает результатов по отказам и роботности - все остается на прежнем уровне.
Даже нагрузка на сервер не упала?
Л1
На сайте с 27.12.2016
Offline
192
#97
yalol #:

Благодарю. Просто программист сделал это, плюс внес кучу ботов, а я разбираюсь сижу в этом списке.

Он думает, что кроме Яндекса и Гугла не существует больше ничего. Но самое главное, это не дает результатов по отказам и роботности - все остается на прежнем уровне.

Все эти боты (кроме яндекса и гугла) нахрен не нужны, вообще не парься, добавил все и забудь, они все равно к тебе пытаться ломиться будут. я вообще заблочил по Гео весь мир кроме России оставив только возможность заходить Гуглботу из США, зачем мне шлак на сайте услуг? Парсеры, прощупыватели безопасности и прочее.
Анти БОТ
На сайте с 14.03.2020
Offline
150
#98
Пример сайта, который у всех на слуху
https://сбой.рф/
Защита сайта от поведенческих ботов, фильтрация ботов для Яндекс Директ - https://antibot24.ru
yalol
На сайте с 12.12.2007
Offline
254
#99
ChristmasNet #:
Даже нагрузка на сервер не упала?
Нет, она была невысокой! всего 10 % загрузки процессора
yalol
На сайте с 12.12.2007
Offline
254
#100
Анти БОТ #:
Пример сайта, который у всех на слуху
https://сбой.рф

А Chatgpt стоит ли блокировать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий