Борьба с роботностью

yalol
На сайте с 12.12.2007
Offline
254
#81
ChristmasNet #:
Слишком большая портянка.
Chatgpt стоит ли блокировать? 
CN
На сайте с 12.12.2008
Offline
145
#82
yalol #:
Chatgpt стоит ли блокировать? 
По желанию, если нагрузку дает, тогда можно его заблокировать. После блокировки по странам, можешь хоть чистый конфиг оставить на nginx.
C
На сайте с 13.01.2017
Offline
94
#83
yalol #:
Chatgpt стоит ли блокировать? 

Он же robots учитывает

yalol
На сайте с 12.12.2007
Offline
254
#84
ChristmasNet #:
По желанию, если нагрузку дает, тогда можно его заблокировать. После блокировки по странам, можешь хоть чистый конфиг оставить на nginx.

Не понял. Блокировка по странам не запретила же гугл, яндекс и чатгтп. я заблокировал Китай, Гонконг, Пакистан и Бразилию всего лишь.

yalol
На сайте с 12.12.2007
Offline
254
#85

Подскажите, что из этого стоит убрать из списка?

if ($http_user_agent ~* (360Spider|80legs.com|Abonti|AcoonBot|Acunetix|adbeat_bot|AddThis.com|adidxbot|ADmantX|AhrefsBot|AngloINFO|Antelope|BaiduSpider|BeetleBot|billigerbot|binlar|bitlybot|BlackWidow|BLP_bbot|BoardReader|Bolt\ 0|BOT\ for\ JCE|Bot\ mailto\:craftbot@yahoo\.com|casper|CazoodleBot|CCBot|checkprivacy|ChinaClaw|chromeframe|Clerkbot|Cliqzbot|clshttp|CommonCrawler|comodo|CPython|crawler4j|Crawlera|CRAZYWEBCRAWLER|Curious|Custo|CWS_proxy|Default\ Browser\ 0|diavol|DigExt|Digincore|DIIbot|DISCo|discobot|DoCoMo|DotBot|Download\ Demon|DTS.Agent|EasouSpider|eCatch|ecxi|EirGrabber|Elmer|EmailCollector|EmailSiphon|EmailWolf|Exabot|ExaleadCloudView|ExpertSearch|ExpertSearchSpider|Express\ WebPictures|extract|ExtractorPro|EyeNetIE|Ezooms|F2S|FastSeek|feedfinder|FeedlyBot|FHscan|finbot|Flamingo_SearchEngine|FlappyBot|FlashGet|flicky|Flipboard|g00g1e|genieo|Genieo|GetRight|GetWeb\!|GigablastOpenSource|Go\-Ahead\-Got\-It|Go\!Zilla|GozaikBot|grab|GrabNet|Grafula|GrapeshotCrawler|GT\:\:WWW|GTB5|Guzzle|harvest|heritrix|HMView|HomePageBot|HTTP\:\:Lite|HTTrack|HubSpot|ia_archiver|icarus6|id\-search|IDBot|IlseBot|Image\ Stripper|Image\ Sucker|Indigonet|Indy\ Library|integromedb|InterGET|Internet\ Ninja|InternetSeer\.com|IRLbot|ISC\ Systems\ iRc\ Search\ 2\.1|jakarta|JetCar|JobdiggerSpider|JOC\ Web\ Spider|Jooblebot|Jorgee|kanagawa|KINGSpider|kmccrew|larbin|LeechFTP|libwww|Lingewoud|LinkChecker|linkdexbot|LinksCrawler|LinksManager\.com_bot|linkwalker|LinqiaRSSBot|LivelapBot|ltx71|LubbersBot|lwp\-trivial|Mass\ Downloader|masscan|maverick|Maxthon$|Mediatoolkitbot|megaindex|MegaIndex|MegaIndex|MFC_Tear_Sample|Microsoft\ URL\ Control|microsoft\.url|MIDown\ tool|miner|Missigua\ Locator|Mister\ PiX|mj12bot|Mozilla.*Indy|Mozilla.*NEWT|MSFrontPage|msnbot|Navroad|NearSite|Net\ Vampire|NetAnts|netEstate|NetSpider|NetZIP|NextGenSearchBot|nutch|Octopus|Offline\ Explorer|Offline\ Navigator|OpenindexSpider|OpenWebSpider|OrangeBot|Owlin|PageGrabber|PagesInventory|panopta|panscient\.com|Papa\ Foto|pavuk|pcBrowser|PECL\:\:HTTP|PeoplePal|Photon|PHPCrawl|planetwork|PleaseCrawl|PNAMAIN.EXE|PodcastPartyBot|prijsbest|proximic|psbot|purebot|pycurl|QuerySeekerSpider|R6_CommentReader|R6_FeedFetcher|RealDownload|ReGet|Riddler|Rippers\ 0|rogerbot|RSSingBot|rv\:1.9.1|RyzeCrawler|SafeSearch|SBIder|Scrapy|Scrapy|Screaming|search_robot|search.goo.ne.jp|SearchmetricsBot|Semrush|SemrushBot|SentiBot|SEOkicks|SeznamBot|ShowyouBot|SightupBot|SISTRIX|sitecheck\.internetseer\.com|siteexplorer.info|SiteSnagger|skygrid|Slackbot|Slurp|SmartDownload|Snoopy|Sogou|Sosospider|spaumbot|Steeler|sucker|SuperBot|Superfeedr|SuperHTTP|SurdotlyBot|Surfbot|tAkeOut|Teleport\ Pro|TinEye|TinEye-bot|Toata\ dragostea\ mea\ pentru\ diavola|Toplistbot|trendictionbot|turnit|TurnitinBot|Twenga|TwengaBot|URI\:\:Fetch|urllib|Vagabondo|Vagabondo|vikspider|VoidEYE|VoilaBot|WBSearchBot|Web\ Image\ Collector|Web\ Sucker|webalta|WebAuto|WebBandit|WebCollage|WebCopier|WebFetch|WebGo\ IS|WebLeacher|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebStripper|WebWhacker|WebZIP|Wells\ Search\ II|WEP\ Search|WeSEE|Widow|WinInet|woobot|woopingbot|worldwebheritage.org|Wotbox|WPScan|WWW\-Mechanize|WWWOFFLE|Xaldon\ WebSpider|XoviBot|yacybot|Yahoo|YisouSpider|zermelo|Zeus|zh-CN|ZmEu|ZumBot|ZyBorg|Amazonbot|GeedoProductSearch|SeekportBot|meta-externalagen|Barkrowler|ClaudeBot|CensysInspect|Bytespider) ) {
return 444;
}
Mik Foxi
На сайте с 02.03.2011
Offline
1292
#86
yalol #:
Подскажите, что из этого стоит убрать из списка?
все, и начать добавлять то, что идет в реале к тебе массово.
Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://rus.antibot.cloud/ (9 лет на защите сайтов).
CN
На сайте с 12.12.2008
Offline
145
#87
yalol #:
Не понял. Блокировка по странам не запретила же гугл, яндекс и чатгтп. я заблокировал Китай, Гонконг, Пакистан и Бразилию всего лишь.
Выгрузи access.log и посмотри через ИИ, кто там у тебя еще шарится и куда лезут.
Анти БОТ
На сайте с 14.03.2020
Offline
150
#88
Вас программист в теме спросил про бюджет не потому что он хочет что-то вам продать, а чтобы понимать что вы сами хотите, готовы ли что-то делать, либо цель - вести онлайн-блог. А то пока что это выглядит как поиск розового единорога на середине радуги.
Защита сайта от поведенческих ботов, фильтрация ботов для Яндекс Директ - https://antibot24.ru
yalol
На сайте с 12.12.2007
Offline
254
#89
Mik Foxi #:
все, и начать добавлять то, что идет в реале к тебе массово.

сократил так: if ($http_user_agent ~* (360Spider|80legs.com|AhrefsBot|AcoonBot|Acunetix|BaiduSpider|Barkrowler|Bytespider|CCBot|ClaudeBot|CensysInspect|CommonCrawler|crawler4j|DataForSeoBot|DotBot|Exabot|ExaSearchBot|HTTrack|InternetMeasurement|MJ12bot|MegaIndex|PerplexityBot|pycurl|Scrapy|SemrushBot|SeekportBot|Screaming|SISTRIX|Slurp|TurnitinBot|WebCopier|WebReaper|WPScan|YisouSpider|ZmEu|Amazonbot|GeedoProductSearch|meta-externalagen|FriendlyCrawler|BacklinksExtendedBot|ChatGLM-Spider|tphotobot|ElevenlabsCrawler|ShapBot|QlyzeBot|meta-webindexer|LinkupBot|weborama-fetcher|ImagesiftBot|matlistan|BLEXBot|coccocbot-web)) {
return 444;
}

Все. пора завязывать с блокировкой ботов. Пора уже заняться созданием контента, а то я увяз буквально в этом бесполезном деле.

Надо будет какой-нить сервис подключить просто и все.

Станислав
На сайте с 27.12.2009
Offline
265
#90
Анти БОТ #:
Насколько помню, там есть фри лимит 10 тыс запросов в месяц на обращение к API (далее 1000 руб за каждые последующие 10 тыс). Для регистрации самое то. Ну т.е. там где пользователю надо, и он, увидев смарткапчу и  чертыхнувшись, не закроет вкладку.
Часто вижу на формах смарткапчу теперь вместо гугловской.

Верно, только есть ньанс, не просто 10к запросов, а 10к разгаданных капч, если к тебе на сервер постучатся 100к ботов и не смогут разгадать капчу то это будет стоит ровно 0р. По сути оплачиваешь только лигитимный трафик, а за весь мусорный шлак смарткапча ничего не берет, в 99% случаях смарткапча будет бесплатная, у меня лично оборот в месяц 500к юзеров +-, бывает доходит до 700к, но я еще ни разу лимитку не переходил.

К слову, капчу на регу ставить это прям такое себе.... для чего и зачем никогда не понимал, пугать потенциальных пользователей если только....

Единственный момент для своей ЦА я капчу не вывожу впринципе, если какой то киндер из ЦА пытается пошалить тут же срабатывает limit_req_zone, если после отработки limit_req_zone он все равно пытается упорно шалить, то fail2ban блочит его в nftables на недельку другую, но такое крайне редко бывает, за год может раза 2 наблюдал подобное.

Даже если представить что тот кто гонит на вас ботов подключив какой то сервис по разгадыванию капчи (хотя это само по себе бродово звучит =)), ну допустим это так, то его бюджет будет таять на глазах, а вы будете тратить копейки или вовсе ничего. Конечно может быть такое если захотят тупо парсить сайт на регулярной основе, то капчу всего скорее будут обходить, но это тоже крайне сомнительная затея, так как нужно тратить бюджет на API сервиса по разгадыванию капчи, проще найти проект без капчи и тянуть контент от туда, а таких полно.

Тут в теме тож писали про ddos guard, ставил, знаю, проблема в том что он может и работает, но только к теме это не относится, там защита от ддос, а не от тех ботов от которых хочется избавиться, даже если облако у них возьмете, не поможет, тестировал еще в те времена когда у них облако стоило в пределах 6-8к. Смысла вообще в сервисе этом не вижу, крайне дорого, а защита крайне сомнительная, бесплатная правильная  настройка limit_req_zone и fail2ban с минимальным сроком бана любому ддосеру за щеку выдаст, ну с тем учетом что номальным дядкам, которые специализируются на досс, вы им вообще не уперлись, им мы совсем не интересны. 

Вы даже не представляете насколько все просто, вот прям на коленке вся защита строится, даже будучи не далеким программистом задавая правильные вопросы какому то ИИ, той же Алисе от Яндекса, за час можно сварганить добротную защиту, все что нужно уметь это Ctrl+C и Ctrl+V, а перед этим нажать Ctrl+A и отправить вопрос с текущим кодом в ИИ, потом уже тестировать все это добро. Конечно накосячить тоже можно и даже с ИИ, я вот регулярно косячу, без этого никак.... =) с каждым косячком становишься чуточку умнее, а код становится немного правильнее.

Мы там, где рады нас видеть.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий