- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Слишком большая портянка.
Chatgpt стоит ли блокировать?
Chatgpt стоит ли блокировать?
Он же robots учитывает
По желанию, если нагрузку дает, тогда можно его заблокировать. После блокировки по странам, можешь хоть чистый конфиг оставить на nginx.
Не понял. Блокировка по странам не запретила же гугл, яндекс и чатгтп. я заблокировал Китай, Гонконг, Пакистан и Бразилию всего лишь.
Подскажите, что из этого стоит убрать из списка?
if ($http_user_agent ~* (360Spider|80legs.com|Abonti|AcoonBot|Acunetix|adbeat_bot|AddThis.com|adidxbot|ADmantX|AhrefsBot|AngloINFO|Antelope|BaiduSpider|BeetleBot|billigerbot|binlar|bitlybot|BlackWidow|BLP_bbot|BoardReader|Bolt\ 0|BOT\ for\ JCE|Bot\ mailto\:craftbot@yahoo\.com|casper|CazoodleBot|CCBot|checkprivacy|ChinaClaw|chromeframe|Clerkbot|Cliqzbot|clshttp|CommonCrawler|comodo|CPython|crawler4j|Crawlera|CRAZYWEBCRAWLER|Curious|Custo|CWS_proxy|Default\ Browser\ 0|diavol|DigExt|Digincore|DIIbot|DISCo|discobot|DoCoMo|DotBot|Download\ Demon|DTS.Agent|EasouSpider|eCatch|ecxi|EirGrabber|Elmer|EmailCollector|EmailSiphon|EmailWolf|Exabot|ExaleadCloudView|ExpertSearch|ExpertSearchSpider|Express\ WebPictures|extract|ExtractorPro|EyeNetIE|Ezooms|F2S|FastSeek|feedfinder|FeedlyBot|FHscan|finbot|Flamingo_SearchEngine|FlappyBot|FlashGet|flicky|Flipboard|g00g1e|genieo|Genieo|GetRight|GetWeb\!|GigablastOpenSource|Go\-Ahead\-Got\-It|Go\!Zilla|GozaikBot|grab|GrabNet|Grafula|GrapeshotCrawler|GT\:\:WWW|GTB5|Guzzle|harvest|heritrix|HMView|HomePageBot|HTTP\:\:Lite|HTTrack|HubSpot|ia_archiver|icarus6|id\-search|IDBot|IlseBot|Image\ Stripper|Image\ Sucker|Indigonet|Indy\ Library|integromedb|InterGET|Internet\ Ninja|InternetSeer\.com|IRLbot|ISC\ Systems\ iRc\ Search\ 2\.1|jakarta|JetCar|JobdiggerSpider|JOC\ Web\ Spider|Jooblebot|Jorgee|kanagawa|KINGSpider|kmccrew|larbin|LeechFTP|libwww|Lingewoud|LinkChecker|linkdexbot|LinksCrawler|LinksManager\.com_bot|linkwalker|LinqiaRSSBot|LivelapBot|ltx71|LubbersBot|lwp\-trivial|Mass\ Downloader|masscan|maverick|Maxthon$|Mediatoolkitbot|megaindex|MegaIndex|MegaIndex|MFC_Tear_Sample|Microsoft\ URL\ Control|microsoft\.url|MIDown\ tool|miner|Missigua\ Locator|Mister\ PiX|mj12bot|Mozilla.*Indy|Mozilla.*NEWT|MSFrontPage|msnbot|Navroad|NearSite|Net\ Vampire|NetAnts|netEstate|NetSpider|NetZIP|NextGenSearchBot|nutch|Octopus|Offline\ Explorer|Offline\ Navigator|OpenindexSpider|OpenWebSpider|OrangeBot|Owlin|PageGrabber|PagesInventory|panopta|panscient\.com|Papa\ Foto|pavuk|pcBrowser|PECL\:\:HTTP|PeoplePal|Photon|PHPCrawl|planetwork|PleaseCrawl|PNAMAIN.EXE|PodcastPartyBot|prijsbest|proximic|psbot|purebot|pycurl|QuerySeekerSpider|R6_CommentReader|R6_FeedFetcher|RealDownload|ReGet|Riddler|Rippers\ 0|rogerbot|RSSingBot|rv\:1.9.1|RyzeCrawler|SafeSearch|SBIder|Scrapy|Scrapy|Screaming|search_robot|search.goo.ne.jp|SearchmetricsBot|Semrush|SemrushBot|SentiBot|SEOkicks|SeznamBot|ShowyouBot|SightupBot|SISTRIX|sitecheck\.internetseer\.com|siteexplorer.info|SiteSnagger|skygrid|Slackbot|Slurp|SmartDownload|Snoopy|Sogou|Sosospider|spaumbot|Steeler|sucker|SuperBot|Superfeedr|SuperHTTP|SurdotlyBot|Surfbot|tAkeOut|Teleport\ Pro|TinEye|TinEye-bot|Toata\ dragostea\ mea\ pentru\ diavola|Toplistbot|trendictionbot|turnit|TurnitinBot|Twenga|TwengaBot|URI\:\:Fetch|urllib|Vagabondo|Vagabondo|vikspider|VoidEYE|VoilaBot|WBSearchBot|Web\ Image\ Collector|Web\ Sucker|webalta|WebAuto|WebBandit|WebCollage|WebCopier|WebFetch|WebGo\ IS|WebLeacher|WebReaper|WebSauger|Website\ eXtractor|Website\ Quester|WebStripper|WebWhacker|WebZIP|Wells\ Search\ II|WEP\ Search|WeSEE|Widow|WinInet|woobot|woopingbot|worldwebheritage.org|Wotbox|WPScan|WWW\-Mechanize|WWWOFFLE|Xaldon\ WebSpider|XoviBot|yacybot|Yahoo|YisouSpider|zermelo|Zeus|zh-CN|ZmEu|ZumBot|ZyBorg|Amazonbot|GeedoProductSearch|SeekportBot|meta-externalagen|Barkrowler|ClaudeBot|CensysInspect|Bytespider) ) {return 444;
}
Подскажите, что из этого стоит убрать из списка?
Не понял. Блокировка по странам не запретила же гугл, яндекс и чатгтп. я заблокировал Китай, Гонконг, Пакистан и Бразилию всего лишь.
все, и начать добавлять то, что идет в реале к тебе массово.
сократил так: if ($http_user_agent ~* (360Spider|80legs.com|AhrefsBot|AcoonBot|Acunetix|BaiduSpider|Barkrowler|Bytespider|CCBot|ClaudeBot|CensysInspect|CommonCrawler|crawler4j|DataForSeoBot|DotBot|Exabot|ExaSearchBot|HTTrack|InternetMeasurement|MJ12bot|MegaIndex|PerplexityBot|pycurl|Scrapy|SemrushBot|SeekportBot|Screaming|SISTRIX|Slurp|TurnitinBot|WebCopier|WebReaper|WPScan|YisouSpider|ZmEu|Amazonbot|GeedoProductSearch|meta-externalagen|FriendlyCrawler|BacklinksExtendedBot|ChatGLM-Spider|tphotobot|ElevenlabsCrawler|ShapBot|QlyzeBot|meta-webindexer|LinkupBot|weborama-fetcher|ImagesiftBot|matlistan|BLEXBot|coccocbot-web)) {
return 444;
}
Все. пора завязывать с блокировкой ботов. Пора уже заняться созданием контента, а то я увяз буквально в этом бесполезном деле.
Надо будет какой-нить сервис подключить просто и все.
Насколько помню, там есть фри лимит 10 тыс запросов в месяц на обращение к API (далее 1000 руб за каждые последующие 10 тыс). Для регистрации самое то. Ну т.е. там где пользователю надо, и он, увидев смарткапчу и чертыхнувшись, не закроет вкладку.
Часто вижу на формах смарткапчу теперь вместо гугловской.
Верно, только есть ньанс, не просто 10к запросов, а 10к разгаданных капч, если к тебе на сервер постучатся 100к ботов и не смогут разгадать капчу то это будет стоит ровно 0р. По сути оплачиваешь только лигитимный трафик, а за весь мусорный шлак смарткапча ничего не берет, в 99% случаях смарткапча будет бесплатная, у меня лично оборот в месяц 500к юзеров +-, бывает доходит до 700к, но я еще ни разу лимитку не переходил.
К слову, капчу на регу ставить это прям такое себе.... для чего и зачем никогда не понимал, пугать потенциальных пользователей если только....
Единственный момент для своей ЦА я капчу не вывожу впринципе, если какой то киндер из ЦА пытается пошалить тут же срабатывает limit_req_zone, если после отработки limit_req_zone он все равно пытается упорно шалить, то fail2ban блочит его в nftables на недельку другую, но такое крайне редко бывает, за год может раза 2 наблюдал подобное.Даже если представить что тот кто гонит на вас ботов подключив какой то сервис по разгадыванию капчи (хотя это само по себе бродово звучит =)), ну допустим это так, то его бюджет будет таять на глазах, а вы будете тратить копейки или вовсе ничего. Конечно может быть такое если захотят тупо парсить сайт на регулярной основе, то капчу всего скорее будут обходить, но это тоже крайне сомнительная затея, так как нужно тратить бюджет на API сервиса по разгадыванию капчи, проще найти проект без капчи и тянуть контент от туда, а таких полно.
Тут в теме тож писали про ddos guard, ставил, знаю, проблема в том что он может и работает, но только к теме это не относится, там защита от ддос, а не от тех ботов от которых хочется избавиться, даже если облако у них возьмете, не поможет, тестировал еще в те времена когда у них облако стоило в пределах 6-8к. Смысла вообще в сервисе этом не вижу, крайне дорого, а защита крайне сомнительная, бесплатная правильная настройка limit_req_zone и fail2ban с минимальным сроком бана любому ддосеру за щеку выдаст, ну с тем учетом что номальным дядкам, которые специализируются на досс, вы им вообще не уперлись, им мы совсем не интересны.
Вы даже не представляете насколько все просто, вот прям на коленке вся защита строится, даже будучи не далеким программистом задавая правильные вопросы какому то ИИ, той же Алисе от Яндекса, за час можно сварганить добротную защиту, все что нужно уметь это Ctrl+C и Ctrl+V, а перед этим нажать Ctrl+A и отправить вопрос с текущим кодом в ИИ, потом уже тестировать все это добро. Конечно накосячить тоже можно и даже с ИИ, я вот регулярно косячу, без этого никак.... =) с каждым косячком становишься чуточку умнее, а код становится немного правильнее.