То, что произошло в Украине, не было бы возможным без неподконтрольных правительству СМИ. Власть РФ это прекрасно понимает, поэтому потихоньку подкручивает гайки под благовидными предлогами.
Не стоит надеяться, что они о народе заботятся (как это декларируется). Заботятся о своих пенсиях, и других плюшках, которых могли бы лишиться... Но, в РФ вряд ли такое возможно.
Вроде сработало то, что описал выше. "Некритичных превышений" стало как раньше. "Критичные превышения" проскакивают, но редко. Бот Бинга ходит.
Техподдержка хостера объяснила, что в том списке есть правило useragent "NG", под которое подпадает bingbot (сам я не додумался). Удалил его. В robots.txt добавил
User-agent: bingbot User-agent: msnbot Crawl-delay: 5
Посмотрим как изменится нагрузка
...SetEnvIfNoCase User-Agent "JustView" bad_botSetEnvIfNoCase User-Agent "Jyxobot" bad_botSetEnvIfNoCase User-Agent "Kenjin.Spider" bad_botSetEnvIfNoCase User-Agent "Keyword.Density" bad_botSetEnvIfNoCase User-Agent "larbin" bad_botSetEnvIfNoCase User-Agent "LeechFTP" bad_botSetEnvIfNoCase User-Agent "LexiBot" bad_botSetEnvIfNoCase User-Agent "lftp" bad_botSetEnvIfNoCase User-Agent "libWeb/clsHTTP" bad_botSetEnvIfNoCase User-Agent "likse" bad_botSetEnvIfNoCase User-Agent "LinkextractorPro" bad_botSetEnvIfNoCase User-Agent "LinkScan/8.1a.Unix" bad_botSetEnvIfNoCase User-Agent "LNSpiderguy" bad_botSetEnvIfNoCase User-Agent "LinkWalker" bad_botSetEnvIfNoCase User-Agent "lwp-trivial" bad_botSetEnvIfNoCase User-Agent "LWP::Simple" bad_botSetEnvIfNoCase User-Agent "Magnet" bad_botSetEnvIfNoCase User-Agent "Mag-Net" bad_botSetEnvIfNoCase User-Agent "MarkWatch" bad_botSetEnvIfNoCase User-Agent "Mass Downloader" bad_botSetEnvIfNoCase User-Agent "Mata.Hari" bad_botSetEnvIfNoCase User-Agent "Memo" bad_botSetEnvIfNoCase User-Agent "MJ12bot" bad_botSetEnvIfNoCase User-Agent "Microsoft.URL" bad_botSetEnvIfNoCase User-Agent "Microsoft URL Control" bad_botSetEnvIfNoCase User-Agent "MIDown tool" bad_botSetEnvIfNoCase User-Agent "MIIxpc" bad_botSetEnvIfNoCase User-Agent "Mirror" bad_botSetEnvIfNoCase User-Agent "Missigua Locator" bad_botSetEnvIfNoCase User-Agent "Mister PiX" bad_botSetEnvIfNoCase User-Agent "moget" bad_botSetEnvIfNoCase User-Agent "Mozilla/3.Mozilla/2.01" bad_botSetEnvIfNoCase User-Agent "Mozilla.*NEWT" bad_botSetEnvIfNoCase User-Agent "NAMEPROTECT" bad_botSetEnvIfNoCase User-Agent "Navroad" bad_botSetEnvIfNoCase User-Agent "NearSite" bad_botSetEnvIfNoCase User-Agent "NetAnts" bad_botSetEnvIfNoCase User-Agent "Netcraft" bad_botSetEnvIfNoCase User-Agent "NetMechanic" bad_botSetEnvIfNoCase User-Agent "NetSpider" bad_botSetEnvIfNoCase User-Agent "Net Vampire" bad_botSetEnvIfNoCase User-Agent "NetZIP" bad_botSetEnvIfNoCase User-Agent "NextGenSearchBot" bad_botSetEnvIfNoCase User-Agent "NG" bad_botSetEnvIfNoCase User-Agent "NICErsPRO" bad_botSetEnvIfNoCase User-Agent "NimbleCrawler" bad_botSetEnvIfNoCase User-Agent "Ninja" bad_botSetEnvIfNoCase User-Agent "NPbot" bad_botSetEnvIfNoCase User-Agent "Octopus" bad_botSetEnvIfNoCase User-Agent "Offline Explorer" bad_botSetEnvIfNoCase User-Agent "Offline Navigator" bad_botSetEnvIfNoCase User-Agent "Openfind" bad_botSetEnvIfNoCase User-Agent "OutfoxBot" bad_botSetEnvIfNoCase User-Agent "PageGrabber" bad_botSetEnvIfNoCase User-Agent "Papa Foto" bad_botSetEnvIfNoCase User-Agent "pavuk" bad_botSetEnvIfNoCase User-Agent "pcBrowser" bad_botSetEnvIfNoCase User-Agent "PHP version tracker" bad_botSetEnvIfNoCase User-Agent "Pockey" bad_botSetEnvIfNoCase User-Agent "ProPowerBot/2.14" bad_botSetEnvIfNoCase User-Agent "ProWebWalker" bad_botSetEnvIfNoCase User-Agent "psbot" bad_botSetEnvIfNoCase User-Agent "Pump" bad_botSetEnvIfNoCase User-Agent "QueryN.Metasearch" bad_botSetEnvIfNoCase User-Agent "RealDownload" bad_botSetEnvIfNoCase User-Agent "Reaper" bad_botSetEnvIfNoCase User-Agent "Recorder" bad_botSetEnvIfNoCase User-Agent "ReGet" bad_botSetEnvIfNoCase User-Agent "RepoMonkey" bad_botSetEnvIfNoCase User-Agent "RMA" bad_botSetEnvIfNoCase User-Agent "Siphon" bad_botSetEnvIfNoCase User-Agent "sitecheck.internetseer.com" bad_botSetEnvIfNoCase User-Agent "SiteSnagger" bad_botSetEnvIfNoCase User-Agent "Slurp" bad_botSetEnvIfNoCase User-Agent "SlySearch" bad_botSetEnvIfNoCase User-Agent "SmartDownload" bad_botSetEnvIfNoCase User-Agent "Snake" bad_botSetEnvIfNoCase User-Agent "Snapbot" bad_botSetEnvIfNoCase User-Agent "Snoopy" bad_botSetEnvIfNoCase User-Agent "sogou" bad_botSetEnvIfNoCase User-Agent "SpaceBison" bad_botSetEnvIfNoCase User-Agent "SpankBot" bad_botSetEnvIfNoCase User-Agent "spanner" bad_botSetEnvIfNoCase User-Agent "Sqworm" bad_botSetEnvIfNoCase User-Agent "Stripper" bad_botSetEnvIfNoCase User-Agent "Sucker" bad_botSetEnvIfNoCase User-Agent "SuperBot" bad_botSetEnvIfNoCase User-Agent "SuperHTTP" bad_botSetEnvIfNoCase User-Agent "Surfbot" bad_botSetEnvIfNoCase User-Agent "suzuran" bad_botSetEnvIfNoCase User-Agent "Szukacz/1.4" bad_botSetEnvIfNoCase User-Agent "Tagoobot" bad_botSetEnvIfNoCase User-Agent "tAkeOut" bad_botSetEnvIfNoCase User-Agent "Teleport" bad_botSetEnvIfNoCase User-Agent "Telesoft" bad_botSetEnvIfNoCase User-Agent "TurnitinBot/1.5" bad_botSetEnvIfNoCase User-Agent "The.Intraformant" bad_botSetEnvIfNoCase User-Agent "TheNomad" bad_botSetEnvIfNoCase User-Agent "TightTwatBot" bad_botSetEnvIfNoCase User-Agent "Titan" bad_botSetEnvIfNoCase User-Agent "toCrawl/UrlDispatcher" bad_botSetEnvIfNoCase User-Agent "True_Robot" bad_botSetEnvIfNoCase User-Agent "turingos" bad_botSetEnvIfNoCase User-Agent "TurnitinBot" bad_botSetEnvIfNoCase User-Agent "Twiceler" bad_botSetEnvIfNoCase User-Agent "URLy.Warning" bad_botSetEnvIfNoCase User-Agent "Vacuum" bad_botSetEnvIfNoCase User-Agent "VCI" bad_botSetEnvIfNoCase User-Agent "VoidEYE" bad_botSetEnvIfNoCase User-Agent "Web Image Collector" bad_botSetEnvIfNoCase User-Agent "Web Sucker" bad_botSetEnvIfNoCase User-Agent "WebAuto" bad_botSetEnvIfNoCase User-Agent "WebBandit" bad_botSetEnvIfNoCase User-Agent "Webclipping.com" bad_botSetEnvIfNoCase User-Agent "WebCopier" bad_botSetEnvIfNoCase User-Agent "WebEMailExtrac.*" bad_botSetEnvIfNoCase User-Agent "WebEnhancer" bad_botSetEnvIfNoCase User-Agent "WebFetch" bad_botSetEnvIfNoCase User-Agent "WebGo IS" bad_botSetEnvIfNoCase User-Agent "Web.Image.Collector" bad_botSetEnvIfNoCase User-Agent "WebLeacher" bad_botSetEnvIfNoCase User-Agent "WebmasterWorldForumBot" bad_botSetEnvIfNoCase User-Agent "WebReaper" bad_botSetEnvIfNoCase User-Agent "WebSauger" bad_botSetEnvIfNoCase User-Agent "WebSite" bad_botSetEnvIfNoCase User-Agent "Website eXtractor" bad_botSetEnvIfNoCase User-Agent "Website Quester" bad_botSetEnvIfNoCase User-Agent "Webster" bad_botSetEnvIfNoCase User-Agent "WebStripper" bad_botSetEnvIfNoCase User-Agent "WebWhacker" bad_botSetEnvIfNoCase User-Agent "WebZIP" bad_botSetEnvIfNoCase User-Agent "Wget" bad_botSetEnvIfNoCase User-Agent "Whacker" bad_botSetEnvIfNoCase User-Agent "Widow" bad_botSetEnvIfNoCase User-Agent "WISENutbot" bad_botSetEnvIfNoCase User-Agent "WWWOFFLE" bad_botSetEnvIfNoCase User-Agent "WWW-Collector-E" bad_botSetEnvIfNoCase User-Agent "Xaldon" bad_botSetEnvIfNoCase User-Agent "Xenu" bad_botSetEnvIfNoCase User-Agent "Yeti" bad_botSetEnvIfNoCase User-Agent "Zeus" bad_botSetEnvIfNoCase User-Agent "Zyborg" bad_bot<Limit GET POST HEAD>Order Allow,DenyAllow from allDeny from env=bad_bot</Limit>
Что-то не особо сразу помогло. Потом через пару дней нагрузка спала до нормальных значений. Посмотрел сегодня логи - до дня, когда была нагрузка bingbot/2.0 получал ответ сервера 200, а в день, когда нагрузка упала - 403 ответ.
Но это же не я его вроде, получается хостер?
Если это хостер его заблокировал, то буду просить чтоб разблокировали, вдруг пригодится.
Добавил в .htaccess такие вот строчки
SetEnvIfNoCase User-Agent "AESOP_com_SpiderMan" bad_bot SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot SetEnvIfNoCase User-Agent "Alexibot" bad_bot SetEnvIfNoCase User-Agent "Anonymouse.org" bad_bot SetEnvIfNoCase User-Agent "asterias" bad_bot SetEnvIfNoCase User-Agent "attach" bad_bot SetEnvIfNoCase User-Agent "BackDoorBot" bad_bot SetEnvIfNoCase User-Agent "BackWeb" bad_bot SetEnvIfNoCase User-Agent "Bandit" bad_bot SetEnvIfNoCase User-Agent "Baiduspider" bad_bot SetEnvIfNoCase User-Agent "BatchFTP" bad_bot SetEnvIfNoCase User-Agent "Bigfoot" bad_bot SetEnvIfNoCase User-Agent "Black.Hole" bad_bot SetEnvIfNoCase User-Agent "BlackWidow" bad_bot SetEnvIfNoCase User-Agent "BlowFish" bad_bot SetEnvIfNoCase User-Agent "Bot mailto:craftbot@yahoo.com" bad_bot SetEnvIfNoCase User-Agent "BotALot" bad_bot SetEnvIfNoCase User-Agent "BTWebClient" bad_bot SetEnvIfNoCase User-Agent "Buddy" bad_bot SetEnvIfNoCase User-Agent "BuiltBotTough" bad_bot SetEnvIfNoCase User-Agent "Bullseye" bad_bot SetEnvIfNoCase User-Agent "BunnySlippers" bad_bot SetEnvIfNoCase User-Agent "Cegbfeieh" bad_bot SetEnvIfNoCase User-Agent "CheeseBot" bad_bot SetEnvIfNoCase User-Agent "CherryPicker" bad_bot SetEnvIfNoCase User-Agent "ChinaClaw" bad_bot SetEnvIfNoCase User-Agent "Collector" bad_bot SetEnvIfNoCase User-Agent "CommentReader" bad_bot SetEnvIfNoCase User-Agent "Copier" bad_bot SetEnvIfNoCase User-Agent "CopyRightCheck" bad_bot SetEnvIfNoCase User-Agent "cosmos" bad_bot SetEnvIfNoCase User-Agent "Crescent" bad_bot SetEnvIfNoCase User-Agent "Curl" bad_bot SetEnvIfNoCase User-Agent "Custo" bad_bot SetEnvIfNoCase User-Agent "DA" bad_bot SetEnvIfNoCase User-Agent "DISCo" bad_bot SetEnvIfNoCase User-Agent "discobot" bad_bot SetEnvIfNoCase User-Agent "DIIbot" bad_bot SetEnvIfNoCase User-Agent "DittoSpyder" bad_bot SetEnvIfNoCase User-Agent "Dolphin" bad_bot SetEnvIfNoCase User-Agent "Download" bad_bot SetEnvIfNoCase User-Agent "Download Demon" bad_bot SetEnvIfNoCase User-Agent "Download Devil" bad_bot SetEnvIfNoCase User-Agent "Download Wonder" bad_bot SetEnvIfNoCase User-Agent "Downloader" bad_bot SetEnvIfNoCase User-Agent "dragonfly" bad_bot SetEnvIfNoCase User-Agent "Drip" bad_bot SetEnvIfNoCase User-Agent "eCatch" bad_bot SetEnvIfNoCase User-Agent "EasyDL" bad_bot SetEnvIfNoCase User-Agent "ebingbong" bad_bot SetEnvIfNoCase User-Agent "EirGrabber" bad_bot SetEnvIfNoCase User-Agent "EmailCollector" bad_bot SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot SetEnvIfNoCase User-Agent "EmailWolf" bad_bot SetEnvIfNoCase User-Agent "EroCrawler" bad_bot SetEnvIfNoCase User-Agent "Exabot" bad_bot SetEnvIfNoCase User-Agent "Express WebPictures" bad_bot SetEnvIfNoCase User-Agent "Extractor" bad_bot SetEnvIfNoCase User-Agent "EyeNetIE" bad_bot SetEnvIfNoCase User-Agent "Ezooms" bad_bot SetEnvIfNoCase User-Agent "FileHound" bad_bot SetEnvIfNoCase User-Agent "FlashGet" bad_bot SetEnvIfNoCase User-Agent "Foobot" bad_bot SetEnvIfNoCase User-Agent "flunky" bad_bot SetEnvIfNoCase User-Agent "FrontPage" bad_bot SetEnvIfNoCase User-Agent "GetRight" bad_bot SetEnvIfNoCase User-Agent "GetSmart" bad_bot SetEnvIfNoCase User-Agent "GetWeb!" bad_bot SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot SetEnvIfNoCase User-Agent "gotit" bad_bot SetEnvIfNoCase User-Agent "Grabber" bad_bot SetEnvIfNoCase User-Agent "GrabNet" bad_bot SetEnvIfNoCase User-Agent "Grafula" bad_bot SetEnvIfNoCase User-Agent "Harvest" bad_bot SetEnvIfNoCase User-Agent "hloader" bad_bot SetEnvIfNoCase User-Agent "HMView" bad_bot SetEnvIfNoCase User-Agent "httplib" bad_bot SetEnvIfNoCase User-Agent "HTTrack" bad_bot SetEnvIfNoCase User-Agent "humanlinks" bad_bot SetEnvIfNoCase User-Agent "ia_archiver" bad_bot SetEnvIfNoCase User-Agent "igdeSpyder" bad_bot SetEnvIfNoCase User-Agent "IlseBot" bad_bot SetEnvIfNoCase User-Agent "Image Stripper" bad_bot SetEnvIfNoCase User-Agent "Image Sucker" bad_bot SetEnvIfNoCase User-Agent "Indy Library" bad_bot SetEnvIfNoCase User-Agent "InfoNaviRobot" bad_bot SetEnvIfNoCase User-Agent "InfoTekies" bad_bot SetEnvIfNoCase User-Agent "Intelliseek" bad_bot SetEnvIfNoCase User-Agent "InterGET" bad_bot SetEnvIfNoCase User-Agent "Internet Ninja" bad_bot SetEnvIfNoCase User-Agent "Iria" bad_bot SetEnvIfNoCase User-Agent "Jakarta" bad_bot SetEnvIfNoCase User-Agent "Java" bad_bot SetEnvIfNoCase User-Agent "JennyBot" bad_bot SetEnvIfNoCase User-Agent "JetCar" bad_bot SetEnvIfNoCase User-Agent "JOC" bad_bot ...
Скорее какой-то бот ломится, который раньше не заходил. Навряд ли бы люди так резко поменяли свое поведение (не было превышения нагрузки, а потом каждый день превышение). Но это мое предположение - GA и Метрику я удалил когда-то. Если бот (боты), то как его по логам отследить? А может в чем-то другом дело?
А как это правильно сделать. Может маска какая есть или регулярное выражения для поиска через Total Commander или что-то другое?
Тем, кто пострадал от Пингвина - можете отомстить :-). Их окнами давить даже можно.
Скажите, плиз, здесь можно поставить ссылку на страницу с артами из одной игры, World of Tanks, например? Или только на категорию Игры и на отдельные арты?
Konstantin_, "Бла-бла-бла, Я Дартаньян, все остальные пи...сы"
Если ваши СДЛы не зацепило - сильно не обольщайтесь.
"То, что вы еще не сидите - это не ваша заслуга, а наша недоработка"
