Превышения нагрузки на хостинге

lustoff
На сайте с 14.10.2011
Offline
76
1270

Здравствуйте, форумчане.

Небольшой сайт с посещаемостью в 300 чел/сутки находится на виртуальном хостинге sweb.ru.

Активирована опция, чтоб на email отправлялись данные о нагрузке.

В один день резко появились "Некритичные превышения" (раньше проскакивало, но значительно меньше, сейчас постоянно 50-120 в сутки) и "Критичные превышения" (почти никогда не было, сейчас тоже от 1 до 4 каждые сутки). При всем при этом "Суммарная нагрузка" осталась на том же уровне, что и раньше. В коде сайта ничего не менялось. Количество посетителей держится на одном уровне.

Подскажите, пожалуйста, что это может быть? Искать причину в логах посещений? Если в логах искать, то каким инструментом, а то смотрю я в них, и на глаз мне не определить - слишком много строчек. Что там конкретно искать?

https://04744.biz (https://04744.biz) - доска объявлений Умани. Вы уверены, что ваше мнение не навязано другими? (http://www.youtube.com/watch?v=CX6VvoTo0Qc&feature=related)
B
На сайте с 02.05.2007
Offline
240
#1

искать частоту запросов одной подсети

роботы-с

lustoff
На сайте с 14.10.2011
Offline
76
#2
balueff:
искать частоту запросов одной подсети

роботы-с

А как это правильно сделать. Может маска какая есть или регулярное выражения для поиска через Total Commander или что-то другое?

BlackFx
На сайте с 06.05.2010
Offline
37
#3

Может просто люди сейчас стали чаще заходить в одно и то же время? В GA или Метрике можно посмотреть единовременное количество посетителей на сайте.

lustoff
На сайте с 14.10.2011
Offline
76
#4
BlackFx:
Может просто люди сейчас стали чаще заходить в одно и то же время? В GA или Метрике можно посмотреть единовременное количество посетителей на сайте.

Скорее какой-то бот ломится, который раньше не заходил. Навряд ли бы люди так резко поменяли свое поведение (не было превышения нагрузки, а потом каждый день превышение). Но это мое предположение - GA и Метрику я удалил когда-то. Если бот (боты), то как его по логам отследить? А может в чем-то другом дело?

V
На сайте с 21.02.2013
Offline
4
#5

да может все гораздо проще, может хостер хочет чтобы вы перешли на более дорогой тариф?), в любом случае смотрите логи и решайте этот вопрос с поддержкой вашего хостера.

---------- Добавлено 21.02.2013 в 17:23 ----------

кстати с жино такое было, пришлось переносить сайты на вдс

lustoff
На сайте с 14.10.2011
Offline
76
#6

Добавил в .htaccess такие вот строчки

SetEnvIfNoCase User-Agent "AESOP_com_SpiderMan" bad_bot

SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "Alexibot" bad_bot
SetEnvIfNoCase User-Agent "Anonymouse.org" bad_bot
SetEnvIfNoCase User-Agent "asterias" bad_bot
SetEnvIfNoCase User-Agent "attach" bad_bot
SetEnvIfNoCase User-Agent "BackDoorBot" bad_bot
SetEnvIfNoCase User-Agent "BackWeb" bad_bot
SetEnvIfNoCase User-Agent "Bandit" bad_bot
SetEnvIfNoCase User-Agent "Baiduspider" bad_bot
SetEnvIfNoCase User-Agent "BatchFTP" bad_bot
SetEnvIfNoCase User-Agent "Bigfoot" bad_bot
SetEnvIfNoCase User-Agent "Black.Hole" bad_bot
SetEnvIfNoCase User-Agent "BlackWidow" bad_bot
SetEnvIfNoCase User-Agent "BlowFish" bad_bot
SetEnvIfNoCase User-Agent "Bot mailto:craftbot@yahoo.com" bad_bot
SetEnvIfNoCase User-Agent "BotALot" bad_bot
SetEnvIfNoCase User-Agent "BTWebClient" bad_bot
SetEnvIfNoCase User-Agent "Buddy" bad_bot
SetEnvIfNoCase User-Agent "BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "Bullseye" bad_bot
SetEnvIfNoCase User-Agent "BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "Cegbfeieh" bad_bot
SetEnvIfNoCase User-Agent "CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "ChinaClaw" bad_bot
SetEnvIfNoCase User-Agent "Collector" bad_bot
SetEnvIfNoCase User-Agent "CommentReader" bad_bot
SetEnvIfNoCase User-Agent "Copier" bad_bot
SetEnvIfNoCase User-Agent "CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "cosmos" bad_bot
SetEnvIfNoCase User-Agent "Crescent" bad_bot
SetEnvIfNoCase User-Agent "Curl" bad_bot
SetEnvIfNoCase User-Agent "Custo" bad_bot
SetEnvIfNoCase User-Agent "DA" bad_bot
SetEnvIfNoCase User-Agent "DISCo" bad_bot
SetEnvIfNoCase User-Agent "discobot" bad_bot
SetEnvIfNoCase User-Agent "DIIbot" bad_bot
SetEnvIfNoCase User-Agent "DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "Dolphin" bad_bot
SetEnvIfNoCase User-Agent "Download" bad_bot
SetEnvIfNoCase User-Agent "Download Demon" bad_bot
SetEnvIfNoCase User-Agent "Download Devil" bad_bot
SetEnvIfNoCase User-Agent "Download Wonder" bad_bot
SetEnvIfNoCase User-Agent "Downloader" bad_bot
SetEnvIfNoCase User-Agent "dragonfly" bad_bot
SetEnvIfNoCase User-Agent "Drip" bad_bot
SetEnvIfNoCase User-Agent "eCatch" bad_bot
SetEnvIfNoCase User-Agent "EasyDL" bad_bot
SetEnvIfNoCase User-Agent "ebingbong" bad_bot
SetEnvIfNoCase User-Agent "EirGrabber" bad_bot
SetEnvIfNoCase User-Agent "EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "Exabot" bad_bot
SetEnvIfNoCase User-Agent "Express WebPictures" bad_bot
SetEnvIfNoCase User-Agent "Extractor" bad_bot
SetEnvIfNoCase User-Agent "EyeNetIE" bad_bot
SetEnvIfNoCase User-Agent "Ezooms" bad_bot
SetEnvIfNoCase User-Agent "FileHound" bad_bot
SetEnvIfNoCase User-Agent "FlashGet" bad_bot
SetEnvIfNoCase User-Agent "Foobot" bad_bot
SetEnvIfNoCase User-Agent "flunky" bad_bot
SetEnvIfNoCase User-Agent "FrontPage" bad_bot
SetEnvIfNoCase User-Agent "GetRight" bad_bot
SetEnvIfNoCase User-Agent "GetSmart" bad_bot
SetEnvIfNoCase User-Agent "GetWeb!" bad_bot
SetEnvIfNoCase User-Agent "Go!Zilla" bad_bot
SetEnvIfNoCase User-Agent "Go-Ahead-Got-It" bad_bot
SetEnvIfNoCase User-Agent "gotit" bad_bot
SetEnvIfNoCase User-Agent "Grabber" bad_bot
SetEnvIfNoCase User-Agent "GrabNet" bad_bot
SetEnvIfNoCase User-Agent "Grafula" bad_bot
SetEnvIfNoCase User-Agent "Harvest" bad_bot
SetEnvIfNoCase User-Agent "hloader" bad_bot
SetEnvIfNoCase User-Agent "HMView" bad_bot
SetEnvIfNoCase User-Agent "httplib" bad_bot
SetEnvIfNoCase User-Agent "HTTrack" bad_bot
SetEnvIfNoCase User-Agent "humanlinks" bad_bot
SetEnvIfNoCase User-Agent "ia_archiver" bad_bot
SetEnvIfNoCase User-Agent "igdeSpyder" bad_bot
SetEnvIfNoCase User-Agent "IlseBot" bad_bot
SetEnvIfNoCase User-Agent "Image Stripper" bad_bot
SetEnvIfNoCase User-Agent "Image Sucker" bad_bot
SetEnvIfNoCase User-Agent "Indy Library" bad_bot
SetEnvIfNoCase User-Agent "InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "InfoTekies" bad_bot
SetEnvIfNoCase User-Agent "Intelliseek" bad_bot
SetEnvIfNoCase User-Agent "InterGET" bad_bot
SetEnvIfNoCase User-Agent "Internet Ninja" bad_bot
SetEnvIfNoCase User-Agent "Iria" bad_bot
SetEnvIfNoCase User-Agent "Jakarta" bad_bot
SetEnvIfNoCase User-Agent "Java" bad_bot
SetEnvIfNoCase User-Agent "JennyBot" bad_bot
SetEnvIfNoCase User-Agent "JetCar" bad_bot
SetEnvIfNoCase User-Agent "JOC" bad_bot
...
lustoff
На сайте с 14.10.2011
Offline
76
#7


...
SetEnvIfNoCase User-Agent "JustView" bad_bot
SetEnvIfNoCase User-Agent "Jyxobot" bad_bot
SetEnvIfNoCase User-Agent "Kenjin.Spider" bad_bot
SetEnvIfNoCase User-Agent "Keyword.Density" bad_bot
SetEnvIfNoCase User-Agent "larbin" bad_bot
SetEnvIfNoCase User-Agent "LeechFTP" bad_bot
SetEnvIfNoCase User-Agent "LexiBot" bad_bot
SetEnvIfNoCase User-Agent "lftp" bad_bot
SetEnvIfNoCase User-Agent "libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "likse" bad_bot
SetEnvIfNoCase User-Agent "LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "LinkScan/8.1a.Unix" bad_bot
SetEnvIfNoCase User-Agent "LNSpiderguy" bad_bot
SetEnvIfNoCase User-Agent "LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "LWP::Simple" bad_bot
SetEnvIfNoCase User-Agent "Magnet" bad_bot
SetEnvIfNoCase User-Agent "Mag-Net" bad_bot
SetEnvIfNoCase User-Agent "MarkWatch" bad_bot
SetEnvIfNoCase User-Agent "Mass Downloader" bad_bot
SetEnvIfNoCase User-Agent "Mata.Hari" bad_bot
SetEnvIfNoCase User-Agent "Memo" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "Microsoft.URL" bad_bot
SetEnvIfNoCase User-Agent "Microsoft URL Control" bad_bot
SetEnvIfNoCase User-Agent "MIDown tool" bad_bot
SetEnvIfNoCase User-Agent "MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "Mirror" bad_bot
SetEnvIfNoCase User-Agent "Missigua Locator" bad_bot
SetEnvIfNoCase User-Agent "Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "moget" bad_bot
SetEnvIfNoCase User-Agent "Mozilla/3.Mozilla/2.01" bad_bot
SetEnvIfNoCase User-Agent "Mozilla.*NEWT" bad_bot
SetEnvIfNoCase User-Agent "NAMEPROTECT" bad_bot
SetEnvIfNoCase User-Agent "Navroad" bad_bot
SetEnvIfNoCase User-Agent "NearSite" bad_bot
SetEnvIfNoCase User-Agent "NetAnts" bad_bot
SetEnvIfNoCase User-Agent "Netcraft" bad_bot
SetEnvIfNoCase User-Agent "NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "NetSpider" bad_bot
SetEnvIfNoCase User-Agent "Net Vampire" bad_bot
SetEnvIfNoCase User-Agent "NetZIP" bad_bot
SetEnvIfNoCase User-Agent "NextGenSearchBot" bad_bot
SetEnvIfNoCase User-Agent "NG" bad_bot
SetEnvIfNoCase User-Agent "NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "NimbleCrawler" bad_bot
SetEnvIfNoCase User-Agent "Ninja" bad_bot
SetEnvIfNoCase User-Agent "NPbot" bad_bot
SetEnvIfNoCase User-Agent "Octopus" bad_bot
SetEnvIfNoCase User-Agent "Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "Offline Navigator" bad_bot
SetEnvIfNoCase User-Agent "Openfind" bad_bot
SetEnvIfNoCase User-Agent "OutfoxBot" bad_bot
SetEnvIfNoCase User-Agent "PageGrabber" bad_bot
SetEnvIfNoCase User-Agent "Papa Foto" bad_bot
SetEnvIfNoCase User-Agent "pavuk" bad_bot
SetEnvIfNoCase User-Agent "pcBrowser" bad_bot
SetEnvIfNoCase User-Agent "PHP version tracker" bad_bot
SetEnvIfNoCase User-Agent "Pockey" bad_bot
SetEnvIfNoCase User-Agent "ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "psbot" bad_bot
SetEnvIfNoCase User-Agent "Pump" bad_bot
SetEnvIfNoCase User-Agent "QueryN.Metasearch" bad_bot
SetEnvIfNoCase User-Agent "RealDownload" bad_bot
SetEnvIfNoCase User-Agent "Reaper" bad_bot
SetEnvIfNoCase User-Agent "Recorder" bad_bot
SetEnvIfNoCase User-Agent "ReGet" bad_bot
SetEnvIfNoCase User-Agent "RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "RMA" bad_bot
SetEnvIfNoCase User-Agent "Siphon" bad_bot
SetEnvIfNoCase User-Agent "sitecheck.internetseer.com" bad_bot
SetEnvIfNoCase User-Agent "SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "Slurp" bad_bot
SetEnvIfNoCase User-Agent "SlySearch" bad_bot
SetEnvIfNoCase User-Agent "SmartDownload" bad_bot
SetEnvIfNoCase User-Agent "Snake" bad_bot
SetEnvIfNoCase User-Agent "Snapbot" bad_bot
SetEnvIfNoCase User-Agent "Snoopy" bad_bot
SetEnvIfNoCase User-Agent "sogou" bad_bot
SetEnvIfNoCase User-Agent "SpaceBison" bad_bot
SetEnvIfNoCase User-Agent "SpankBot" bad_bot
SetEnvIfNoCase User-Agent "spanner" bad_bot
SetEnvIfNoCase User-Agent "Sqworm" bad_bot
SetEnvIfNoCase User-Agent "Stripper" bad_bot
SetEnvIfNoCase User-Agent "Sucker" bad_bot
SetEnvIfNoCase User-Agent "SuperBot" bad_bot
SetEnvIfNoCase User-Agent "SuperHTTP" bad_bot
SetEnvIfNoCase User-Agent "Surfbot" bad_bot
SetEnvIfNoCase User-Agent "suzuran" bad_bot
SetEnvIfNoCase User-Agent "Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "Tagoobot" bad_bot
SetEnvIfNoCase User-Agent "tAkeOut" bad_bot
SetEnvIfNoCase User-Agent "Teleport" bad_bot
SetEnvIfNoCase User-Agent "Telesoft" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot/1.5" bad_bot
SetEnvIfNoCase User-Agent "The.Intraformant" bad_bot
SetEnvIfNoCase User-Agent "TheNomad" bad_bot
SetEnvIfNoCase User-Agent "TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "Titan" bad_bot
SetEnvIfNoCase User-Agent "toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "True_Robot" bad_bot
SetEnvIfNoCase User-Agent "turingos" bad_bot
SetEnvIfNoCase User-Agent "TurnitinBot" bad_bot
SetEnvIfNoCase User-Agent "Twiceler" bad_bot
SetEnvIfNoCase User-Agent "URLy.Warning" bad_bot
SetEnvIfNoCase User-Agent "Vacuum" bad_bot
SetEnvIfNoCase User-Agent "VCI" bad_bot
SetEnvIfNoCase User-Agent "VoidEYE" bad_bot
SetEnvIfNoCase User-Agent "Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "Web Sucker" bad_bot
SetEnvIfNoCase User-Agent "WebAuto" bad_bot
SetEnvIfNoCase User-Agent "WebBandit" bad_bot
SetEnvIfNoCase User-Agent "Webclipping.com" bad_bot
SetEnvIfNoCase User-Agent "WebCopier" bad_bot
SetEnvIfNoCase User-Agent "WebEMailExtrac.*" bad_bot
SetEnvIfNoCase User-Agent "WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "WebFetch" bad_bot
SetEnvIfNoCase User-Agent "WebGo IS" bad_bot
SetEnvIfNoCase User-Agent "Web.Image.Collector" bad_bot
SetEnvIfNoCase User-Agent "WebLeacher" bad_bot
SetEnvIfNoCase User-Agent "WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "WebReaper" bad_bot
SetEnvIfNoCase User-Agent "WebSauger" bad_bot
SetEnvIfNoCase User-Agent "WebSite" bad_bot
SetEnvIfNoCase User-Agent "Website eXtractor" bad_bot
SetEnvIfNoCase User-Agent "Website Quester" bad_bot
SetEnvIfNoCase User-Agent "Webster" bad_bot
SetEnvIfNoCase User-Agent "WebStripper" bad_bot
SetEnvIfNoCase User-Agent "WebWhacker" bad_bot
SetEnvIfNoCase User-Agent "WebZIP" bad_bot
SetEnvIfNoCase User-Agent "Wget" bad_bot
SetEnvIfNoCase User-Agent "Whacker" bad_bot
SetEnvIfNoCase User-Agent "Widow" bad_bot
SetEnvIfNoCase User-Agent "WISENutbot" bad_bot
SetEnvIfNoCase User-Agent "WWWOFFLE" bad_bot
SetEnvIfNoCase User-Agent "WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "Xaldon" bad_bot
SetEnvIfNoCase User-Agent "Xenu" bad_bot
SetEnvIfNoCase User-Agent "Yeti" bad_bot
SetEnvIfNoCase User-Agent "Zeus" bad_bot
SetEnvIfNoCase User-Agent "Zyborg" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Что-то не особо сразу помогло. Потом через пару дней нагрузка спала до нормальных значений. Посмотрел сегодня логи - до дня, когда была нагрузка bingbot/2.0 получал ответ сервера 200, а в день, когда нагрузка упала - 403 ответ.

Но это же не я его вроде, получается хостер?

Если это хостер его заблокировал, то буду просить чтоб разблокировали, вдруг пригодится.

lustoff
На сайте с 14.10.2011
Offline
76
#8

Техподдержка хостера объяснила, что в том списке есть правило useragent "NG", под которое подпадает bingbot (сам я не додумался). Удалил его. В robots.txt добавил

User-agent: bingbot

User-agent: msnbot
Crawl-delay: 5

Посмотрим как изменится нагрузка

2
На сайте с 12.03.2013
Offline
1
#9

можно попробовать посмотреть логи за период с большой нагрузкой, может просто идёт какой то флуд.

lustoff
На сайте с 14.10.2011
Offline
76
#10

Вроде сработало то, что описал выше. "Некритичных превышений" стало как раньше. "Критичные превышения" проскакивают, но редко. Бот Бинга ходит.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий