Список ботов, которые валят сайт

Спросите у Яндекса. У меня один сайт на Друпале валили боты-постеры. Да так валили, что кэширование и удаление всего функционала (статика осталась) от стуков не спасло. Только бан по IP помог.

honeybee, Боты могут менять IP так что здесь единственный правильный вариант мониторить все время и банить по IP.

Спасибо за ответ. Просто хотелось как то обезопасить себя. У нас очень много пользователей после работы на сайт заходит, вот в 19.00 валить и начали. У нас нормированный рабочий день. В 20.00 могут быть сложности с блокировкой этого всего. Кстати , это были боты мегаиндекса.

https://www.cloudflare.com/

honeybee, не обезопасить, к сожалению. Мне, например, приходят сообщения с хостинга о повышенном трафике. Но без рук всё равно не обойтись. Можете попробовать написать серверный скрипт, который будет на большую активность реагировать и банить (не знаю на сколько это реализуемо) или настроить ограничение для одного IP на хиты в промежуток времени (опять так не знаю, как у Вас это реализуемо).

honeybee, к сожалению не спасетесь от этого легким методом.

Большинство хостеров мониторят нагрузку и шлют уведомления. МОжно по логам отследить ботов. Но это крайне гемморно и вы будете то и дело заниматься копанием логов и блокировкой.

Возможно не очень в тему, но в теории должно подтолкнуть к решению:

Давно увлекался серверами World Of Warcraft. Там ддосят крайне часто, особенно новые сервера или чтобы увести игроков со старых или просто "по-приколу".

Так сис. админ сделал какую-то блокировку особо активных запросов к серверу. Т.е. они блокируются массово, но на время. Например пошли частые запросы - бан на N минут, после бана продолжаются - бан на NN минут и т.д.

Но речь идет именно о выделенном сервере, а не стандартной хостинге.

SetEnvIfNoCase User-Agent ^-?$ search_bot

SetEnvIfNoCase User-Agent "Phantom" search_bot

SetEnvIfNoCase User-Agent "^News" search_bot

SetEnvIfNoCase User-Agent "Ezooms" search_bot

SetEnvIfNoCase User-Agent "MJ12bot/v1.4.5" search_bot

SetEnvIfNoCase User-Agent "^fastbot" search_bot

SetEnvIfNoCase User-Agent "^TurnitinBot" search_bot

SetEnvIfNoCase User-Agent "Parser" search_bot

SetEnvIfNoCase User-Agent "Python" search_bot

SetEnvIfNoCase User-Agent "xpymep" search_bot

SetEnvIfNoCase User-Agent "infobot" search_bot

SetEnvIfNoCase User-Agent "Indy" search_bot

SetEnvIfNoCase User-Agent "^magpie-crawler" search_bot

SetEnvIfNoCase User-Agent "^DLE_Spider" search_bot

SetEnvIfNoCase User-Agent "^Yeti" search_bot

SetEnvIfNoCase User-Agent "^start" search_bot

SetEnvIfNoCase User-Agent "^SeznamBot" search_bot

SetEnvIfNoCase User-Agent "libcurl" search_bot

SetEnvIfNoCase User-Agent "^Java" search_bot

SetEnvIfNoCase User-Agent "^MLBot" search_bot

SetEnvIfNoCase User-Agent "AcoonBot" search_bot

SetEnvIfNoCase User-Agent "^findlinks" search_bot

SetEnvIfNoCase User-Agent "Lightspeedsystems" search_bot

SetEnvIfNoCase User-Agent "Q" search_bot

SetEnvIfNoCase User-Agent "DigExt" search_bot

SetEnvIfNoCase User-Agent "Exabot" search_bot

SetEnvIfNoCase User-Agent "Web-Monitoring/1.0" search_bot

SetEnvIfNoCase User-Agent "^Wotbox" search_bot

SetEnvIfNoCase User-Agent "^coccoc/1.0" search_bot

SetEnvIfNoCase User-Agent "SEOkicks-Robot" search_bot

SetEnvIfNoCase User-Agent "^Go 1.1 package" search_bot

SetEnvIfNoCase User-Agent "200PleaseBot/1.0" search_bot

SetEnvIfNoCase User-Agent "SiteExplorer/1.0b" search_bot

SetEnvIfNoCase User-Agent "Abilon" search_bot

SetEnvIfNoCase User-Agent "openstat.ru/Bot" search_bot

SetEnvIfNoCase User-Agent "AhrefsBot" search_bot

SetEnvIfNoCase User-Agent "^URLGrabber" search_bot

SetEnvIfNoCase User-Agent "Linux" search_bot

SetEnvIfNoCase User-Agent "SearchBot" search_bot

<Limit GET POST HEAD>

Order Allow,Deny

Allow from all

Deny from env=search_bot

</Limit>

вот как то так :) нужных ботов вычеркнуть, не нужных вписать - мониторьте логи

ну и Crawl-delay: в robots не забываем

http://foxi.biz/snizaem-nagruzku-na-server-na-90-protentov.html мой список.

дальше уже свои логи смотреть и добавлять новых.

Ботов надо отстреливать ещё на подлете, то есть средствами nginx:

if ($http_user_agent ~ "Python-urllib|Spinn3r|SISTRIX|Morfeus|Toata|MJ12bot|QuerySeekerSpider|JikeSpider|proximic|Sosospider|Sogou web spider|aesop_com_spiderman|alexibot|backweb|batchftp|bigfoot|black.hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye|cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck|cosmos|crescent|custo|da|diibot|disco|dittospyder|dragonfly|drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon|emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky|frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet|grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot|infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar|joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb|likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch|mata.hari|memo|microsoft.url|midown.tool|miixpc|mirror|missigua|mister.pix|moget|mozilla.newt|nameprotect|navroad|backdoorbot|nearsite|net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot|attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer|offline.navigator|openfind|outfoxbot|pagegrabber|papa|pavuk|pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker|psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot|repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload|snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot|superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport|telesoft|the.intraformant|thenomad|tighttwatbot|titan|urldispatcher|turingos|turnitinbot|urly.warning|vacuum|vci|voideye|whacker|libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse|zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|sauger|site.quester|whack|craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|grabber|webpictures|Jakarta|User-Agent|libwww|lwp-trivial|PHPCrawl|WEP Search|Missigua Locator|ISC Systems iRc|Aboundex|360Spider|Java|Cogentbot|BunnySlippers|Cegbfeieh|AIBOT|Demon|Devil|Wonder|Foobot|Kenjin Spider|Density|LinkextractorPro|LWP::Simple|MassDownloader|Mass Downloader|NetZIP|NG|Metasearch|WebFetch|WebCopier|Webclipping|WebBandit|WebAuto|WebGo|Web.Image.Collector|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|eXtractor|Webster|WebStripper|WebWhacker|WebZIP|Catall Spider|AcoiRobot|rogerbot|mj12bot|Ahrefsbot|Zite|TweetmemeBot|woriobot|topsy|js-kit|NING") {return 400;}

Апач сильно грузит систему, не рекомендую пользоваться советами двух ораторов выше.