Резкий всплеск прямых заходов. Как бороться?

У меня еще вот из этих сетей боты лезут
OOO Network of data-centers Selectel (ASN=49505)

LLC Horizon (ASN=212128)

Moshonkin Ilia Sergeevich (ASN=47913)

Селектел продают прокси и сдают сервера в аренду, аналогично aeza, firstvps, 1dedic и т.д..

А ботные наскоки можно назвать дидос атакой? Я немного запутался.

Зачем боты в заграницах? Там нет метрики и ПФ.

Там если только - сервер валить.

Хостингам тариф повышать.

А у Вас долбят бурж сайт без метрики  и без РФтрафа на неРФ хостинге? (именно боты, а не просто собиратели, на которые не реагируют никакие метрики)

Меня ботная тема интересует только по одному сайтику (магазинчик), который работает по всему РФ и стоит на сервере Таймвеба.

ЗЫ Собиратели выглядят по другому, я вчера скриминлягушку направил на сайт и там сразу сотни запросов в логах появились одним массивом. Собиратели наверное бы тоже так выглядели примерно.

Сегодня пришел не просто бот, а кроллер. Весь магазик полностью обошел. ( http://webmeup-crawler.com/ )

Таблетка:

User-agent: BLEXBot

Disallow: /

Так заблокируй в iptables, в чем проблема? Что ты как дитё малое.

У кого-нибудь есть список ботов-краулеров, наподобие SemrushBot, AhrefsBot и т.п.? Тех, что занимаются анализом сайта, и которых можно заблочить через robots.txt

Только не в robots-е, а в htaccess:

---

SetEnvIfNoCase User-Agent "Abonti|AspiegelBot|aggregator|AhrefsBot|Aport|asterias|Baiduspider|BDCbot|bidswitchbot|Birubot|BLEXBot|BUbiNG|BuiltBotTough|Bullseye|BunnySlippers|Butterfly|ca\-crawler|CamontSpider|CCBot|Cegbfeieh|CheeseBot|CherryPicker|coccoc|CopyRightCheck|cosmos|crawler|Crescent|CyotekWebCopy/1\.7|CyotekHTTP/2\.0|DataForSeoBot|DeuSu|discobot|DittoSpyder|DnyzBot|DomainCrawler|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Ezooms|FairShare|Fasterfox|FeedBooster|Foobot|Genieo|GetIntent\ Crawler|Gigabot|gold\ crawler|GrapeshotCrawler|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|HybridBot|ia_archiver|ieautodiscovery|Incutio|InfoNaviRobot|InternetSeer|IstellaBot|Java|Java/1\.|JamesBOT|JennyBot|JS-Kit|k2spider|Kenjin Spider|Keyword Density/0\.9|kmSearchBot|larbin|LexiBot|libWeb|libwww|Linguee|LinkExchanger|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LinkpadBot|lmspider|LNSpiderguy|ltx71|lwp-trivial|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|memoryBot|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|MLBot|moget|MSIECrawler|msnbot|msnbot-media|NetAnts|NICErsPRO|Niki\-Bot|NjuiceBot|NPBot|Nutch|Offline Explorer|OLEcrawler|Openfind|panscient\.com|PostRank|ProPowerBot/2\.14|PetalBot|ProWebWalker|ptd-crawler|Purebot|PycURL|python-requests|Python\-urllib|QueryN Metasearch|RepoMonkey|Riddler|RMA|Scrapy|SemrushBot|serf|SeznamBot|SISTRIX|SiteBot|sitecheck\.Internetseer\.com|SiteSnagger|Serpstat|Slurp|SnapPreviewBot|Sogou|Soup|SpankBot|spanner|spbot|Spinn3r|SpyFu|suggybot|SurveyBot|suzuran|sqlmap|SWeb|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|ttCrawler|turingos|TurnitinBot|UbiCrawler|UnisterBot|Unknown|uptime files|URLy Warning|User-Agent|VCI|Vedma|Voyager|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Yeti|YottosBot|Zao|Zeus|ZyBORG" bad_bot

Deny from env=bad_bot

--

Ох... у меня и так  htaccess оказался переполнен из-за внесения диапазонов... Не хотелось бы его еще больше нагружать. А нет ли такого списка, но для robots.txt?

Хотя... по идее эти боты должны слушаться правила в роботс. Типа такого:

User-agent: PostRank
Disallow: /

Потому что я смотрю, что у меня многие из вашего списка именно так в роботсе и указаны.

Там проблемка в том, что многие боты из списка плевать хотели на то, что написано в роботс.