- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток!
Может, кто то сталкивался с такой ситуацией:
Робот представляющийся как MegaIndex.ru/2.0 очень сильно валил наши сервера(из 10000 запросов 8000 их), их залочили, все пришло в норму.
Есть список ботов, которых нужно залочить во избежание подобной ситуации?
Заранее спасибо
Спросите у Яндекса. У меня один сайт на Друпале валили боты-постеры. Да так валили, что кэширование и удаление всего функционала (статика осталась) от стуков не спасло. Только бан по IP помог.
honeybee, Боты могут менять IP так что здесь единственный правильный вариант мониторить все время и банить по IP.
Спасибо за ответ. Просто хотелось как то обезопасить себя. У нас очень много пользователей после работы на сайт заходит, вот в 19.00 валить и начали. У нас нормированный рабочий день. В 20.00 могут быть сложности с блокировкой этого всего. Кстати , это были боты мегаиндекса.
https://www.cloudflare.com/
honeybee, не обезопасить, к сожалению. Мне, например, приходят сообщения с хостинга о повышенном трафике. Но без рук всё равно не обойтись. Можете попробовать написать серверный скрипт, который будет на большую активность реагировать и банить (не знаю на сколько это реализуемо) или настроить ограничение для одного IP на хиты в промежуток времени (опять так не знаю, как у Вас это реализуемо).
honeybee, к сожалению не спасетесь от этого легким методом.
Большинство хостеров мониторят нагрузку и шлют уведомления. МОжно по логам отследить ботов. Но это крайне гемморно и вы будете то и дело заниматься копанием логов и блокировкой.
Возможно не очень в тему, но в теории должно подтолкнуть к решению:
Давно увлекался серверами World Of Warcraft. Там ддосят крайне часто, особенно новые сервера или чтобы увести игроков со старых или просто "по-приколу".
Так сис. админ сделал какую-то блокировку особо активных запросов к серверу. Т.е. они блокируются массово, но на время. Например пошли частые запросы - бан на N минут, после бана продолжаются - бан на NN минут и т.д.
Но речь идет именно о выделенном сервере, а не стандартной хостинге.
SetEnvIfNoCase User-Agent ^-?$ search_bot
SetEnvIfNoCase User-Agent "Phantom" search_bot
SetEnvIfNoCase User-Agent "^News" search_bot
SetEnvIfNoCase User-Agent "Ezooms" search_bot
SetEnvIfNoCase User-Agent "MJ12bot/v1.4.5" search_bot
SetEnvIfNoCase User-Agent "^fastbot" search_bot
SetEnvIfNoCase User-Agent "^TurnitinBot" search_bot
SetEnvIfNoCase User-Agent "Parser" search_bot
SetEnvIfNoCase User-Agent "Python" search_bot
SetEnvIfNoCase User-Agent "xpymep" search_bot
SetEnvIfNoCase User-Agent "infobot" search_bot
SetEnvIfNoCase User-Agent "Indy" search_bot
SetEnvIfNoCase User-Agent "^magpie-crawler" search_bot
SetEnvIfNoCase User-Agent "^DLE_Spider" search_bot
SetEnvIfNoCase User-Agent "^Yeti" search_bot
SetEnvIfNoCase User-Agent "^start" search_bot
SetEnvIfNoCase User-Agent "^SeznamBot" search_bot
SetEnvIfNoCase User-Agent "libcurl" search_bot
SetEnvIfNoCase User-Agent "^Java" search_bot
SetEnvIfNoCase User-Agent "^MLBot" search_bot
SetEnvIfNoCase User-Agent "AcoonBot" search_bot
SetEnvIfNoCase User-Agent "^findlinks" search_bot
SetEnvIfNoCase User-Agent "Lightspeedsystems" search_bot
SetEnvIfNoCase User-Agent "Q" search_bot
SetEnvIfNoCase User-Agent "DigExt" search_bot
SetEnvIfNoCase User-Agent "Exabot" search_bot
SetEnvIfNoCase User-Agent "Web-Monitoring/1.0" search_bot
SetEnvIfNoCase User-Agent "^Wotbox" search_bot
SetEnvIfNoCase User-Agent "^coccoc/1.0" search_bot
SetEnvIfNoCase User-Agent "SEOkicks-Robot" search_bot
SetEnvIfNoCase User-Agent "^Go 1.1 package" search_bot
SetEnvIfNoCase User-Agent "200PleaseBot/1.0" search_bot
SetEnvIfNoCase User-Agent "SiteExplorer/1.0b" search_bot
SetEnvIfNoCase User-Agent "Abilon" search_bot
SetEnvIfNoCase User-Agent "openstat.ru/Bot" search_bot
SetEnvIfNoCase User-Agent "AhrefsBot" search_bot
SetEnvIfNoCase User-Agent "^URLGrabber" search_bot
SetEnvIfNoCase User-Agent "Linux" search_bot
SetEnvIfNoCase User-Agent "SearchBot" search_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>
вот как то так :) нужных ботов вычеркнуть, не нужных вписать - мониторьте логи
ну и Crawl-delay: в robots не забываем
http://foxi.biz/snizaem-nagruzku-na-server-na-90-protentov.html мой список.
дальше уже свои логи смотреть и добавлять новых.
Ботов надо отстреливать ещё на подлете, то есть средствами nginx:
Апач сильно грузит систему, не рекомендую пользоваться советами двух ораторов выше.