- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
На днях столкнулся с интересным ддосом (http-флудом).
Примерно в течении часа на сайт пришли боты примерно с 30 000 разных IP адресов.
Приблизительно 80% IP зарубежные, 20% IP - российские.
Каждый бот делал примерно 2-6 кликов к PHP страницам сайта в минуту.
За каждым кликом по страницам шло обращение к файлам jpg и gif на этой странице.
Каждый бот имел свою случайную траекторию кликов по страницам сайта.
При каждом клике правильно указывалось значение поле реферрера.
Каждый бот имел своего юзерагента.
Боты даже скачивали счетчик liveinternet.
Так что сайт стал лидером по посещаемости в рейтинге сайтов liveinternet.
Не смотря на то что каждый бот делает мало запросов в минуту (около 3), но в сумме они делают запросов много.
30 000 ботов x 3 = 90 000 запросов в минуту к файлам PHP.
В секунду это примерно 90 000 / 60 = 1500 запросов.
(Это не считая обращений к файлам jpg и gif на каждой странице)
Атака была заблокирована следующим образом.
Все IP адреса которые в течении времени атаки зашли на сайт были занесены в фаервол.
За исключением IP адресов поисковиков и IP зарегистрированных пользователей.
Эта процедура делается автоматически антиддос софтом, в том случае если количество запросов выше критического, а обнаружить IP отдельных ботов антиддос защите не удается.
Вопрос.
Какие методы и алгоритмы используют для обнаружения интеллектуальных ддос ботов описанных выше?
Есть антиддос сервисы, которые обещают защиту от любых видов ддос.
Но ведь эти сервисы не используют ни список зарегистрированных пользователей сайта, ни установку джаваскриптов на страницы сайта, ни куки.
Как же тогда они обнаруживают ботов полностью имитирующих работу браузера?
Боюсь, что этот вопрос будет актуален для многих веб-мастеров.
Так как в руках у хакеров большие ботсети, и эти бот сети научились полностью имитировать работу браузера.
iptables + TARPIT вешаем 30 000 ботов, хакер жмя на кнопку не понимает почему боты не реагирующий и в ужасе убегает от вашего проекта ))
iptables + TARPIT вешаем 30 000 ботов, хакер жмя на кнопку не понимает почему боты не реагирующий и в ужасе убегает от вашего проекта ))
Не понял Вашего поста.
Мой вопрос в том, как отличить пользователей сайта от ботов полностью эмитирующих работу бразера.
сори за офф топ раз нету такова у вас вопроса.
Но ведь эти сервисы не используют ни список зарегистрированных пользователей сайта, ни установку джаваскриптов на страницы сайта, ни куки.
Как же тогда они обнаруживают ботов полностью имитирующих работу браузера?
А как Вы собираетесь при помощи JS и Cookies, определить бота полностью имитирующего работу браузера ???
Brand from Amber добавил 12.04.2010 в 00:03
Мой вопрос в том, как отличить пользователей сайта от ботов полностью эмитирующих работу бразера.
Эти боты ходят при помощи тех-самых (самых настоящих) браузеров. И отличить их можно только при помощи относительных признаков (увеличение загрузки канала и т.п...) и ловушек (невидимые ссылки и т.п...).
А как Вы собираетесь при помощи JS и Cookies, определить бота полностью имитирующего работу браузера ???
JS и Cookies в антиддос защите могут найти ботов которые не поддерживают JS и Cookies.
Если бот их поддерживает, то проверять JS и Cookies смысла не вижу.
Brand from Amber добавил 12.04.2010 в 00:03
Эти боты ходят при помощи тех-самых (самых настоящих) браузеров. И отличить их можно только при помощи относительных признаков (увеличение загрузки канала и т.п...) и ловушек (невидимые ссылки и т.п...).
Мой вопрос в следующем.
Есть антиддос сервисы, которые декларируют защиту от любых ддос атак.
Как они обнаруживают ботов, которые ходят по сайту и полностью эмитируют работу браузера и пользователя?
Например ботов более 30 000. Каждый бот делает 3 – 6 кликов в минуту.
Пока я нашел только один вариант.
Забанить всех, кто посетил сайт во время ддос атаки, за исключением поисковиков и IP зарегистрированных пользователей.
Есть ли еще методы?
zexis, возможно они делают клики по определенной закономерности, время между кликами, как пример, либо как вариант вводить капчу на время ддоса каждому 10му юзеру (чтобы отсеять часть ботов) или каждому первому, кто сделал более 5 кликов.
DDOS такого вида, самый страшный, после ICMP/UDP флуда.
Мы проблему решаем просто:
1)Ставим капчу и PHP скрипт
2)Если пользователь успешно ввел капчу, он получает специальную куку, которую мы в дальнейшем проверяем в NGINX/PHP скрипте (у каждого пользователя своя кука).
Преимущества:
1)DDOS легко отсеивается
Недостатки:
1)Поисковые боты могут не попасть на сайт (даже если фильтровать по USER Agent, вероятность все равно есть).
Поисковые боты могут не попасть на сайт
Если не решить эту проблему, то смысл всех мероприятий может оказаться бесполезным. Это важный нюанс.
-= Serafim =-, Если руки не кривые поисковых ботов легко выловить :)
Если же кривые, тот тут никакая циска за 200к $ не поможет
zexis, А ключ от сейфа где деньги лежат тебе не дать ? Сам не можешь продавать антиддос услуги так не мешай другим, более адекватным, мне Костичу, Антиддосу, Шарктекам :) Или типа всё надо выложить в паблик ?
kxk добавил 12.04.2010 в 07:57
stack, Ставим капчу и теряем добрую треть легитимных юзеров, если не больше
zexis, А ключ от сейфа где деньги лежат тебе не дать ? Сам не можешь продавать антиддос услуги так не мешай другим, более адекватным, мне Костичу, Антиддосу, Шарктекам :) Или типа всё надо выложить в паблик ?
Дарагой, если ты продаешь услуги, и кто-то тебе мешает, выкладывая информацию "в паблик", то иди-ка ты в пелотку...
Твоя логика и мораль оправдает небось и организацию доса, чтобы тебе хорошему и самолюбимому работа нашлась.