- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
хватит бредить,Если не понимаете о чем речь то лучше промолчать
еще скажите что там все весит на 1 сервере
Давайте создадим тему и поспорим при-людно на 500 USD, если ucoz упадет в течении 1-5 минут (В оговоренный срок) - Вы платите. Средства отдаем гаранту.
anpekonsk, /ru/forum/624713
Почитайте тему, общее представление получите.
staminus.net есть еще.
Давайте создадим тему и поспорим при-людно на 500 USD, если ucoz упадет в течении 1-5 минут (В оговоренный срок) - Вы платите. Средства отдаем гаранту.
а почему бы и нет:)?
Говорю то что видел собственными глазами. Не более
Что вы видели?
При http-флуде 80к ботов спокойно заносится в фаервол и атака кончается. Чем по-вашему 60к отличается от 80к ? Лишними 20к записями фаервола?
Тут скорее сила атаки измеряется в количестве запросов в секунду (сколько их положит сервер), а сложность её блокировки уже в количестве атакующих ip. Боты бывают разные и отловить некоторых (которых очень сложно отличить от обычных посетителей) сложно.
Я полагаю, что вы просто немного не верно атаки разделяете. Если атаковать непопулярную страницу малопосещаемого сайта, то легко отфильтруется и большое количество. (просто переводим страницу в статику, отдаём nginx'ом (чтобы нагрузка была минимаьной) и всех в фаервол (можно по количеству обращений к странице))
Было, что и 50-60к подсетей(!) приходилось загонять в ipset, т.к. каждый ip блокировать было затруднительно от их дикого количества. (сколько было реально ip я даже не знаю, т.к. после того, как 65к влетело в ipset и сила атаки не уменьшилась, решили блокировать подсетями)
Himiko добавил 29.04.2011 в 05:52
Давайте создадим тему и поспорим при-людно на 500 USD, если ucoz упадет в течении 1-5 минут (В оговоренный срок) - Вы платите. Средства отдаем гаранту.
Юкоз может и лечь, если количество запросов в секунду будет огромным. Но это не означает, что атака им не под силу и что дело только в количестве атакующих ip.
P.S.: Вы спрашивали про нас. Да и мы на 99% сразу ляжем при атаке даже в 10к-30к хостов. Но это не говорит о том, что атаку не удастся отразить в ближайшие 10-40 минут.
Боты бывают разные и отловить некоторых (которых очень сложно отличить от обычных посетителей) сложно.
Да, теоретически боты могут быть умными.
Но на моей практике.
70% атак долбят лишь стартовую страницу.
20% долбят не более 10 разных страниц.
В 90% случаев боты использует не более 15 уникальных узерагентов или реферреров.
Запросы к статике делают не более 5% ботнетов.
Так что на сегодняшний день проблем с обнаружением ботов нет, при наличии нужных алгоритмов.
С новым ддосом имею дело 1-2 раза в неделю, так что статистика накопилась довольно большая.
Встречал хитрых ботов, которые ходят по сайту случайным образом (это были не поисковики, возможно кто то своих ботов тестирует). Но всегда в таких умных ботнетах количество IP было не более 10-20, и они легко обнаруживались на превышение количества кликов за период времени.
Да, теоретически боты могут быть умными.
Но на моей практике.
70% атак долбят лишь стартовую страницу.
20% долбят не более 10 разных страниц.
В 90% случаев боты использует не более 15 уникальных узерагентов или реферреров.
Запросы к статике делают не более 5% ботнетов.
Так что на сегодняшний день проблем с обнаружением ботов нет, при наличии нужных алгоритмов.
С новым ддосом имею дело 1-2 раза в неделю, так что статистика накопилась довольно большая.
Встречал хитрых ботов, которые ходят по сайту случайным образом (это были не поисковики, возможно кто то своих ботов тестирует). Но всегда в таких умных ботнетах количество IP было не более 10-20, и они легко обнаруживались на превышение количества кликов за период времени.
1. Согласен по поводу стартовой страницы. Обычно вообще боты долбят одну и туже страницу. (часть их может долбить главную, часть внутреннюю и т.п. При этом редко, чтобы один бот (один ip-адрес) долбил более 1-й страницы.)
2. Атакуемую страницу можно сделать и "статикой" для ботов. =) Если стоит nginx, то малоэффективно будет её долбить.
3. Автоматическое обнаружение усложнится, если ботов будет много тысяч и каждый ip будет менять referer (или различные у многих ботов) и выдерживать паузу между запросами. (лучше рандомную). А если ещё и перебирать страницы =) (но это уже действительно пока редкость)
4. Вы говорите про превышение кликов за период времени. А если бот полезный? (какой-либо биржи проверки ссылок там и т.п.)
4. Вы говорите про превышение кликов за период времени. А если бот полезный? (какой-либо биржи проверки ссылок там и т.п.)
Бот сапы иногда делает до 10-30 запросов в секунду. Приходится заносить его в белый список, что бы не забанился.
Я даже им в суппорт писал об этом. Но их ленивые программисты не хотят нечего делать и придумывают разные отмазки, типа иначе мы не успеем, все отсканировать.. Я сам программист и считаю, что скорость запросов к одному серверу вполне можно снизить, если одновременно сканировать несколько разных серверов, а не бросать всю мощь своих ботов на один сервер.
Лимиты на количество кликов к динамическим страницам (к статике лимиты выше) с одного IP ставятся довольно высокие, когда нет ддос атаки. Нормальные пользователи от них не страдают, если не начинают скачивать сайт разными даунлоадерами.
Например, могут быть такими.
30 запросов к одной и той же странице за любые 60 секунд. (и не было запросов к другим страницам)
40 запросов к одной и той же странице за любые 120 секунд. (и не было запросов к другим страницам)
110 запросов к любой странице за 60 любые секунд.
140 запросов к любой странице за 120 любые секунд.
180 запросов к любой странице за 180 любые секунд.
При срабатывании хотябы одного лимита, IP идет в бан.
Есть и более сложные лимиты, так называемые групповые.
1) когда много IP имеют один и тот же юзерагент или реферрер, то для таких групп IP лимиты ниже.
2) Когда какие то страницы сайта запрошены более заданного лимита, то банятся все IP которые делали запросы только к этим страницам более заданного лимита.
Подобных алгоритмов у меня разработано много, здесь я привел лишь самые простые.
Когда начинается ддос атака все лимиты автоматически снижаются, пропорционально силе атаки. (Наличие атаки и ее мощность определяются по суммарному количеству кооннктов или запросов к серверу) Во время атаки из за снижения лимитов повышается вероятность бана легитимных пользователей, но это оправданная цена.
К тому же есть белый список IP и подсетей, в который можно занести полезных ботов и пользователей.
В данный момент мне удается довольно точно обнаружить любой http-флуд с минимумом ложных срабатываний. (ложные срабатывания в основном вызваны пользователями, которые пытаются скачивать сайт быстрыми даунлоадерами)
Единственная проблема, что пока приходится вручную задавать в nginx локейшены для разных типов файлов и указывать в программе анализаторе лимиты для анализа.
Если сайтов на сервере не более 2-3 это не проблема.
А если больше, то настройка становится уже довольно трудоемкой.
Давайте создадим тему и поспорим при-людно на 500 USD, если ucoz упадет в течении 1-5 минут (В оговоренный срок) - Вы платите. Средства отдаем гаранту.
давайте stopddos.ru ронять... если веб-сервер 1 час пролежит в дауне, то я лично Вам переведу 500 WMZ. или можно ddos-protection.ru ронять... попробуйте. точнее сначала попробуйте, а потом можем спорить, что Вы его не уложите на 1 час... там и на 5 минут проблематично. можете хоть всех ддосеров собрать по форумам и попробовать.
2ALL: можете всей толпой поучаствовать.
kostich добавил 29.04.2011 в 11:30
предложение действительно в течении трех часов 🍿
в течении трех часов
мало времени 🍿
мало времени 🍿
просто потом уезжаю и это никому кроме дежурных интересно не будет. шоу можно на после праздника перенести, но хотелось бы сегодня.
kostich добавил 29.04.2011 в 11:44
Во, дежурным инженерам тоже интересно стало.... до 18:00 предложение действительно. Можете даже тесты разные хоть по всем ддос-ерам одновременно заказывать. IMHO наша система в автоматическом режиме срежет 100% атаки без каких либо лишних банов. Там чуть простоя только из-за канальных чудес возможны.