Как фильтруют ддос ботов, полностью имитирующих работу браузера.

Для картинок и разннобразных мелких файлов nginx, нагрузка безусловно есть прежде всего от apache, трафик действительно в пределах 10 мегабит. Ориентировочно 150 тысяч в день на текстовом сайте - это порог вхождения в средние 10 мегабит. Конечно, если брать во внимание сервер только с apache, то можно и без ддоса от одной только реальной посещаемости зависнуть. А также если речь идет о форуме, где постоянно висит тысяча человек, там конечно совсем другой подход.

PRelude, Ну и имею ввиду сайты которые реально используют sql и тд.

У меня на попечении несколько партнёрок и несколько мощных Sun с 2мя многоядерными процессорами и то машины не всегда с наплывом легитимного народа справляются, хотя скрипты идеальны, мемкеш наполную и тд используем. Для картинок мы вообще отдельное железо ставим :)

Здесь проблема не в канале, а в серверных мощностях, насколько я понимаю. А при таких нагрузках (500 запросов в секунду - это половина суточной нагрузки Яндекса, например) никакие одиночные сервера не помогут.

Мы получали от ПС жалобы на ботнет (через аплинков) при генерации на порядок меньшего трафа - поскольку у Яндекса нет проблемы с каналами, претензии были связаны именно с нехваткой железа на обработку запросов.

юни, вы же не знаете что этот ботнет делал? там ведь кроме поисковой системы есть еще Яндекс.Маркет и он написан обычными программистами и без расчета, что его будут парсить. Неудачно выбрав критерии можно заставить выполняться обычный поиск секунд по 20 - 30. Серьезно. Банили уже :)

так что обычная серверная мощность для обработки поисковых запросов может оказаться намного больше ваших предположений. а для всякой вторичной фигни может и как вы оценили.

Это не смешно, это факт. Не даром первые услуги охранных агентств (ЧОПов) у нас предоставляли именно легализовавшиеся братки. :)

Собственно и до сих пор многими конторами подобного толка (охрана, коллекторство) владеют отошедшие от дел и немного постаревшие "Саши Белые".

differnetlocal, Ну я тоже не ангел, но это в прошлом :)

"Этот" - это какой?

юни, на который получали жалобы. или вы занимались детальным изучением и перехватили управление ?

Мы или автор темы? Если мы, то это оптимизаторский трафик в несколько миллионов запросов в сутки, к нему есть достаточно подробная статистика.

Ну, и там вариантов нет особых: запрос к выдаче прост, сама она весит немного, а вот отработка поискового запроса - весьма тяжёлая операция (особенно после апдейтов, когда и основной поток от оптимизаторов идёт, и выдача ещё не закеширована).

Ну по теории, поставить капчу был бы идеальным вариантом!