как не задеть поисковых ботов при фильтре ддоса?

Какой именно ддос то? http флуд? Он обычно на главную сайта направлен.

Все плохие IP заносятся в бан, а потом проверяется нет ли там ботов от ПС. Вот и всё.

Нужно совместно использовать два решения.

1) Использовать список подсетей ботов поисковых систем. Этот список заносится в белый список и эти подсети не банятся.

2) Разрабатывать алгоритмы которые с низким процентом ошибок отличают IP поисковых ботов от ддос ботов.

zexis добавил 09.08.2011 в 17:06

Если речь идет о странице сайта, то это может быть только http-флуд.

В 90% случаев ддосится стартовая, но атакована может быть любая страница.

Проверьте IP адреса поисковых ботов, может это вовсе не поисковые боты, а ддос боты.

Ведь в поле юзерагент http-запроса можно написать все что угодно.

Проверить принадлежность IP можно например здесь.

http://www.domainwhitepages.com/

Нужно сначало с чистого сайта собрать из логов базу белых ботов. Потом уже можно будет смелее банить ботом прикидывающихся гуглом.

Спасибо за ответы.

На сайте стоит модуль, который отличает поисковые боты и обычные люди.

Так вот, атака http флуд, именно на определенную страницу.

Какие действия предпринять?

Как засунуть поисковых ботов в "белый список"?

Как мне разом набрать все ип которые идут на этот запрос?(будь это допустим site.com/content.php?post=4415)

Что за софт используете для поиска ботов?

Схема кратко такая.

1) ставите nginx, настраиваете в нем лимиты, прописываете пути к логам.

2) Анализируете файлы access.log

На сайте стоит модуль, который отличает поисковые боты и обычные люди.

Какой модуль, как отличает?

Так вот, атака http флуд, именно на определенную страницу.

Какие действия предпринять?

Смотря то, что хочешь сделать. Например выдать страницу "Не ходите сюда больше, а то забаню".

Как засунуть поисковых ботов в "белый список"?

Скопировать список IP адресов и вставить в файл белого списка.

Как мне разом набрать все ип которые идут на этот запрос?(будь это допустим site.com/content.php?post=4415)

iptables -I INPUT 1 -p tcp --dport 80 -m string --string «GET /content.php?post=4415 HTTP/1.0» --algo kmp -j DROP

ссылка и если я ничего не пропустил, то яндекс "уложится" в эти четыре диапазона

77.88.0.0/18
87.250.224.0/19
93.158.128.0/18
213.180.192.0/19

С диапазонами гугла сложнее.

Проверить на принадлежность IP к яндексу просто

то же самое и с гуглом

Спасибо всем за ответы.

Пользователю zexis отдельное спасибо, достаточно быстро отразил ддос атаку.

У Яндекса больше мантейнеров, первым делом.

та же фигня ддосят на внутряк, как узнать IP ботов от Я.новостей? в саппорте отказались их давать.