Боты и их жизнь среде интернет.

для ботов да, но поисковики заявляют, что проверяют на клоакинг сайты - если это та, то думаю, что это делается с других айпи...

ага и всех с фаерами тоже)

блочишь баннеры - ну и кыш с сайта) гыыы)

Это разовые проверки. Боты качают за минуту сотни страниц, от этого нужно отталкиваться.

начнем с потоков в netstat'е, больше 50-100 прыгнул и в DROP.

Закончу скриптом который будет запускается при нагрузках (которые отслеживаются) и в момент нагрузки (некий полученный коэфицент) запускается скрипт, берет часть лога апач и начинает мыслить над ним и потом либо автоматом блокировать либо в файлик скидывать для моей оценки.

Если организовать с БД то можно сделать подобный выше скриптик который будет обследовать нежелательный IP на частату посещения и нагрузки при этом. (тут даже если это юзер, то нахер такой юзер нужен который один как 100 человек грузит).

Ну в общем дополнять подобный скрипт можно по своему желанию до бесконечности, про эволюцию программного кода лекции читать не буду, просто подымая эту тему думал что подобные ботоловы уже как то существуют и поэтому не хотелось велосипед изобретать.

ТС, не параноя случайно? Сисадмина посадите нормально, настроит 1 раз сервер и пусть работает. А то можно подумать у Вас на серваке портал с 1 лямом хостов и половина там ботов.

P.s. Попейте холодненького.

Если поведение всех ботов было бы так, что их нельзя было бы заметить по нагрузке (трафику) в толпе юзеров то можно было бы не подымать тему (это была бы паранойя).

Но я вот как раз поднял тот случай, когда боты начинают творить не нужную нагрузку (или трафик), примерную 1 бот = 100 юзерам Если у вас такого нет и вы не знаете что это такое, то я за Вас рад - у вас все впереди ;).

Тема подымалась с целью обмена опыта по борьбе с ботами (софт, настройки, решения...), поэтому если у вас нет этой проблемы или вы не видите в этом проблему, так зачем писать об этом свое мнение о_0.

PS кстати для многостраничных порталов ботом сгенерировать из текста 1Gb-5Gb трафика в срок меньше суток - раз плюнуть. И так может кушаться неделями пока IP не отловить.

Уважаемый, это реально параноя.

1. Вменяемые боты не создают высокой нагрузки. Если ваш сайт не может справиться с обычными ботами - значит что-то у вас неправельно.

2. Если боты невменяемые - это похоже на легкий ДДОС. Если просто парсят ваш ресурс - нормальный ресурс должен держать такую нагрузку без проблем. Если ДДОСят - нужно использовать другие варианты, но боюсь ваш ресурс с таким подходом в обозримом будущем не будет представлять интерес для ДДОСеров в принципе.

3. Это у вас впереди - у некоторых эти ньансы давно пройдены детально.

Проблема существует. У вас, так как вы пытаетесь сделать проблему там, где её нет.

Нагенерировать бестолкового трафика можно намного больше. Вопрос не в этом. Вопрос в том, кому это нужно. Тут существует два варианта.

1) Некоректный парсер\грабер, который заблудился на вашем сайте без умысла его владельца и генерит вам лишний трафик. Ну зафильтруйте, если вам критично.

2) Флуд целенаправленный. Легкое проявление ДДОС атаки. От серьезной атаки вы не сможете отбиться в принципе, от легкой - можете попытаться, хотя если вас валят граберы то о чем можно дальше говорить?

Я вам советую перестать заниматься абсолютно бесполезной ерундой типа отлавливания ботов и направить свою творческую энергию в другое русло.

Lesni4ok

В своем тексте вы упоминали несколько раз что эти боты представляют такую нагрузку, что мол сервер на пределе. Это ваша фантазия, я приводил учет что примерный расчет привел к том что 1 такой бот приносит нагрузку равную 100 юзерам.

То есть для меня они не критичны, а скорее не желательны.

Легкий ДДоС относительный, но поверьте даже в таком случае я могу отличить блуждание ботов от чего-то другого (по их поведению). И мне самому не понятна цель этих ботов которые приносят нагрузку, но факт что они есть.

Если вы не сталкивались с такой проблемой, то это не значит что её нет и если вам нравится факт того что лучше покупать железо чем устранять проблему, то дело ваше. Но прибыль в отличие от тех 100 юзеров один бот не принесет (в сумме при расчетах будет естественно другая цифра).

А вот прежде чем упрекать меня в паранойи Вам следует доказать это, а выводы на основе количества своего опыта не есть правильный вывод, если только вы не имеете полный 100% опыт работы в интернете чтобы знать о нем все (или вообще знать все) - а это не реально, так как нужно знать замыслы каждого человека на текущий момент времени у которого имеется хост(компьютер в сети).

Простыми словами

То есть вот если то что я утверждаю правильно, а вот вы с этим по воле случая не сталкивались, то значит я говорю бред??

В общем тему можно закрыть, раз народ все на личности переводит.

PS я знаю что многие новички пытаются поставить на форумах всегда выше всех, поэтому сразу говорю что я не преследую эту цель, если так могло показаться.

Мне вообще социальная часть не нужна, я преследую только обмен информации и опыта. Поэтому если кого задел, извеняюсь, но я все же не параноик (наверно =)) ).

Использую три ступени борьбы с ботами:

1. фильтрую трафик по подсетям по странам (немного страдают россияне зарубежом)

2. Заношу в бан тех, кто качает безкультурно весь сайт, кроме поисковых систем с помощью php скриптов

3. Ручками анализирую и заношу в бан самых активных, при подозрении, что это бот за определенный период времени, если замечаю заходы с датацентров, то блокирую подсети датацентров

Почти без потерь посетителей, уменьшил нагрузку более чем в 2 раза. Продолжаю искать методы борьбы с бесполезной нагрузкой на сервер

К тому же, он составлен не совсем корректно.