Анти БОТ

Анти БОТ
Рейтинг
133
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
alaev #:

Чел вроде всю их сетку собрал.

Чел просто скопировал в другом месте.
Вот прямая ссылка на актуальный обновляемый файл.

https://asn.ipinfo.app/api/text/htaccess/AS35048

softerra #:

Racktech я пока не блокировал, собираюсь - они пока мало докучают, 2-3 визита.

Понял.
Я почему интересуюсь. Если полноценно забанить в правилах десятка два-три подсетей целиком (это допустим 1-2 тысячи строк для htaccess), и продвигаться дальше, то рано или поздно начнет проявляться перегрузка Apache.
Вот и хотелось узнать со стороны, от тех кто активно наполняет, в какой момент это становится ощутимым.

softerra #:

У меня одной только битерики 225 строк

+ штук сорок своих, которых в метрике ловлю и проверяю

Ну так я и хотел узнать, именно строк уже сколько суммарно.
Всего 300 штук?

И почему, если та же Racktech - это 128 строчек для htaccess. 
А различных подсетей у вас же целая куча, что-то не сходится.

softerra #:

Не считал - вся битерика + еще штук 40

Да - по 4ому пошли, видимо выдыхаются ))

Там же в блокнотах / notepad+ и проч строки подписаны, сразу видно количество.

Ну т.е. вносите в правила только тот диапазон, что вам попался на глаза, правильно понял? И суммарно там всего 40 строчек? (за вычетом битерики)
А не все сотни диапазонов конкретной подсети.
Или речь про 40 отдельных подсетей, по которым настроены ограничения.

softerra #:
AS204916

Причем обратите внимание, 8 диапазонов по 4 протоколу.
И 120 - по 6 протоколу.
Чисто ради интереса, сколько у вас уже строк в htaccess?

TheVS #:

2000 посетителей за 10 дней?
Потому что при 2000 посетителей в сутки, при учёте, что одна ячейка это "50 часов / 250 чел." график должен быть в среднем в районе 16% от высоты ячейки, т.е. в районе ~25-30% в дневное время из-за спада ночью. На скриншоте такого и близко нет. Скорее это сайт с 200-500 посетителями в день в лучшем случае.

В целом расчеты верные, только не учли, что цифры на графике не суммируются друг с другом, ось Y строится по тому, что имеет максимальное значение. Соответственно, если соотношение между видами трафика изменилось, это вносит серьезные поправки, залипание и проч.

Я вообще для чего это все вчера написал. Столкнулся с тем, что на клауде есть реально незадокументированные вещи. Делаешь вроде все верно, потом смотришь на результат - а он очень сильно отличается от того, что заложено в правилах. Ну или не совсем такой, как ожидалось.
Ну вот как вы упорно продвигали, мол все сделал по феншую, а клауд такой сякой не работает.
Т.е. нельзя напрямую все сваливать на клауд. Эта штука требует творческого подхода и постоянных экспериментов.

Brat_Sergij #:

Я как раз в курсе. Но у вас вообще, судя по графику, теперь околонулевая посещалка со всех каналов ) 

Вы всем блокировали доступ. А дальше что? Нет посетителей - нет проблем?

Масштаб )))

Если ось Y на графике - 60 000 - 80 000 "посетителей" в сутки, то в масштабе в сравнении - 2 000 посетителей превратятся в тонкую полосочку. Потому что на их высоту отведено 1/35 от начальной.

Я конечно извиняюсь, но это изучают в 6 классе. Называется Декартова система координат. Вроде взрослые люди тут на форуме сидят, но столько народа это вводит в ступор ... Рассказывать про нулевую посещаемость, глядя на этот график - это признаваться собственной некомпетентности. Там же снизу есть цифры, на графике на оси X есть даты, могли бы уже произвести пару математических действий и сами все посчитать, все данные имеются (480 000 / 7 дней = примерно 70 000 в сутки до фильтров, если не брать в расчет правую часть графика). Был о вас лучшего мнения...

Если брать график за последнюю неделю, то он снова выглядит обычным и снова занимает всю высоту ) Потому что там на 2000 человек снова отведена вся ось Y (вертикальная).

Ну конечно, нет посетителей нет проблем. Даже 170 000 переходов за 7 дней с других сайтов не смутило. Реальные живые люди были, какой негодяй, заблочил рефспам ... ))) Смотрю в книгу, вижу фигу. Знаете такое выражение?
И корреляция всех трех видов трафика тоже не смутила в левой части ... Что такое корреляция, надеюсь, сами загуглите.
Поражают меня вот такие вот ценители битерики ипсервер и прочих ботосетей. Такие искренние слезы по поводу спамерских сеток...

Brat_Sergij #:

а переходы из ПС почему упали вместе со всеми остальными? Вы похоже все каналы поголовно заблочили, судя по графику.

Вы просто еще не в курсе, что боты не только через прямые заходы на сайт попадают.

Ну и для понимания. Там, где обитают, как некоторые выражаются - 1,5 землекопа, - клиентов нет. Клиенты все в других местах, и их предостаточно. Серч - чисто площадка для общения кто все еще помнит, что такое форум. И своими силами пытается освоить клауд. Две темы по клауду - место общения таких динозавров, как мы.

Так что основная масса здесь присутствующих и поддерживающих тему - это с большего общение тех, кто имеет схожие интересы. Плюс, если не быть настолько непроходимым, как некоторые кто слюной тут исходятся что ничего не работает (нечего в зеркало пенять, коли рожа крива), то проштудировав обе темы по клауду, можно найти очень много всего полезного. Если начинать с ноля. Или даже иногда проскакивают какие-то вещи, интересные и тем, кто уже больше погружен в тему.

Я неделю назад здесь уже выкладывал подобный график по одному из сайтов, потом вот такие вот на вентилятор и накидывали.
Что-то не наблюдаю по нему ростов поисковых от ботов, и прочего бреда.
Не умеете пользоваться - ну так нечего в зеркало пенять.
Ага, 2000 в день после фильтров - это полтора землекопа. Закусывать надо. В школе, в ПТУ нужно было учить, что такое масштаб на графике. Сейчас то зачем свою некомпетентность выпячивать.



клауд

TheVS #:

Клауд говно и не работает, потому что почти все заблокированные прямые и т.п. заходы очень быстро превращаются в заходы с поиска, а те в свою очередь:
- большей частью не блокируются без добавления существенных неудобств обычным пользователям
- если блокируются, то дают большой рост отказов, который ещё хуже роботности

Также при закрытии большинства лазеек некоторые боты перенаправляются на прямые заходы на главную, а ставить слишком строгую защиту на такие заходы будет только владелец ГС без постоянной аудитории, либо идиот.

Единственные сайты, на которых можно более-менее победить ботов — микроскопические с посещалкой в полтора землекопа.

Да, эту сказку я тоже слышал.



клауд

Всего: 1367