Анти БОТ

Анти БОТ
Рейтинг
134
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
softerra #:

Racktech я пока не блокировал, собираюсь - они пока мало докучают, 2-3 визита.

Понял.
Я почему интересуюсь. Если полноценно забанить в правилах десятка два-три подсетей целиком (это допустим 1-2 тысячи строк для htaccess), и продвигаться дальше, то рано или поздно начнет проявляться перегрузка Apache.
Вот и хотелось узнать со стороны, от тех кто активно наполняет, в какой момент это становится ощутимым.

softerra #:

У меня одной только битерики 225 строк

+ штук сорок своих, которых в метрике ловлю и проверяю

Ну так я и хотел узнать, именно строк уже сколько суммарно.
Всего 300 штук?

И почему, если та же Racktech - это 128 строчек для htaccess. 
А различных подсетей у вас же целая куча, что-то не сходится.

softerra #:

Не считал - вся битерика + еще штук 40

Да - по 4ому пошли, видимо выдыхаются ))

Там же в блокнотах / notepad+ и проч строки подписаны, сразу видно количество.

Ну т.е. вносите в правила только тот диапазон, что вам попался на глаза, правильно понял? И суммарно там всего 40 строчек? (за вычетом битерики)
А не все сотни диапазонов конкретной подсети.
Или речь про 40 отдельных подсетей, по которым настроены ограничения.

softerra #:
AS204916

Причем обратите внимание, 8 диапазонов по 4 протоколу.
И 120 - по 6 протоколу.
Чисто ради интереса, сколько у вас уже строк в htaccess?

TheVS #:

2000 посетителей за 10 дней?
Потому что при 2000 посетителей в сутки, при учёте, что одна ячейка это "50 часов / 250 чел." график должен быть в среднем в районе 16% от высоты ячейки, т.е. в районе ~25-30% в дневное время из-за спада ночью. На скриншоте такого и близко нет. Скорее это сайт с 200-500 посетителями в день в лучшем случае.

В целом расчеты верные, только не учли, что цифры на графике не суммируются друг с другом, ось Y строится по тому, что имеет максимальное значение. Соответственно, если соотношение между видами трафика изменилось, это вносит серьезные поправки, залипание и проч.

Я вообще для чего это все вчера написал. Столкнулся с тем, что на клауде есть реально незадокументированные вещи. Делаешь вроде все верно, потом смотришь на результат - а он очень сильно отличается от того, что заложено в правилах. Ну или не совсем такой, как ожидалось.
Ну вот как вы упорно продвигали, мол все сделал по феншую, а клауд такой сякой не работает.
Т.е. нельзя напрямую все сваливать на клауд. Эта штука требует творческого подхода и постоянных экспериментов.

Brat_Sergij #:

Я как раз в курсе. Но у вас вообще, судя по графику, теперь околонулевая посещалка со всех каналов ) 

Вы всем блокировали доступ. А дальше что? Нет посетителей - нет проблем?

Масштаб )))

Если ось Y на графике - 60 000 - 80 000 "посетителей" в сутки, то в масштабе в сравнении - 2 000 посетителей превратятся в тонкую полосочку. Потому что на их высоту отведено 1/35 от начальной.

Я конечно извиняюсь, но это изучают в 6 классе. Называется Декартова система координат. Вроде взрослые люди тут на форуме сидят, но столько народа это вводит в ступор ... Рассказывать про нулевую посещаемость, глядя на этот график - это признаваться собственной некомпетентности. Там же снизу есть цифры, на графике на оси X есть даты, могли бы уже произвести пару математических действий и сами все посчитать, все данные имеются (480 000 / 7 дней = примерно 70 000 в сутки до фильтров, если не брать в расчет правую часть графика). Был о вас лучшего мнения...

Если брать график за последнюю неделю, то он снова выглядит обычным и снова занимает всю высоту ) Потому что там на 2000 человек снова отведена вся ось Y (вертикальная).

Ну конечно, нет посетителей нет проблем. Даже 170 000 переходов за 7 дней с других сайтов не смутило. Реальные живые люди были, какой негодяй, заблочил рефспам ... ))) Смотрю в книгу, вижу фигу. Знаете такое выражение?
И корреляция всех трех видов трафика тоже не смутила в левой части ... Что такое корреляция, надеюсь, сами загуглите.
Поражают меня вот такие вот ценители битерики ипсервер и прочих ботосетей. Такие искренние слезы по поводу спамерских сеток...

Brat_Sergij #:

а переходы из ПС почему упали вместе со всеми остальными? Вы похоже все каналы поголовно заблочили, судя по графику.

Вы просто еще не в курсе, что боты не только через прямые заходы на сайт попадают.

Ну и для понимания. Там, где обитают, как некоторые выражаются - 1,5 землекопа, - клиентов нет. Клиенты все в других местах, и их предостаточно. Серч - чисто площадка для общения кто все еще помнит, что такое форум. И своими силами пытается освоить клауд. Две темы по клауду - место общения таких динозавров, как мы.

Так что основная масса здесь присутствующих и поддерживающих тему - это с большего общение тех, кто имеет схожие интересы. Плюс, если не быть настолько непроходимым, как некоторые кто слюной тут исходятся что ничего не работает (нечего в зеркало пенять, коли рожа крива), то проштудировав обе темы по клауду, можно найти очень много всего полезного. Если начинать с ноля. Или даже иногда проскакивают какие-то вещи, интересные и тем, кто уже больше погружен в тему.

Я неделю назад здесь уже выкладывал подобный график по одному из сайтов, потом вот такие вот на вентилятор и накидывали.
Что-то не наблюдаю по нему ростов поисковых от ботов, и прочего бреда.
Не умеете пользоваться - ну так нечего в зеркало пенять.
Ага, 2000 в день после фильтров - это полтора землекопа. Закусывать надо. В школе, в ПТУ нужно было учить, что такое масштаб на графике. Сейчас то зачем свою некомпетентность выпячивать.



клауд

TheVS #:

Клауд говно и не работает, потому что почти все заблокированные прямые и т.п. заходы очень быстро превращаются в заходы с поиска, а те в свою очередь:
- большей частью не блокируются без добавления существенных неудобств обычным пользователям
- если блокируются, то дают большой рост отказов, который ещё хуже роботности

Также при закрытии большинства лазеек некоторые боты перенаправляются на прямые заходы на главную, а ставить слишком строгую защиту на такие заходы будет только владелец ГС без постоянной аудитории, либо идиот.

Единственные сайты, на которых можно более-менее победить ботов — микроскопические с посещалкой в полтора землекопа.

Да, эту сказку я тоже слышал.



клауд

Кстати, здесь в темах были жалобы на то что ваш клауд не работает, мы мол тот же ростелеком под капчу ставили а он ее проходит.

Сегодня как раз полдня с подобным случаем мучался. Правило вроде есть, но оно не работает. Вернее работает, но не полностью.
На самом деле работает, проблема именно в том, что на клауде есть свои незадокументированные фичи, и если их не знать, или не разобраться в них, не учесть - то так и будет.
Буду наблюдать, но пока что по метрике вижу - ростелеком полностью пропал из отказных и прочих статистик. И в клауде чуть раньше весь лог был забит ростелекомом, как будто тот взбесился. Сейчас же ростелеком как будто исчез из этого мира, его не существует.
Не знаю, как это работает, но факт есть факт.

png 2281_13.png
Всего: 1386