Анти БОТ

Анти БОТ
Рейтинг
135
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
Максим Кучеров #:
Куда копать посоветуете?

Вот сюда.
Spider Hits
Не думаю, что яндекс с гуглом столько накидали хитов.

Подозреваю, у вас там вагон клаудиботов, амазонботов, семраш, ашрефс и прочего подобного непрошенного. Что же они такое качают, что терабайт трафика выбрали?

Смотрите именно по юзерагент в логах.

Staws #:
вот только и люди если судить по метрике, тоже перестали заходить по поисковым фразам, 

А графа переходы с поиска у вас осталась? Или все теперь переместились во внутренние?

Andrey_Ermakov #:

код капча и спам бот листы все бесплатно и с обновлениями и микроскоп тоже, один раз настрой и все,

а вот с атаками ддос это уже совсем другое это не просто в название домена ddos дописать))

По ДДОС да, только средствами сервера практически нереально отбиться, особенно если атака выше чем уровень ясельной группы.
У меня слово ДДОС в домене не просто так. Если есть желание и возможности, приглашаю поддосить, по предварительному согласованию. 

Ну и еще раз повторюсь, Cloudflare для фильтрации поведенческих ботов приспособили именно потому, что на данный момент ему просто нет адекватных альтернатив.

Andrey_Ermakov #:

Сменить днс понятно что дело на 5 мин,

а вот сменитьзащиту и забрать правила  Cloudflare  не получится уже так

самая лучшая защита свой сервер свои правила

Все так.
Нюанс в том что на сервере можно только банить. Соответственно, все боты мобильных операторов - мимо кассы, забанить их отдельно от потенциальных посетителей вы не сможете. А в клауде можно разделить на потоки, нужным показывать проверку или капчу.

Ну и вопрос трудоемкости никто не отменял. Не у каждого свой сервак / впс с доступом в настройки нжингс. Да и htaccess до бесконечности раздувать не будешь.

Соответственно,  большинство тех, кто столкнулся с нашествиями ботов, НЕ планируют получать второе профильное образование по специальности программист / системный администратор. 
Ну а кому в кайф, то да, можно и пожить в логах пару-другую-десятую месяцев, разыскивая разных злыдней под микроскопом.

Devvver #:
SVS Communication network - банить или это нормальные юзеры?

Ну а как вы думаете, стоит банить сразу по AS или диапазонам провайдеров?


Как по мне, только если отдельные айпи, если их там немного.
Ну или Cloudflare, там можно проверку показывать, а не сразу бан в зубы.

antiddos24

Andrey_Ermakov #:

Вот вы все про  Cloudflare  пишите

а не думаете что ему крышка в России придет?

В 22 году, когда был пик культуры отмены, визгов криков заламывания рук, в Cloudflare четко дали понять, что они про бизнес а не про повесточку, больше вопросов не было. Да, с картами есть вопросы по оплате, но это не от них в целом зависит.

В остальном - сервис работал и планирует работать. Дальше уже от законодательства РФ зависит.
Ну а сменить НС Cloudflare на НС хостинга чуть что - дело на 5 мин.

admin888 #:
Здравствуйте, боты ломятся на главную страницу. Подскажите правило cloudflare.com, чтобы включить капчу входам с гл. страницей  .

Прямые заходы для главной - это так.

(http.referer eq "" and http.request.uri eq "/")
makol #:
отключать в настройках роботов - у меня по крйней мере это сработало

От этого они никуда не делись. Просто перестали показываться у вас в отчете.

А вы уверены в том, что Яндекс перестал их учитывать от того, что лично вы их больше не видите? 🔥

admin888 #:

разобрались? у меня 40к.

Вот в этой теме будут ответы на многие ваши вопросы.
https://searchengines.guru/ru/forum/1075193

barsuq #:

Как? Обгуглился. Не получилось. Но у меня и на ВПС логи пишутся. Я могу достать все IP.  Даже отдельить ботов по юзерагенту. Только мне это ничего не даст...

А это очень плохо, если даже увидев эту картинку, я также не понял ничего?: 

Для начинающих - это нормально.

На самом деле, у вас есть целых 2 варианта. В зависимости от количества времени, которое вы готовы посвятить этому вопросу.

1. Попробовать разобраться самостоятельно. Вот тема, в ней 120 страниц.
https://searchengines.guru/ru/forum/1075193
2. Обратиться за услугой к тем, кто в этом разбирается (здесь или на кворке).

Всего: 1389