Борьба с роботностью

SA
На сайте с 12.04.2024
Offline
77
#21
Kykapa4a #:
Для прямых заходов поставь самописную капчу слайдер.

Так уже делать нельзя. Браузер пользователя может не передавать рефер.

yalol
На сайте с 12.12.2007
Online
253
#22
Интересные мнения конечно у всех) Но слова многих просто непонятные. Сделай так, сделай сяк. Темный лес блин
K4
На сайте с 29.01.2020
Offline
92
#23
SeoA #:

Так уже делать нельзя. Браузер пользователя может не передавать рефер.

Да, есть проблема с айфонщиками, у них реферер режется, но пока не критично. 


Станислав
На сайте с 27.12.2009
Offline
265
#24

Своему программисту скажи чтобы почитал про:

1. Fail2ban + nftables

2. Nginx + JavaScript Proof-of-Work Challenge

Второе, на выходе получишь самопалный простенький аналог CF, можно сделать по уровням (проверка на js / проверка капчи с той же SmartCaptcha), юзеры давольны и ботов будет ноль. Естественно надо будет сделать так чтобы Google и Yandex боты заходили без проверки.

Смотрю часто чет стали писать про ботность...

Мы там, где рады нас видеть.
SA
На сайте с 12.04.2024
Offline
77
#25
Kykapa4a #:

Да, есть проблема с айфонщиками, у них реферер режется, но пока не критично. 


На зарубежном трафике таких поболее

Анти БОТ
На сайте с 14.03.2020
Online
150
#26
yalol :

Через nignix один знакомый программист заблокировал некоторых роботов, строчка выглядит так:

server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) {
return 403;

Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.

Это та проблема что тянется на этом форуме годами, еще с момента веток с Cloudflare. Поиск решения к задаче способами, которые к этой задаче не имеют абсолютно никакого отношения.

Первое, это когда тот кто не понимает, что хочет, дает задание тому, кто не понимает о чем речь. Но тот кто дает задание, уверен в том, что исполнитель - специалист. Прогер - НЕ специалист по ботам (в 99% случаев, редких случаев, например присутствующий в этой ветке Станислав  - практик, а не истеричка орущая на темы в которых вообще не разбирается, есть и такие). Ну или Майк, который годами пилит свой продукт, поэтому уже успел забыть то, что большинство здесь присутствующих даже и не знали.
Прогер как правило не знает, что есть простые боты (краулеры поисковиков, сканеры парсеры и проч), а есть боты поведенческие - с браузером. Для него это одна большая куча с названием - боты.
Он не способен это ни увидеть ни понять, так как у поведенческих тот же юзерагент в общем списке в ленте, все что он может увидеть глядя в access.log - это сканеры парсеры (например, Go-http-client). НО эти сканеры парсеры не имеют браузера, значит не могут быть отображены в отчетах метрики. 

Метрике НЕ видит простых ботов
, поэтому все эти списки в разрезе задачи уменьшить роботность - это пустой пук в воздух.
Прогер просто передирает первый же попавшийся ответ из поиска или ИИ вам в настройки, только за деньги. Вы и самостоятельно могли натянуть в нжингс эту простыню, если бы знали как добраться до нжингс и это туда записать.
Отсюда первая ошибка - вы не понимаете что хотите, поэтому ставите задачу тому, кто не понимает что вы хотите. Отсюда и иллюзия бурной деятельности, без получения какого-то конечного результата (уменьшение роботности в метрике).

Вторая ошибка - это бездумное переписывание того, актуальность чего тот кто переписывает проверять не хочет / не понимает, что именно передирает и зачем. Человек ленив. Именно потому ВСЕ программисты и сеошники, которые с умным видом впаривали в ветках по клауду правила Акулова и Зимина, тянули в них (бездумно) артефакты, которые те натыкали туда еще с 2016 и 2017 годов. Я про номера версий чего-либо, а также тупое бросание под капчу протокола IPV6, который уже стал стандартном но на момент написания в 2018 году - им не был. 
Версия, софт, окружение сменится, а обезьянки годами будут с уверенным видом тянуть к себе устаревшую таблетку с плацебо.

Поэтому разделите свою задачу на 2.
- заблокировать в нжингс/апач сканеры/парсеры/краулеры которые не нужны (бинг). Это уровень вашего знакомого программиста, если бы он не впарил вам совсем уж туфту, как выше.
- уменьшить роботность

Это 2 абсолютно разные задачи. Хотите решить вторую, но ваш уровень понимания НЕ выходит за решение первой.
Ищите на бирже того кто вам будет ставить какие-то решения (таких фришных полно на гитхабе, не нужно изобретать очередной велосипед) которые будут разделять трафик с браузером на ботный и не ботный, но учтите: все эти решения будут содержать капчу. 
Поэтому если у вас нет желания видеть в некоторых случаях капчу на своем сайте, сделайте как некоторые выросшие дети: закройте глаза, удалите метрику. Нет метрики, нет и роботности, вы же ее не видите.


Защита сайта от поведенческих ботов, фильтрация ботов для Яндекс Директ - https://antibot24.ru
TB
На сайте с 16.01.2009
Offline
311
#27
Анти БОТ #:
Поэтому если у вас нет желания видеть в некоторых случаях капчу на своем сайте, сделайте как некоторые выросшие дети: закройте глаза, удалите метрику. Нет метрики, нет и роботности, вы же ее не видите.
вот вы много букв понаписали, но всё не по делу. У ТС две проблемы нагрузка на сервер и мало денег с РСЯ. Снятие метрики ничего не даст, так как в РСЯ есть своя метрика, которая точно так же показывает роботность. а блокировка всяких небраузерных ботов как раз дает снижение нагрузки на сервер. у него проблема с азиатскими ботами, да ботами из "Omskie kabelnye seti Ltd.".  их можно заблокировать самым примитивным способом путем перенаправления на пустую страницу  placeholder.html что-то типа

geo $block_user_ip {
    default           0;
    176.62.64.0/18   1;
    202.46.62.0/24  1;
    43.172.160.0/19   1;
}



server {

set $need_block 0;

   if ($block_user_ip) {
    set $need_block 1;
    }

if ($http_user_agent ~* "zh_CN") {
    set $need_block 1;
}

if ($request_uri ~* "placeholder\.html") {
    set $need_block 0;
}

if ($need_block = 1) {
    return 302 /placeholder.html;
}


}
 
Анти БОТ
На сайте с 14.03.2020
Online
150
#28
TonyBlackberry #:
а блокировка всяких небраузерных ботов как раз дает снижение нагрузки на сервер.

Много букв я написал потому, что может до кого-нибудь наконец дойдет, если будет не по диагонали читать. Хотя шанс мал, плюс в любые такие темы набегают одни и те же персонажи и превращают их в срач.

знакомый программист заблокировал некоторых роботов

server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|///
return 403;

Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.

Какое отношение первое имеет ко второму....

TB
На сайте с 16.01.2009
Offline
311
#29
Анти БОТ #:
Много букв я написал потому, что может до кого-нибудь наконец дойдет, если будет не по диагонали читать.
вы требуете невозможного от человека, который вообще не разбирается в администрировании. он описал проблему как мог, и при этом его многие поняли. он хочет заблокировать ботом, но ему нужно время, чтобы понять то, о чем ему здесь все пишут
yalol
На сайте с 12.12.2007
Online
253
#30

У меня есть знакомый, у которого тоже автосайт с хорошей посещаемостью. Но у него роботность около 10 %. Он даже не знал о ней, пока я у него не спросил)) Вот как боты выбирают куда ходить?

У него сайт - новости про машины с каталогом.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий