Lastwarrior#: Это будет дыра, в которую за 5 минут залезет любой школьник 😁
Ну зато своё, родное. А вот чужое можно и поругать за дырявость. Своё то так не поругаешь.
Самая большая проблема всех панелей, - это то что это отдельная надстройка над самим сервером (со своими багами и дырками). Необходимая для того, чтобы среднестатистический пользователь (естественно, не имеющий никакого представления об администрировании) мог этим пользоваться и решать свои текущие задачи, связанные с сайтами, - самостоятельно. Естественно, если хорошо поискать, то везде можно найти дырки. Но это не отменяет того, что панели как таковые - востребованы большинством, далёким от всех этих ваших программирований.
Кривая завирусованная оконная Винда тоже сильно далека от более надежного / стабильного DOS или Нортон Коммандер, но где Нортон, а где Винда...
Еще в панели ISP указано куча IP-адресов. Видимо, которые хостер когда-то решил заблокировать. Как думаете, стоит удалить оттуда? Посмотреть что будет.
И кстати тут же увидел раздел - блокировка по странам)
Этот метод называется - метод научного тыка. Это работает только в том случае, если вам важен сам процесс познания окружающего мира путем рандомных действий, а не результат.
Введите эти диапазоны по одному, до /24 (например, 2.63.200.0) вот здесь
Увидите к какому ASN относятся. В начале у вас есть диапазоны допустим Мегафона, глупо блокировать кого-то, кому попался тот же айпи, что 5 лет / 5 мес назад какому-то слишком активному боту. А есть полотна с различными китайскими ASN, это можно оставить.
Аналогично по странам. Китай и Сингапур вы сможете забанить по стране, вашего трафика там нет. А вот США уже нет, например. Иначе заблокируете Гугл, и еще что-нибудь нужное. Или другую страну, айпи которой пользуются ваши посетители с ВПН.
TonyBlackberry#: парсеры банятся обычной проверкой на поддержку картинок и js. после того, как поставил эту проверку, количество парсеров снизилось чуть ли не в сто раз.
Ну так логично, такую же задачу решала ЖС капча в клауде на прямые заходы, такую же задачу решает Станислав (он этот же принцип описывал в соседней ветке). Такую же задачу решаете вы, только чуть другим путем.
Только почему вы пытаетесь свое видение наложить на исходные условия, которые задал топикстартер. Нет у него никаких жс проверок, есть только полотно для нжингс, непонятной свежести и актуальности. Поэтому я и пытаюсь объяснить, что сначала нужно перестать смешивать мух и котлет, и разделять: что такое поведенческий бот, а что такое парсер.
Под рубильником имелся в виду список с парсерами, и попытки как-то связать изменения/не изменения роботности в метрике с выкатыванием списка в нжингс. А вы, даже не вникая в смысл текста, сразу начинаете со мной спорить.
Из разряда, вот смотрите, бывает зеленое и красное... TonyBlackberry - НЕТ, вы не правы, температура измеряется в градусах Цельсия.
yalol#: У меня есть знакомый, у которого тоже автосайт с хорошей посещаемостью. Но у него роботность около 10 %. Он даже не знал о ней, пока я у него не спросил)) Вот как боты выбирают куда ходить?
Если именно про поведенческих, т.е. то что можно увидеть в метрике: рандомное везение/не везение, присутствие в данный момент или не присутствие в различных списках различных ботоводов, текущие позиции по какому-то пласту запросов который как раз качают в вашей нише, наличие именно в данный момент каких-то нагулов у того или иного ботовода (это не кто-то один, это огромная масса разного софта/железа с разными уровнями технологий), мощность с которой он качает своих ботов, с каких айпи он их качает, какие это боты, начальная масса или уже прокачанные, и прочая масса рандомных параметров, которые меняются во времени, и которые от вас никак не зависят. Поэтому сегодня одни параметры ботности и количество тех кого Яндекс посчитал как ботов, а завтра другие. А вы в этот момент дергаете не подключенный ни к чему рубильник, и пытаетесь найти взаимовязь.
TonyBlackberry#: вы требуете невозможного от человека, который вообще не разбирается в администрировании. он описал проблему как мог, и при этом его многие поняли. он хочет заблокировать ботом, но ему нужно время, чтобы понять то, о чем ему здесь все пишут
Но в основной массе пишут то те, кто сами не имеют представления о том, чем отличаются парсеры от поведенческих ботов.
В итоге все подобные темы на форуме превращаются в срач о том, как кто-то в годами собирает список для htaccess, и это универсальная таблетка от всех ботов, даже поведенченских, которые здесь даже рядом не стояли (кроме тех редких случаев, когда что-то можно забанить по IP).
TonyBlackberry#: а блокировка всяких небраузерных ботов как раз дает снижение нагрузки на сервер.
Много букв я написал потому, что может до кого-нибудь наконец дойдет, если будет не по диагонали читать. Хотя шанс мал, плюс в любые такие темы набегают одни и те же персонажи и превращают их в срач.
знакомый программист заблокировал некоторых роботов
server { if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|/// return 403;
Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.
Через nignix один знакомый программист заблокировал некоторых роботов, строчка выглядит так:
server { if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) { return 403;
Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.
Это та проблема что тянется на этом форуме годами, еще с момента веток с Cloudflare. Поиск решения к задаче способами, которые к этой задаче не имеют абсолютно никакого отношения.
Первое, это когда тот кто не понимает, что хочет, дает задание тому, кто не понимает о чем речь. Но тот кто дает задание, уверен в том, что исполнитель - специалист. Прогер - НЕ специалист по ботам (в 99% случаев, редких случаев, например присутствующий в этой ветке Станислав - практик, а не истеричка орущая на темы в которых вообще не разбирается, есть и такие). Ну или Майк, который годами пилит свой продукт, поэтому уже успел забыть то, что большинство здесь присутствующих даже и не знали. Прогер как правило не знает, что есть простые боты (краулеры поисковиков, сканеры парсеры и проч), а есть боты поведенческие - с браузером. Для него это одна большая куча с названием - боты. Он не способен это ни увидеть ни понять, так как у поведенческих тот же юзерагент в общем списке в ленте, все что он может увидеть глядя в access.log - это сканеры парсеры (например, Go-http-client). НО эти сканеры парсеры не имеют браузера, значит не могут быть отображены в отчетах метрики. Метрике НЕ видит простых ботов, поэтому все эти списки в разрезе задачи уменьшить роботность - это пустой пук в воздух. Прогер просто передирает первый же попавшийся ответ из поиска или ИИ вам в настройки, только за деньги. Вы и самостоятельно могли натянуть в нжингс эту простыню, если бы знали как добраться до нжингс и это туда записать. Отсюда первая ошибка - вы не понимаете что хотите, поэтому ставите задачу тому, кто не понимает что вы хотите. Отсюда и иллюзия бурной деятельности, без получения какого-то конечного результата (уменьшение роботности в метрике).
Вторая ошибка - это бездумное переписывание того, актуальность чего тот кто переписывает проверять не хочет / не понимает, что именно передирает и зачем. Человек ленив. Именно потому ВСЕ программисты и сеошники, которые с умным видом впаривали в ветках по клауду правила Акулова и Зимина, тянули в них (бездумно) артефакты, которые те натыкали туда еще с 2016 и 2017 годов. Я про номера версий чего-либо, а также тупое бросание под капчу протокола IPV6, который уже стал стандартном но на момент написания в 2018 году - им не был. Версия, софт, окружение сменится, а обезьянки годами будут с уверенным видом тянуть к себе устаревшую таблетку с плацебо.
Поэтому разделите свою задачу на 2. - заблокировать в нжингс/апач сканеры/парсеры/краулеры которые не нужны (бинг). Это уровень вашего знакомого программиста, если бы он не впарил вам совсем уж туфту, как выше. - уменьшить роботность
Это 2 абсолютно разные задачи. Хотите решить вторую, но ваш уровень понимания НЕ выходит за решение первой. Ищите на бирже того кто вам будет ставить какие-то решения (таких фришных полно на гитхабе, не нужно изобретать очередной велосипед) которые будут разделять трафик с браузером на ботный и не ботный, но учтите: все эти решения будут содержать капчу. Поэтому если у вас нет желания видеть в некоторых случаях капчу на своем сайте, сделайте как некоторые выросшие дети: закройте глаза, удалите метрику. Нет метрики, нет и роботности, вы же ее не видите.
estic#: админ/программист может использовать более "низкоуровневые" средства обновления содержимого, если он еще и этим занимается.
Именно поэтому от тех, кто использует более низкоуровневые средства обновления содержимого, мы часто видим "стояние с транспарантом". Потому что наличие более простых и дешевых "способов владения и обслуживания" отбирает у них хлеб.
Это будет дыра, в которую за 5 минут залезет любой школьник 😁
Ну зато своё, родное.
А вот чужое можно и поругать за дырявость. Своё то так не поругаешь.
Самая большая проблема всех панелей, - это то что это отдельная надстройка над самим сервером (со своими багами и дырками). Необходимая для того, чтобы среднестатистический пользователь (естественно, не имеющий никакого представления об администрировании) мог этим пользоваться и решать свои текущие задачи, связанные с сайтами, - самостоятельно.
Естественно, если хорошо поискать, то везде можно найти дырки. Но это не отменяет того, что панели как таковые - востребованы большинством, далёким от всех этих ваших программирований.
Кривая завирусованная оконная Винда тоже сильно далека от более надежного / стабильного DOS или Нортон Коммандер, но где Нортон, а где Винда...
Подключи метрику с кодом в отдельном файле
Еще в панели ISP указано куча IP-адресов. Видимо, которые хостер когда-то решил заблокировать. Как думаете, стоит удалить оттуда? Посмотреть что будет.
И кстати тут же увидел раздел - блокировка по странам)
Этот метод называется - метод научного тыка. Это работает только в том случае, если вам важен сам процесс познания окружающего мира путем рандомных действий, а не результат.
https://bgp.tools/Введите эти диапазоны по одному, до /24 (например, 2.63.200.0) вот здесь
Увидите к какому ASN относятся. В начале у вас есть диапазоны допустим Мегафона, глупо блокировать кого-то, кому попался тот же айпи, что 5 лет / 5 мес назад какому-то слишком активному боту.
А есть полотна с различными китайскими ASN, это можно оставить.
Аналогично по странам. Китай и Сингапур вы сможете забанить по стране, вашего трафика там нет. А вот США уже нет, например. Иначе заблокируете Гугл, и еще что-нибудь нужное. Или другую страну, айпи которой пользуются ваши посетители с ВПН.
парсеры банятся обычной проверкой на поддержку картинок и js. после того, как поставил эту проверку, количество парсеров снизилось чуть ли не в сто раз.
Только почему вы пытаетесь свое видение наложить на исходные условия, которые задал топикстартер. Нет у него никаких жс проверок, есть только полотно для нжингс, непонятной свежести и актуальности.
Поэтому я и пытаюсь объяснить, что сначала нужно перестать смешивать мух и котлет, и разделять: что такое поведенческий бот, а что такое парсер.
вообще не так.
А вы, даже не вникая в смысл текста, сразу начинаете со мной спорить.
Из разряда, вот смотрите, бывает зеленое и красное...
TonyBlackberry - НЕТ, вы не правы, температура измеряется в градусах Цельсия.
У меня есть знакомый, у которого тоже автосайт с хорошей посещаемостью. Но у него роботность около 10 %. Он даже не знал о ней, пока я у него не спросил)) Вот как боты выбирают куда ходить?
Поэтому сегодня одни параметры ботности и количество тех кого Яндекс посчитал как ботов, а завтра другие.
А вы в этот момент дергаете не подключенный ни к чему рубильник, и пытаетесь найти взаимовязь.
вы требуете невозможного от человека, который вообще не разбирается в администрировании. он описал проблему как мог, и при этом его многие поняли. он хочет заблокировать ботом, но ему нужно время, чтобы понять то, о чем ему здесь все пишут
Но в основной массе пишут то те, кто сами не имеют представления о том, чем отличаются парсеры от поведенческих ботов.
В итоге все подобные темы на форуме превращаются в срач о том, как кто-то в годами собирает список для htaccess, и это универсальная таблетка от всех ботов, даже поведенченских, которые здесь даже рядом не стояли (кроме тех редких случаев, когда что-то можно забанить по IP).
а блокировка всяких небраузерных ботов как раз дает снижение нагрузки на сервер.
Много букв я написал потому, что может до кого-нибудь наконец дойдет, если будет не по диагонали читать. Хотя шанс мал, плюс в любые такие темы набегают одни и те же персонажи и превращают их в срач.
знакомый программист заблокировал некоторых роботов
server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|///
return 403;
Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.
Какое отношение первое имеет ко второму....
Через nignix один знакомый программист заблокировал некоторых роботов, строчка выглядит так:
server {
if ($http_user_agent ~* (FriendlyCrawler/1.0|Go-http-client|ChatGLM-Spider|InternetMeasurement|tphotobot|DataForSeoBot|ElevenlabsCrawler|ShapBot|QlyzeBot|PetalBot|bingbot/2.0|meta-webindexer/1.1|PerplexityBot|ClaudeBot|ExaSearchBot|Reflectionbot|LinkupBot|weborama-fetcher|MJ12bot|ImagesiftBot|SemrushBot/7~bl|Barkrowler/0.9|Amazonbot/0.1|msnbot/2.0b|SeznamBot/4.0|matlistan/1.0|BLEXBot/1.0|coccocbot-web/1.0) ) {
return 403;
Но все это не снизило прямые заходы ботов, у которых высокий процент отказов.
Это та проблема что тянется на этом форуме годами, еще с момента веток с Cloudflare. Поиск решения к задаче способами, которые к этой задаче не имеют абсолютно никакого отношения.
Первое, это когда тот кто не понимает, что хочет, дает задание тому, кто не понимает о чем речь. Но тот кто дает задание, уверен в том, что исполнитель - специалист. Прогер - НЕ специалист по ботам (в 99% случаев, редких случаев, например присутствующий в этой ветке Станислав - практик, а не истеричка орущая на темы в которых вообще не разбирается, есть и такие). Ну или Майк, который годами пилит свой продукт, поэтому уже успел забыть то, что большинство здесь присутствующих даже и не знали.
Прогер как правило не знает, что есть простые боты (краулеры поисковиков, сканеры парсеры и проч), а есть боты поведенческие - с браузером. Для него это одна большая куча с названием - боты.
Он не способен это ни увидеть ни понять, так как у поведенческих тот же юзерагент в общем списке в ленте, все что он может увидеть глядя в access.log - это сканеры парсеры (например, Go-http-client). НО эти сканеры парсеры не имеют браузера, значит не могут быть отображены в отчетах метрики.
Метрике НЕ видит простых ботов, поэтому все эти списки в разрезе задачи уменьшить роботность - это пустой пук в воздух.
Прогер просто передирает первый же попавшийся ответ из поиска или ИИ вам в настройки, только за деньги. Вы и самостоятельно могли натянуть в нжингс эту простыню, если бы знали как добраться до нжингс и это туда записать.
Отсюда первая ошибка - вы не понимаете что хотите, поэтому ставите задачу тому, кто не понимает что вы хотите. Отсюда и иллюзия бурной деятельности, без получения какого-то конечного результата (уменьшение роботности в метрике).
Вторая ошибка - это бездумное переписывание того, актуальность чего тот кто переписывает проверять не хочет / не понимает, что именно передирает и зачем. Человек ленив. Именно потому ВСЕ программисты и сеошники, которые с умным видом впаривали в ветках по клауду правила Акулова и Зимина, тянули в них (бездумно) артефакты, которые те натыкали туда еще с 2016 и 2017 годов. Я про номера версий чего-либо, а также тупое бросание под капчу протокола IPV6, который уже стал стандартном но на момент написания в 2018 году - им не был.
Версия, софт, окружение сменится, а обезьянки годами будут с уверенным видом тянуть к себе устаревшую таблетку с плацебо.
Поэтому разделите свою задачу на 2.
- заблокировать в нжингс/апач сканеры/парсеры/краулеры которые не нужны (бинг). Это уровень вашего знакомого программиста, если бы он не впарил вам совсем уж туфту, как выше.
- уменьшить роботность
Это 2 абсолютно разные задачи. Хотите решить вторую, но ваш уровень понимания НЕ выходит за решение первой.
Ищите на бирже того кто вам будет ставить какие-то решения (таких фришных полно на гитхабе, не нужно изобретать очередной велосипед) которые будут разделять трафик с браузером на ботный и не ботный, но учтите: все эти решения будут содержать капчу.
Поэтому если у вас нет желания видеть в некоторых случаях капчу на своем сайте, сделайте как некоторые выросшие дети: закройте глаза, удалите метрику. Нет метрики, нет и роботности, вы же ее не видите.
админ/программист может использовать более "низкоуровневые" средства обновления содержимого, если он еще и этим занимается.
Именно поэтому от тех, кто использует более низкоуровневые средства обновления содержимого, мы часто видим "стояние с транспарантом". Потому что наличие более простых и дешевых "способов владения и обслуживания" отбирает у них хлеб.