Анти БОТ

Анти БОТ
Рейтинг
135
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
Dimamelnic #:


даже после блокировки всех ботов. нагрузка на сайт не спадает. все эти боты все так же заходят но им 200 ошибку выдает

Как их блокировать? если через cf бессмысленно 

200 ОК - это не ошибка )
Это как раз код корректного ответа.

Как понимаю, вы только постигаете азы. Выше уже дали дельный совет - возьмите нормальный тариф хостинга, а не самый начальный, как сейчас. Тогда не придется заниматься непонятно чем. 

Но идея забанить ботов яндекса и гугла это конечно да, вещь. 

Ну кстати у них есть такая проблема, как за стеклянной стеной живут. Ничего за пределами своего одобренного нац хостинга невозможно разместить, все перебанено и изнутри недоступно.

Dimamelnic #:

по стате Cf посмотрел. там за сегодня 70 ботов от гугла. и 20 от яндекса.

они же не могут там много ботов на мой сайт посылать. сам яндекс с гуглом

Ну если с подсети гугла / яндекса пришли, то все корректно. И не 70 ботов, а 70 коннектов к сайту. Могут быть и тысячи коннектов, и десятки тысяч. Зависит от того, какой объем страниц там у них на обходе.

Поисковики никто не банит. Банить нужно непрошенных ботов, серпстаты разные, ашрефсы и проч. Сканеры уязвимостей, поведенческих ботов, и далее по списку.

Dimamelnic #:
Кто может помочь избавится от 

гуглбот
яндексбот 
петалбот и тд

...ставил всякие блокировки через cloudflare. нагрузка меньше не стала(

Яндекса подтормаживают через вебмастер.
Только вопрос, зачем его с гуглом блокировать?

Всякие блокировки по всяким разным методичкам как правило и приводят к всякому разному результату.

Amigo_9876 #:

Сильное сообщество, взаимопомощь, бескорысные поступки...

Верните мне мой 2008-й

Ну теоретически, я бы не доверил какой-то сайт на сторону. Сегодня сайт в сети, а завтра владелец сервера решил что ему это не интересно, и нажал на кнопку Off. 
Ну или если что-то стоящее, сменил логины пароли явки и перевесил на свой домен.

Как вариант. Но можно, допустим, это сделать чуть элегантнее. Например, при настройке того же клауда, добавить в правила вот такую строчку. При вставке в форму поиска это теоретически отправит больше половины запросов из списка на проверку браузера. А если учесть, что это обычно автоматические запросы, соответственно скорее всего идут по протоколу HTTP1, то все 100%.

Хотя, потестил рандомно повставлял в форму поиска в вордпрессе, у меня все сразу на 404 страницу перекидывает.
png 2196_1.png
png 2196.png
Антоний Казанский #:

У транслирующих эти идеи нет задачи вас убедить/научить/вразумить.

Задача - завладеть вашим вниманием, чтобы в подходящий момент прогнать через него рекламную интеграцию.

Всё.

Подключайте свой аналитический аппарат и волю для анализа причинно-следственных связей, что осознать эту в общем-то нехитрую схему.

Ни прибавить ни убавить.
Вот еще, на тему.
https://youtube.com/shorts/3L-us-L1yVA?feature=share
https://www.youtube.com/watch?v=keKscC8762A

Mik Foxi #:

возможно ) но пока гугл прислал только на те сайты, которые с клаудом, а те которые просто на шареде бегета не прислал. и оно и визуально заметна разница, что с клаудом получается медленнее, если клиент гдето в ссср.

Вранье. Прислал почти всем, рядом есть об этом тема с обсуждением. Хватит как затычка во все дырки лезть со своей зеленой капчой.

Mik Foxi #:

только имейте в виду, с cloudflare такое есть, без него все быстро. для тех кому важна всякая такая скорость.

Это не про клауд, а про оптимизацию самого сайта / хостинг )
Не нужно вводить людей в заблуждение.

Dimamelnic #:

за последние 3 дня вот эти боты заходят

"msnbot|Googlebot|PetalBot|YandexRenderResourcesBot|bingbot|AhrefsBot|YandexBot|MJ12bot|DotBot|AdsBot-Google|BLEXBot"

Можно поставить отдельным правилом, перед know bots, банить если юзерагент такой-то. И всех левых ботов туда.

Всего: 1389