Odimidorius

Рейтинг
3
Регистрация
17.12.2023
john_j #:

Сегодня заблочил активного бота по User agent :

ASN: AS48282 VDSINA-AS

Country: Russian Federation

User agent: yacybot (/global; x86 Windows XP 5.1; java 1.8.0_25; GMT+03:00/ru) http://yacy.net/bot.html


Може всю сеть заблочить?

Как писали выше это хостинг, т.е. там людей нет, в основном подняты сайты, но и vpn/proxy чтобы пускать ботов. Реальные люди с этой сети не приходят и ничего не покупают на Вашем сайте. Я не вижу смысла ставить капчу,  на что-то надеяться, что вот вот именно от туда придёт клиент на сайт? Я  закрыл всю сеть. По сути 90-99% людей используют обычный доступ с телефонов, компьютеров, у всех стоят одни и те же браузеры и именно они делают покупки и читают статьи на сайтах. А VPN/proxy используют для скрытия посещённых сайтов, информации или наоборот для доступа к запрещённым сайтам. Вам какие нужны посетители?)

Staws #:
Заказал настройку dash.cloudflare.com для сайта, боты отсеялись сразу, вот только и люди если судить по метрике, тоже перестали заходить по поисковым фразам, сайт работает полностью, все вроде четко..а людей не стало...с ботами хоть люди приходили

Вы смотрите по метрике, несколько страниц назад я писал ответ почему метрика так показывает. Посмотрите яндекс вебмастер, есть там клики с поиска или нет.

olenka0104 #:
А правда, что если прямые заходы вдруг теперь отображаются как "внутренние переходы" (их стало меньше, чем было прямых заходов ранее) - то это норм?

Когда человек попадает на Ваш сайт, он так сказать сначала видит 1-ю "подложенную" станицу Флары с проверкой, а метрика видит её как страницу Вашего сайта, потому что она находится по адресу Вашего сайта. Потом получается человек после прохождения флары уже видит по счёту 2-ю страницу, которой является уже настоящая страница Вашего сайта. Получается по мнению метрики, что человек перешёл с одной страницы Вашего сайта на вторую, т.е. сделал внутренний переход.  Так работает метрика, так что не переживайте. Если зайдёте в яндекс вебмастер, там все клики с поиска нормально считаются.

vashfreelancer #:
Как от него если Вы на переход с поиска делаете капчу, лучше для рекламы сделать UTM метки - логировать их и потом блокировать ботов на основе логов. Как вообще можно такими действиями помочь со скликом?
Если юзер не дошел до сайта, то яндекс в директе не списывает деньги? Мне всегда казалось что со скликом должен бороться яндекс, ибо переход идет от них. Но логирование UTM и анализ логов всегда решал проблему с фейк переходами по рекламе.

Переходы с мобильных сетей, не заблокировать ip он же всегда разный.  Я так понимаю, что те кто портят поведенческие и скликивают рекламу идут только из мобильных сетей, причём вот он зашёл, через 1 минуту ip уже не пингуется. Тупо в мобильной сети переподключился, оператор выдал новый ip и по новой. К логам сервера нет доступа, долго объяснять. По итогу было только такое решение которое сработало. Да у нас народ не пугается капчи от флары, я уже везде её вижу, почти на каждом сайте.

vashfreelancer #:
Да, так можно, но Вы не увидите логи. К тому же условно другие бесполезные сео сервисы Вы так не забаните, так как они меняют сетки. Первым правилом блокировки всего бесполезного в WAF будет вернее.

В логах да не будет информации, но я поэтому туда и заношу то, что поймаю, чтобы потом не отсвечивало. 

vashfreelancer #:
С Вами на ты не переходил. Откуда Вы знаете у клиента есть реклама или нет и почему Вы решили что реклама не через UTM метки? Нормальная директ компания, это компания с UTM метками. Кажется Вы думаете только так, что если у меня так, то и у всех так. Клиент просто с поиска уйдет и не будет решать капчу. Нет смысла делать капчу на referer yandex. С таким же успехом можно вообще капчу повесить для всего.

Извиняюсь) Бывает. Да клиенту может не понравится капча, всё будет зависеть от него. Как показала моя практика, наши клиенты более лояльные, и возможно понимая по снипету и тайтлу, что они получат услугу качественно и дёшево идут посмотреть так ли это. Во вторых я заметил ботов которые тупо портили статистику. Заходят ждут 3-9 секунд и выходят возвращаясь в поиск. Они спецом портили поведенческие,. Как стала капча статистика выровнялась.  

vashfreelancer #:
Полезная фишка, надо попробовать. Спасибо что показали.

Пожалуйста, но есть один косяк, хз как решать. Когда клиент вырубает VPN он всё равно "зацыклен" на этой странице. Помогает только если сбросить историю браузера за последний час. 

vitaliy11 #:

Что же вы так сразу ) Я хотел чтобы он своим умом дошел.

А ну читать нужно внимательно. Вкладка tools, а не бан в правиле. Заносишь ASN амазона и семраша туда и всё работает.

vashfreelancer #:
Уже неверно. 

Что не верно? в любом фаирволе приоритет сначала пустить белых, но только точно!

vashfreelancer #:
Второй раз неверно. Если Вы разрешаете первым правилом (Known Bots - белых ботов) их, то правилом ниже вы не забаните (тот же семраш). В клауде важен порядок. Не предоставляйте неверную информацию.

Баним не во втором правиле, а я вроде написал во вкладке, а не в правиле. Вкладка Tools ещё существует не просто так, и всё что ты там банишь будет в бане не обращая внимания на другие правила

vashfreelancer #:
Зачем исключать? По-моему вы троллите.

Всмысле зачем? Никакого тролинга, я не вижу смысле занимать 2 списками ботов 2 правила, в названиях ботом где мелькают эти части. Проще сразу указать их отдельно если юзергаент включает в себя такую фразу. А может Вы не в курсе просто. Существует список "плохих"ботов, он разделен на 2 правила. Ещё этих ботов банят через htaccess, что возможно лучше, так как освободит 2 правила во фларе из 5 бесплатных. 

vashfreelancer #:
Зачем капча для заходов из поиска? Вы хотите чтобы у человека вообще клиентов небыло?

Ну догадайся, например от скликивания рекламы.

vashfreelancer #:
На бесплатном тарифе нельзя делать кастомный HTML или редирект, как вы собираетесь перенаправлять?

Делаем страницу на своём сайте. Смотри скриншот всё прекрасно работает.

jpg pwdfp5fdbz4.jpg
vitaliy11 #:

Почитайте документацию как работают правила в WAF (ну или читайте эту ветку - уже обсуждалось). Еще скажите что при таком правиле блокируются боты из белого списка КФ )

Да  что хотите сказать то никак не пойму, про что речь? При каком правиле блокируются боты из белого списка? Я говорю что amazon и semrash сама флара считает за белых ботов.

vitaliy11 #:

Скорее всего пользователь пошлет подальше такой сайт, а не будет что-то писать.

Всем известно где находится наибольшее количество ботов.

Сначала бы прочитали документацию КФ, а потом учили других

Пожалуйста, можно не банить. Я написал, что можно перенаправить их на страницу на которой будет инфа "выключи ВПН".  Куча мусора, зачем мне он нужен, если я за бугром не торгую. И основная масса людей редко использует VPN на постоянной основе. Нужно знать ещё свою аудиторию конечно. А что не так по amason, semrash? Не даём собирать статистику и сканировать свой сайт всем кто пользуется Семраш, зачем их пускать, пусть оптимизаторы на других тренируются. Что не так?  

Я вот тут чуши всякой начитался когда первый раз настраивал, и понял кто тут и что советует. Сам разобрался и мне нравится статистика моего сайта, с 24% отказов упали до 9-11%, время на сайте выросло с 1.09 до 16.00-22.00 минут, и глубина просмотра с 1 до 3. Позиции растут и меня устраивает. А по советам "некоторых" товарищей всё было печально) 

john_j #:

Сегодня наблюдал очень много заходов из сети Hetsner c User Agent Googlebot.
Как считаете, это реальный Google, или кто-то маскируется под него ?



Нет, это вот, потому что пускаете по юзерагент. А нужно дать фларе пустить фларе ботов которых она знает, так как у Яндекс могут быть новые, то пустить все ip которые яндекс выложил на всеобщее обозрение. Ну в крайнем случае у Вас должно быть привязка юзерагент должен совпадать с сетью. Т.е. например агент Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) и его сеть должна быть AS15169. Если не совпадает, то не пускает.

12
Всего: 13