Ботовой трафик на сайте

S
На сайте с 12.10.2012
Offline
235
#131
alaev #:

Да у него нет никакой проблемы. Спрятал метрику и до свидания боты. 

В 90% случаев именно так, кроме тех, если ему ещё будут пытаться зарегать профиль с ссылкой на другой сайт, либо запостить спам в ФОС или гостевую, отзывы и т.п..

Как это поможет моему сайту, если боты уже есть на сайте и следовательно он добавлен в список для прокачки ботов?

Парсер  же не каждый день, месяц запускается.

юни
На сайте с 01.11.2005
Offline
933
#132
alaev #:
Если ты не понимаешь
У системных администраторов есть расхожая поговорка. "Кто злейший враг админа? "Павер юзер" (power user, продвинутый пользователь). Он думает, что всё знает, и со своей никчёмной эрудицией и идиотскими советами лезет во все щели."

Вы не знаете этот бизнес изнутри, Вы не знаете его конкретной реализации у меня - но, тем не менее, раздаёте советы "космического масштаба и космической же глупости". Понахватавшись по верхам расхожих заблуждений и с умным видом транслируя их смеющимся форумчанам.

По пунктам и только главное:

1. Блек-листы ведёт десяток организаций, у каждой из них свой тип (или несколько типов) ограничений в зависимости от активности на конкретной подсети - от почтового спама, ддоса и распространения вредоносного контента до "чёрных" доменов, ботнетов и всевозможных подмен, уязвимостей, ретрансляторов и т.п. Вот лишь небольшой пример.

2. Крупный провайдер с распространёнными активностями сталкивается ежедневно, обработка абуз у него поставлена на поток. Так же на потоке обрабатывается большинство из них у держателя блек-листов. Люди друг друга знают и повседневные жалобы обрабатывают на автомате, не думая.

3. Факт занесения в какой-либо список сам по себе мало что значит. Организации, их ведущие, не являются какими-либо государственными учреждениями, а блек-лист - списком, однозначно ведущим к каким-либо санкциям. Это обычные компании и ассоциации, созданные энтузиастами, деятельность которых не несёт непосредственных юридических последствий, а носит лишь рекомендательный характер. Хотите пользуйтесь, хотите нет.

4. Большинство хостеров и провайдеров от блек-листов постепенно, но неуклонно отказываются. Причина проста. В отличие, например, от вирусописателей, работа у которых будет всегда (потому что всегда выходит новое ПО), регламенты и спецификации сетевых протоколов и сетевых устройств достаточно консервативны. В 1981 году был IPv4, через 15 лет появился IPv6. Сейчас 2022, новых версий не предвидится. В случае с HTML всё немного динамичнее, но лишь в сравнении улитки с черепахой.

Создание блек-листов было первой реакцией на ранее не существовавшие угрозы, но ПО и аппаратные средства постоянно совершенствуются, а в изученных вдоль и поперёк RFC ничего нового нет. Поэтому люди давно уже пришли к динамическому анализу трафика, предсказаниям, фильтрации в живом времени и пр. Которых ни пользователь, ни даже провайдер не замечает. А блек-листы поддерживают в основном из-за legacy (т.е. необходимости сохранения аппаратно-программной совместимости с продуктами предыдущего поколения).

Видите, насколько реальность отличается от Ваших представлений о ней? И это я лишь тезисно описал основные моменты.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
S
На сайте с 12.10.2012
Offline
235
#133

Нашел реально действенный метод против ботов - https://tools.pixelplus.ru/news/skript-zashchity-ot-botov

На сайте котором поставил, прямые заходы вычистились на 90%. Другие источники трафика практически не поменялись.

Конечно попап сразу после загрузки страниц может отпугнуть посетителя, но если например текст о политике куки туда написать или текст какой то нормальный, то все ок.

Возможно есть какие то варианты его доработки?

Pawel-asm
На сайте с 19.07.2017
Offline
66
#134
sagamorr #:

Нашел реально действенный метод против ботов - https://tools.pixelplus.ru/news/skript-zashchity-ot-botov

На сайте котором поставил, прямые заходы вычистились на 90%. Другие источники трафика практически не поменялись.

Конечно попап сразу после загрузки страниц может отпугнуть посетителя, но если например текст о политике куки туда написать или текст какой то нормальный, то все ок.

Возможно есть какие то варианты его доработки?

Так уже версию 2.0 выложили, полегче вроде как https://tools.pixelplus.ru/news/skript-zashchity-ot-botov-2

Главная
Главная
  • tools.pixelplus.ru
Обновлённый скрипт для защиты сайта от ботов. Как и раньше, его главная задача — скрыть счётчики Яндекс.Метрики и Google Analytics от бототрафика, только теперь он это делает на чистом JS, поэтому не требует подключения тяжёлых библиотек. Скрипт уже стоит на множестве сайтов пользователей, ежедневно чистит им статистику. Как работает скрипт...
Brat_Sergij
На сайте с 26.11.2015
Offline
375
#135
sagamorr #:

Нашел реально действенный метод против ботов - https://tools.pixelplus.ru/news/skript-zashchity-ot-botov

На сайте котором поставил, прямые заходы вычистились на 90%. Другие источники трафика практически не поменялись.

Конечно попап сразу после загрузки страниц может отпугнуть посетителя, но если например текст о политике куки туда написать или текст какой то нормальный, то все ок.

Возможно есть какие то варианты его доработки?

Вы считаете, что боты не умеют кликать по единственной кнопке на всплывающем попапе?

R0
На сайте с 04.12.2019
Offline
71
#136
sagamorr #:

Нашел реально действенный метод против ботов - https://tools.pixelplus.ru/news/skript-zashchity-ot-botov

На сайте котором поставил, прямые заходы вычистились на 90%. Другие источники трафика практически не поменялись.

Конечно попап сразу после загрузки страниц может отпугнуть посетителя, но если например текст о политике куки туда написать или текст какой то нормальный, то все ок.

Возможно есть какие то варианты его доработки?

А хорошие боты смогут попадать? Боты Яндекса, Гугла и прочих аналитических компаний

C
На сайте с 28.04.2022
Offline
16
#137
Brat_Sergij #:

Вы считаете, что боты не умеют кликать по единственной кнопке на всплывающем попапе?

90% ботов не будут кликать на кнопку в модальном окне, если она не тегом а выполнена. Нечто похожее использовал раньше. Код не смотрел, но вот это:

 Статус счётчика в Яндекс.Метрике может быть «Не найден», пугаться не стоит
как-то смущает. Неужели лень одну строчку в код добавить.

S
На сайте с 12.10.2012
Offline
235
#138
Ruslan02 #:

А хорошие боты смогут попадать? Боты Яндекса, Гугла и прочих аналитических компаний

Так исключения для ботов ПС добавлены.
S
На сайте с 12.10.2012
Offline
235
#139
Brat_Sergij #:

Вы считаете, что боты не умеют кликать по единственной кнопке на всплывающем попапе?

Если научить, то смогут, но по дефолту они на это не настроены. У них же для обхода тысячи сайтов.
T
На сайте с 17.01.2023
Offline
7
#140
Всем привет. Перечитал эту тему полностью, все 15 страниц, в надежде найти ответы на главный вопрос: какими методами бороться с атакой ботов.

В моем случае на сайте с посещаемостью 1.5к чел в сутки и средней длительностью сеанса более минуты внезапно возросло количество посещений до 25к в сутки. Длительность сеанса при этом просела до 15-20 секунд. Путем анализа логов запросов понял, что меня атаковали боты. Все их заходы прямые либо с совершенно левых сайтов, на которых теоретически не может быть ссылок на мой сайт. Причем атакуются конкретные страницы сайта, которые у меня на первых позициях в Яндексе. Очевидно, заказ конкурентов, чтобы снизить стату по ПФ и убрать меня из топа выдачи.

Моё решение, учитывая все прочитанное (не претендую на 100% панацею):
1. Скрыть сайт за cloudflare.
2. Включить (временно) bot fight mode в cloudflare.
Мне пока (2 дня тестирую) помогает, показатели вернулись к прежним значениям. 

Осуждаю (для себя так определил) и не рекомендую к использованию:
1. Блокировку (выборочную или диапазонами - без разницы) по IP. Как правильно подметили выше, это как "выливать воду из таза вместе с младенцем". Вместе с ботами теряем и полезный трафик. Перед переходом на cloudflare пытался так играться, запрещал, например, все ipv6 сеансы (как показала статистика, подавляющее большинство сеансов ботов было именно с таких адресов). Тут же получил фидбэк, что сайт не доступен у кого-то.
2. Всяческих ручных антиботов которые обсуждались здесь) с капчами по цветам и т.п. Это хлопотно (например, надо настраивать исключения для нужных ботов вроде Яши/Гугла) и сильно ухудшает юзер экспериенс для реальных пользователей. Понравилось решение с отложенной загрузкой метрик, замаскированное под согласие с куками. Но это все заплаты на заплатах. Считаю, что если рубить, то у корня.

Надеюсь, мой опыт кому-то покажется полезным. Сам впервые с таким столкнулся. Спасибо этой ветке. Много полезного. ❤️

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий