- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Я бы не рекомендовал кого-то из поиска банить
Я бы не рекомендовал кого-то из поиска банить
Да, очень не хочется этого делать, это как себе в ногу стрельнуть…
https://vc.ru/seo/477451-nastraivaem-cloudflare-dlya-filtracii-botov эта?
Вы только учтите, что статья там несколько устарела, правила в Cloudflare сейчас изменены и выглядят немного иначе.
Но как ориентир, эта статья не плохая, только применять рекомендации нужно обдуманно, а не копипастом из статьи.
И еще, там первым правилом советуют ставить "Good Bots", по которому Cloudflare пропускает всех ботов, которых считает хорошими.
Это немного не верно, так как "хорошими" Cloudflare считает много лишнего, в том числе всякие краулеры, типа: Ahrefs, SEMRush и прочих ботов, через которые конкуренты чекают ваш сайт или зарубежные боты, которые запросто положат ваш сервер при сканировании.
Первым правилом лучше ставить "Bad Bots", где через User agent вы отсеете всех ботов, которые вам не нужны.
А уже вторым правилом ставьте "Good Bots" и в нем включайте "Known Bots" Cloudflare.
И самое главное, отключайте IPV6 на Cloudflare и на сервере - сразу отсеете кучу хлама.
Я тоже думал что ограничу проход для прямого трафика и все станет норм, а они оказались еще умеют подстраиваться. С прямым трафиком все понятно, особенно если своего закладочного мало. А вот как их из надежно из поиска отсеивать, без блокировок подсетей, пока не понимаю.
Да, получается что можно.
Потому что в основном боты идут с IPv6
У меня боты на 95% IPv4. После фильтрации прямых заходов, они все так и продолжают ломится, что видно в статистике CF.
По поводу подмены реферера Яндекса в запросе, как то странно получается. У них наверное должны визиты сопоставляться, когда переход идет из поиска. User agent из поиска и User agent, который метрика разбирает.
И еще прогревающие боты по куче сайтов ходят, переходя из поиска, чтобы нагулять статистику, а в вашем случае сразу идут на сайт. Не понятен смысл таких переходов.
Вчера на одном сайте заметил, что количество прямых ботов в 5-10 раз (по дням) превышает траффик из поисковиков. Причем появились они резко.
Теперь они будут так каждый день, пока не отфильтруете.
Уже.
Накрутчики в принципе сбивают сайтам всю статистику по целевой аудитории. Правильно тут више писали - у сайта по женским средствам гигиены целевая аудитория мужики за 40 :(
Я для борьбы с ботами сам себе сделал файрвол, который с помощью рекапчи 3 и 2 и некоторых других методов фильтрует ботов и всякую шушеру. Работает довольно эффективно. Но опять же рекапча не бесконечная.