- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
нет единой инструкции как бороться с ботами
1. Снимаете логи посещений своего сайта.
2. Сортируете их и смотрите на какие страницы чаще всего идут боты, с каких IP / ASN, в какое время.
3. Зная информацию выше:
а) Если используете CF: настраиваете в CF правила фильтрации трафика, подставляя точечно этим сеткам капчу.
б) Если не используете CF: собираете диапазоны с бототрафом, явные сетки баните в .htaccess (битерики, селектелы и т.д.), скомпрометировавшим себя IP подставляете капчу, либо на страницах, на какие чаще всего идут эти диапазоны - подставляете отложенную загрузку метрики.
в) Настроить правила php, по которым будет осуществляться фильтрация трафика (наймите программиста - это не дорого).
Но, скажу так, с CF проще настроить, руками - дольше, но эффективность что там, что там - одинаковая. Защититься можно будет только от прямого бототрафа.
От ботов, которые идут из ПС по ключевикам и т.д. - нет "легкой" защиты.
Все эти антиботы, какие Вам будут пхать в приват - они защищают на уровне настроек CF.
Серьезных ботов банить только командой и индивидуально, настраивая рубежи обороны. Это дорого и не по карману рядовым вебмастерам с личными бложиками (как у меня).
Снизить количество переходов с сайтов в 3 раза помогла отложенная загрузка метрики (30000 мсек), но пока непонятны долгосрочные последствия этого шага, поэтому пришлось вернуться к обычному значению (5000 мсек)
Для меня несколько странное решение у Вас. Если в реальности количество настоящих (неботовых) посещений по ссылкам на сайтах невелико, то всем, кто пришёл с каких-то сайтов, кроме нужных (ну там яндексы с гуглом, может ещё кто) - считаем, что вероятность того, что это бот, стремится к 100%, просто отказываем в доступе (ну или лайт-режим: не подгружаем вообще таким посетителям никакие метрики и коды вызова рекламы, таким образом ботам там неинтересно станет, а контент доступен всем юзверям останется.
Проблема в чём? Что нет единой инструкции как бороться с ботами и все пишут разное на 150+ страницах
Выше Александр Вам ответил, все достаточно понятно и правильно. 7 раз собираете логи, 1 раз блокируете ботов.
Никто Вам под ключ не будет разжевывать что нужно делать. Есть база данных, с ними и работайте.
Выше Александр Вам ответил, все достаточно понятно и правильно. 7 раз собираете логи, 1 раз блокируете ботов.
Никто Вам под ключ не будет разжевывать что нужно делать. Есть база данных, с ними и работайте.
Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя.
У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.
Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.
Серьезных ботов банить только командой и индивидуально, настраивая рубежи обороны. Это дорого и не по карману рядовым вебмастерам с личными бложиками (как у меня).
Спасибо!
Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя.
У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.
Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.
я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы.
Когда я начал более точечно блочить (поставил капчу) по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% + я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все. Все эти блокировки - не панацея
В среднем процент роботности метрики сейчас 20%.
Я и не прошу под ключ. В каждом разделе есть обсуждения ботов и как с ними бороться. Все пишут разное, я читаю и пробую применить у себя.
У меня ситуация такая: из ниоткуда привалили боты "переходы с сайтов" (как известных, так и неизвестных). По статистике выходит 4-5% в источниках трафика, в числовом выражении - 900-1000 посещений в сутки. Роботность по метрике - 1%.
Мне нужно беспокоиться с такими показателями или нет? Влияют ли они на выдачу? Неделю назад их было ноль. В ловушку для ботов они не ловятся.
Вам вообще стоить беспокоиться что боты создают нагрузку на сервер. Боты с фейк сайтов сегодня не делают отказы, а завтра рушат сайт и влияют на выдачу.
Роботность в метрике - бесполезная фишка.
Вы делаете правило: которое дает капчу всем зонам типо .ru .com и так далее (есть два варианта написать его и один из них обсуждался в этой ветке) - предварительно выше referer домены ПС в исключение как минимум. И все - трафик с фейк сайтов на капче отсеивается и тут неважно с какой сети они. Нужные сайты выше в белый лист.
я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы.
Когда я начал более точечно блочить (поставил капчу) по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% + я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все. Все эти блокировки - не панацея
В среднем процент роботности метрики сейчас 20%.
нужно в связке ASN + прямой заход + URL - действие (как пример)
я заблокировал ботов исключительно самых явных: битерики и их подобные , сайты анализаторы.
Когда я начал более точечно блочить (поставил капчу) по ASN всякие OJSC Rostelecom Macroregional Branch South Роботность стала 4-5% + я получил практически полное уничтожение сайта , т.к за ботами в блок улетели обычные юзеры. Вот и все. Все эти блокировки - не панацея
В среднем процент роботности метрики сейчас 20%.
Можете забыть про роботность, т.к Метрика определяет только самых примитивных ботов.
Проанализируете самые популярные страницы вашего сайта, запросы по которым переходят, CTR по запросам с них и общую частотность ключей по URL.
Может случится так, что 50% и более "живого" как вы думаете трафика, окажутся боты, которые переходят из ПС по ключам.
Накрутчики парсят категории запросов через key so, поэтому ключи будут ну уж очень специфические, в реальной жизни такое вводить никто не будет.
в) Настроить правила php, по которым будет осуществляться фильтрация трафика (наймите программиста - это не дорого).
Такое вроде здесь раньше здесь не обсуждалось.
Не могли бы пояснить, в каком направлении после CF надо еще фильтровать?