- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Кто вносил в исключение ботов от Яндекса, Вк и ОК (по соц.сетям превью не подтягивает, если в целом по стране делать фильтрацию ботов)? Подскажите пожалуйста, как это делается?
Правило Skip - User agent - contains:
; +http://yandex.com/bots
vkShare
OdklBot/1.0
В бесплатной версии ограничение на количество правил. Видимо, у вас прям много все прописано.
Да, много прописано в 4 и 5 правилах (BAD CRAWLER и BAD CRAWLER_1), поэтому и не получается их объединить ни с каким из последних трёх. Ещё можете подсказать, у меня переходы происходят на главную страницу, в правиле надо указать http.request.uri.path contains "/" или http.request.uri.path contains "//", т. е. один / или два?
Попробуйте, должно помочь. JS Challenge - это проверка браузера на JavaScript, а так как боты имитируют реальный посетителей, то все эти проверки проходят.
Изменил на Interactive Challenge, посмотрим даст ли это положительный результат...
Да, много прописано в 4 и 5 правилах (BAD CRAWLER и BAD CRAWLER_1), поэтому и не получается их объединить ни с каким из последних трёх. Ещё можете подсказать, у меня переходы происходят на главную страницу, в правиле надо указать http.request.uri.path contains "/" или http.request.uri.path contains "//", т. е. один / или два?
Если не путаю, то для главной страницы нужно указать просто один слэш, но только не url path, а url full и значение не contains, а equals
Сначала надо понять о каких ботах идёт речь. Если краулеры всякие, то в белом списке самого Кф находятся всякие ахрефсы и семрашы, то есть их свободно пропускают. Еслм про прямые заходы, то, например, часть ботов спокойно проходят автоматическую проверку. Говорят, особо настырные даже и капчу подтверждения, что не робот, пройдут. Если говорить про поведенческие из поиска, то их Кф вообще никак не останавливает, только если капчу ставить для всех пользователей. Потом смотреть логи и самым подозрительным ее оставлять.
А если ориентироваться на то, что показывает метрика, то там вообще рандом. Яндекс может любого с ВПН признать ботом, а откровенных ботов, но с уже нагуленным профилями считать человеком.
Краулеры, типа ахрефсы и семрашы - у меня все заблокированы. Речь идет именно о накрутчиках. Общие принципы фильтрации мне понятны и правила уже давно настроены на нескольких сайтах. Но вот с таким случаем сталкиваюсь впервые. Если смотреть Events в Клауде, то за сутки на главную было всего 49 подозрительных перехода:
А в Метрике совсем другие цифры за те же 24 часа:
Как эти боты просачиваются в Метрику, минуя Клауд? Обычно я блочу их по ASN. А как в этом случае определить ASN, если Клауд эти посещения не видит?
UPD Кажется решил вопрос. Поставил капчу для тех, чей реферер не Яндекс или Гугл. Пример фильтра давали тут парочкой страниц ранее. Всем спасибо)
Да, много прописано в 4 и 5 правилах (BAD CRAWLER и BAD CRAWLER_1),
Эта распространенная в интернете инструкция давно не работает, а эти два правила из нее на 95% бесполезны.
А как в этом случае определить ASN, если Клауд эти посещения не видит?
Эта распространенная в интернете инструкция давно не работает, а эти два правила из нее на 95% бесполезны.
Можете предложить другие варианты вместо последних двух правил?
Кажется решил вопрос. Поставил капчу для тех, чей реферер не Яндекс или Гугл.
Нужно смотреть не вырезку, а полные правила. Могут просто заходы под Ваши условия не попадать. А если уверены что попадают, то просто отключаете SSL со стороны хостера старый бесплатный и правильно настраиваете режим Full SSL. Клауд сам выдает бесплатный SSL. Бывает такое что боты идут по старому SSL, минуя клауд. В логах сервера заходы есть, в метрике есть, а в клауде пусто. Мелочь, но ..