При managed challenge он же сам подбирает какую проверку и этот способ указан как рекомендуемый.
Да, я в курсе. Только капчу ботоводам обойти труднее всего.
Эти инструмент в основном должны защитить от ddos, а не от ПФ ботов.
Результаты небольшого мониторинга:
Правило Cloudflare по рефереру содержащее "yandex" (managed challenge): 66% переходов с этим реферером проходят проверку. Поэтому можно предположить, что примерно 30% боты. В моем случае это будет примерно 10% от общего трафика по сайту. Возможно 1 и 2 января был какой-то всплеск переходов ботов. Думаю можно отключить проверку. Точнее для правила поставлю skip и периодически буду смотреть нет ли аномалий.
Как Вы считаете, что большее "зло"? 1) Боты и накрутка ПФ (как сейчас) или 2) Покупка / продажа ссылок (как было раньше).
Со ссылок яндекс имел 0, а здесь что-то капает ему )
Так продвижение одними ссылками умерло еще в 2015. Ранжирование было по сотням разных метрик и ссылочный профиль формировался годами. Сейчас же все свелось к тому, что ПФ на 90% является основным фактором, а все остальное побочки.
Зло когда половина статистика в Яндекс метрике - это боты. И когда ГС можно одной только накруткой запихнуть в топ-3 по всем запросам.
Да, ботов из ПС трудно отделить. Здесь уже наверное каждый решает как поступать.
Нужно наверное сделать проверку на реферер яндекса отдельным правилом в КФ и посмотреть какой процент прохода.
Статистика: сейчас стоит только код Cloudflare Web Analytics - в принципе мне хватает и код по размеру меньше.
Если стоит проверка Managed Challenge или JS, то обходят 50-60%.
Если Interactive Challenge, то где то 10-15%. Причем в какие то дни может на порядок больше или меньше. Т.к ботоводы видимо увидев что боты перестали проходить, придумывают способы как обойти проверку CF. Пару дней у них получается, то потом система начинает определять и процент снова снижается. Думаю, что если проверка будет работать месяц, то процент прохождения еще сократится.
Об этом не подумал. Нигде не встречал какой код отдает КФ при выдачи страницы проверки. Наверное же 200 должен быть.
Если бот не прошел проверку, то 403 код отдается.
В метрике такой визит не подгрузится. А бот не зайдя на сайт, вернется в поисковую выдачу. Как поисковая ПС, поймет что бот получил 403, а не 503?
Это боты, но они идут как из Яндекса, так и из Гугла.
Смотрите страницы входа, запросы в вебизоре и частотность ключей.
Боты как правило идут по кривым ключам, только на определенные страницы.
Нет однозначного ответа стоит ли блокировать ботов которые идут из выдачи Яндекса и Гугла, т.к ПС могут воспринять блокировку, как недоступность сайта.
И представители Яндекса уклоняются от ответа: нужно ли блокировать ПФ ботов из выдачи или нет.
У меня они именно этим и заняты. Смотрят по 2-3 страницы, отказа нет, на сайте по 3-4 минуты сидят. Скрин во вложении. Бот зачем то ввел в строку поиска по товарам слово "Тимофей". Тыкают на страницы которые обычным людям не видны, например на скрине раздел Быстрая доставка доступен только с декстопной версии сайта, а бот с мобилки.
Да, у меня тоже на одном сайте такое было. Бот вводить имя в поиск смотрит результаты поиска, далее опять имя вводит.
Это такие сценарии нагула, чтобы активность в метрике накрутить.
Еще может например фото в галереи час смотреть, перелистывая туда-сюда.
Здравствуйте. Не получится сказать, как влияют на выдачу сайта конкретные факторы. Рекомендации, как улучшить позиции в поиске, собрали здесь.
Получается в Яндексе не заинтересованы, чтобы владельцы сайтов боролись с бото-трафиком?
А так бы могли бы использовать аналитику с сайтов где стоит проверка CF.
Например бот переходя из выдачи не попал на сайт, хотя до этого робот Яндекса сайт обходил и он был доступен.
Такой профиль заносить в список сомнительных и выдавать ему вашу капчу на каждый запрос. 100% у ботоводов не хватит ресурсов такое количество капч для каждого спаленного профиля обходить.
На показатели нужно смотреть. А то вдруг они там у вас в плюс поведенческие нагуливают, по 3-5 мин сидят делают вид что ищут ответы на свои генерированные поисковые запросы. А вы тут понимаете-ли, замыслили нехорошее.
По каким то запросам очень сильно нагуливают в плюс (до 15 мин доходит), а по каким то по 10-20 сек.
И может меняться, сегодня одну страницу крутят в плюс, через неделю эту страницу крутят в минус.
Т.е можно на все нагуливаемые страницы ставить проверку и половину таких переходов выкосить, но как это воспримут ПС? Ведь для них это обычные юзеры.
Ну так расскажите здесь. А то может мы не в курсе.
Если с прямыми заходами и подменой реферера в UTM все понятно, то с ПФ ботами из ПС с пока не нашел однозначного ответа - нужно блокировать или нет.
Есть вероятность, того, что ПС не поймет, что вы заблокировали бота, а для нее будет сигнал, что страница сайта не доступна...
