TheVS

Это бесполезно, он тут уже с месяц никому не верит. Рекомендую отвечать на его вопросы только на платной основе, т.е. не отвечать вообще.

Вот это желание добавить меилру в белый список чем обосновано кроме наличия в общедоступной инструкции по настройке клауда? Посмотрел свою статистику, в среднем получился 1 заход с их поиска на каждые 200 тыс. заходов с яндекса или гугла. Раньше они говорили, что используют поиск яндекса со своими доработками, но сейчас в этом есть большие сомнения.

Managed Challenge это скорее кнопка, чем капча.

Хорошо, что помогло, но в плане универсальности это очень плохие настройки. Первым должен быть блок, а не скип, потому что в список известных хороших ботов входит большое количество плохих. Отдельно добавлять яндекс не нужно, он и так есть в списке хороших ботов. С таким списком плохих стран проще сделать список хороших. То, что CF называет капчей ею по сути не является, нормальную капчу с выбором они давно убрали, продвинутые боты без проблем её проходят, а против простых достаточно ограничений попроще.

Потому что яндекс не в состоянии отличать ботов от людей. Их алгоритм это по сути подбрасывание монетки.

Никаких общих признаков нет.

Когда-то давно я городил велосипед из костылей, подгружая php страницы в html через ssi. Не могу сказать насколько это универсально и подойдёт ли вам, но можете попробовать.

Некоторые сайты ко всем внешним ссылкам добавляют utm независимо от их происхождения. Например, раньше такое было у vc, dtf и tj, сейчас вроде убрали. Так что вероятность лишиться хорошего трафика всё же не нулевая.

Ага, уже бегу делать за вас вашу работу. Не вижу смысла предоставлять какую-то информацию, когда пользы от этого ровно ноль.
Вопрос с банами в РСЯ из-за ботов сначала решите. И со своей позицией (брехнёй) по поводу возможности обжалования таких банов. Также всё ещё всем форумом ждём ответ по вопросу запрета доступа яндексжпк к контенту.

Если раньше были подозрения, что метрика рисует левые данные, то теперь я в этом полностью уверен. Есть сайт, на котором ежедневно сидит около 10 человек в реальности которых сомнений нет, потому что я их лично знаю. Ещё 10-30 человек заходит с поиска, хз люди это или боты. Роботность по метрике каждый день скачет от 10% до 50%. Случается наплыв явных ботов с ip США, который длится 4 дня, роботность повышается до 83-99%. Наплыв заканчивается, а роботность остаётся на уровне >93%. В один из дней при 52 хостах, 10 из которых точно "свои" и 2 мои с разных компьютеров с разных провайдеров, метрика рисует 100% роботности. Закрываю сайт на тех. работы, оставляя доступ только своим -- метрика рисует 16-33% роботности. Методом тыка удалось выяснить, что заходы с обоих моих компьютеров на любые сайты всегда считаются роботами несмотря на то, что я залогинен в аккаунт яндекса и пользуюсь его сервисами. Также методом этого же тыка выяснил, что проблема массовая. С этим может быть связано и то, что рся банит сайты за недействительные показы, которые делаете вы, шарясь по своим же сайтам, являясь при этом в глазах их кривой статистики ботом.

Также ранее я писал, что метрика учитывает визиты, которых на самом деле не было судя по логам сервера. Было подозрение, что это может быть как-то связано с кэшем и CDN, но внимательно всё проверив усилиями нескольких человек пришли к выводу, что это действительно приколы метрики. Как и для чего это делается остаётся только гадать.

Только в капче cf никакого смысла нет. Старую сложную они давно убрали, вроде бы даже с платных тарифов, а нынешняя это просто кнопка, которую бот даже по координатам может нажать.