TheVS

Есть сомнения в том, что яндекс имеет с этого свою выгоду?

Ответ на поверхности.

По своему опыту могу сказать, что блокировка прямых заходов ботов даёт лишь прирост их заходов с поиска, т.е. по графикам оценить эффективность каких-либо работ нельзя.

Это бесполезно, он тут уже с месяц никому не верит. Рекомендую отвечать на его вопросы только на платной основе, т.е. не отвечать вообще.

Вот это желание добавить меилру в белый список чем обосновано кроме наличия в общедоступной инструкции по настройке клауда? Посмотрел свою статистику, в среднем получился 1 заход с их поиска на каждые 200 тыс. заходов с яндекса или гугла. Раньше они говорили, что используют поиск яндекса со своими доработками, но сейчас в этом есть большие сомнения.

Managed Challenge это скорее кнопка, чем капча.

Хорошо, что помогло, но в плане универсальности это очень плохие настройки. Первым должен быть блок, а не скип, потому что в список известных хороших ботов входит большое количество плохих. Отдельно добавлять яндекс не нужно, он и так есть в списке хороших ботов. С таким списком плохих стран проще сделать список хороших. То, что CF называет капчей ею по сути не является, нормальную капчу с выбором они давно убрали, продвинутые боты без проблем её проходят, а против простых достаточно ограничений попроще.

Потому что яндекс не в состоянии отличать ботов от людей. Их алгоритм это по сути подбрасывание монетки.

Никаких общих признаков нет.

Когда-то давно я городил велосипед из костылей, подгружая php страницы в html через ssi. Не могу сказать насколько это универсально и подойдёт ли вам, но можете попробовать.

Некоторые сайты ко всем внешним ссылкам добавляют utm независимо от их происхождения. Например, раньше такое было у vc, dtf и tj, сейчас вроде убрали. Так что вероятность лишиться хорошего трафика всё же не нулевая.