Помощь в фильтрации ботов через CloudFlare

GuruSite24, если вы не знаете что я сделал по настройке сайта, то не надо пытаться показать, что вы гений по созданию и защите сайтов, а все остальные и рядом не стояли. Я как раз таки добавил в правило (http.request.uri eq "/contacts/" and http.referer eq ""), о чём была речь выше, но прямые заходы на 404 страницу contacts по прежнему идут. На какое-то время они прекратились, а потом опять возобновились. Поэтому я и задал снова этот вопрос. Может быть можно ещё что-то предпринять? Если вам затруднительно отвечать на него, то никто же вас не заставляет это делать.

Я сейчас тоже попробовал зайти через оперу с ВПН и без него. Я также попадаю на 404 страницу, ходя в настройках правила страница contacts указана (на скриншоте). Вот поэтому и задаю снова вопрос почему при блокировке в клауде боты попадают на 404 страницу. Мне это тоже не понятно.

Потому что вам четко сказали, что именно нужно делать. А вы сделали ровно наоборот, как я и написал выше. Мол, а чётакова? Чуть разбавил прибавил подправил.
А потом еще и удивляетесь, почему это они такие все злые и снова тыкают носом в готовую инструкцию, и не понимают откуда крики про то что эта инструкция не работает.

Читаем ваше правило дословно:

1. Блокировать, если это переход по HTTP1 из подсети яндекс.
Блок для яндекса по протоколу.

2. Блокировать, если это прямой заход с подсети яндекс.
Это еще одна мешанина где блокируется яндекс, если это прямой заход.

1. Блокировать, если страница контакты, прямой заход и подсети такие-то (яндекс).
Похоже на блок прямых заходов для ботов? Нет, это блок прямых заходов бота яндекса. Тогда возникает вопрос, зачем вообще это правило нужно, если есть более широкое, с той же блокировкой прямых заходов, выше.

Т.е. здесь есть всё, кроме того, что вам сказали сделать. Вам кто-то говорил, что сюда именно в таком виде нужно приплести яндекс? Еще и блок яндекса, а не исключение. И взаимоисключающая мешанина.

Вот и ответ на вопрос. Не нужно никакой самодеятельности в том, в чем вы не смогли разобраться. Оно не работает из-за вашей мешанины абы чего не понимая зачем всего в кучу. 

А потом и рождаются все эти категоричные беспочвенные утверждения, что отстой этот ваш клауд, не работает, не фильтрует и проч. 
У вас всего 3 самых простейших правила. Три. А уже столько косяков.

И кстати, это ведь не все правила. Вы показали только одно, то что я расписал выше.
А судя вот по этому, бота яндекса тоже не блокирует. Т.е. в вашей мешанине где-то есть еще правило know bots, которое пропускает бота яндекса.
Т.е. одним правилом вы пропускаете ботов яндекса, а другое тупо не работает, потому что правило Skip этому же яндексу все разрешает. Про то, что вы намудрили и блокируете тем правилом яндекс, а не исключаете его из правила блока, расписано выше.

Т.е. у вас вообще нет ни одного работающего правила с запретом прямых переходов.
С этим же успехом можете все это удалить, и не изменится ровным счетом ничего.

Хотел узнать как подключение CF влияет на ранжирование в Google поиске . Ведь меняется IP сайта, не думает ли Google что сайт переехал на другой хостинг. Они этого не любят

А как влияет Cloudflare на показатель отказов в Яндекс Метрике? Тут есть прямая связь? Я имею в виду то, что процент отказов увеличивается.

Нет, я не сделал ровно наоборот, я добавил подсети Яндекса в это правило, т. к. если их туда не добавить, то сразу по любой странице сайта выскакивает 403 код ответа. Сначала в этом правиле не было подсетей Яндекса и я не мог понять почему выдаёт 403 ошибку. Потом, когда дополнительно ознакомился с настройками клауда, то понял что надо добавить подсети Яндекса в это правило и 403 ошибка пропала. И у меня НИКОГДА НЕ РОЖДАЛИСЬ все эти категоричные беспочвенные утверждения, что отстой этот ваш клауд. Это уже ваши фантазии...

По поводу  правила know bots, которое пропускает бота яндекса, да это указано в первом правиле.

Если вы знаете какой написать код в это правило с запретом прямых заходов, то сообщите, я его попробую. Может быть оно не будет выдавать 403 ошибку.

Это не в вашу сторону камень. Тот, про кого речь, знает про кого речь.

По остальным вопросам я высказался выше. Вы можете все что наворотили удалить, и от этого ровным счетом ничего не изменится.

Я бы предпочел, чтобы другие участники обсуждения прокомментировали вот это.

ого, а кто это ссылку вставил в моё сообщение?

А по поводу Cloudflarе, никто не замечал что после её установки растёт кол-во отказов по Метрике?

И еще заметил, что есть ставить пустой реферер и например какой-нибудь AS в правило,  то блокирует обычных посетителей из поиска на устройствах с Iphone. По мнению клауда, они с пустыми запросами приходят, хотя зашли из ПС.

Ну клауд не выдает 403 ошибку.

Нужно создать простое правило - пустой реферер и часть страницы url. Т.е. если пользователь заходит не из поиска и на определенную страницу, то блокировать. И ничего больше добавлять не надо. Но может не сработать для некоторых ботов, тогда вместо пустого реферера вставить полный урл страницы.