Спасибо, по переходам по ссылкам помогла блокировка доменных зон, даже не пришлось отключать сертификат на хостинге
Вот только и переходы с турбо-страниц на сайт тоже теперь блркирует CF. Что можно сделать?
А вот отключить ipv6 принудительно через api CF не получилось, ввожу в командной строке:
C:\Users\user>curl -X PATCH "https://api.cloudflare.com/client/v4/zones/ЗОНА/settings/ipv6"\ -H "X-Auth-Email:ПОЧТА"\ -H "X-Auth-Key: ТОКЕН"\ -H "Content-Type: application/json"\ --data "{\"value\":\"off\"}"
выдает:
{"success":false,"errors":[{"code":7003,"message":"Could not route to \/zones\/ЗОНА\/settings\/ipv6\\, perhaps your object identifier is invalid?"},{"code":7000,"message":"No route for that URI"}],"messages":[],"result":null}
Эти тоже есть в небольших количествах, по ним есть какое-либо решение?
Решение есть, предоставлял как минимум 2 раза пример на этом форуме.
Можно зайти на вкладку Tools и там поставить в исключения сети 13238 и 208722, либо в самом правиле (на скриншотах).
Спасибо
1. Убираете проверки по user agent (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") и ставите в исключения сети 13238 и 208722.
2. Второе правило отключайте. Если хотите убрать IPV6 на сайте, то лучше отключите принудительно через api CF.
3. В третьем правиле я оставил проверку только пустого реферера, остальное считаю не актуальным.
По переходам по ссылкам на сайтах, рабочего решения нет. Можете посмотреть IP и AS сети эти визитов, если их не очень много, то добавьте эти сетки и IP в третье правило.
Подскажите, я не программист, в этом мало разбираюсь, как поставить в исключения сети 13238 и 208722 и как отключить IPV6 через api CF?
Переходы по ссылкам в основном из этих сетей: Metropolitan branch of PJSC MegaFon, JSC Rostelecom . Korporativniy Centr, YOTA - Moscow and Moskovskaya obl., North-West Branch of OJSC MegaFon Network, Mobile subscribers pool, Beeline-Moscow GPRS Firewall, Mobile TeleSystems, OJSC, MR North-West, но больше всего из первой в списке - Мегафона. Но с этой сети и реальные пользователи из поиска приходят.
Кждый день пара ботов из Германии с этой сети Hetzner Online GmbH заходят, как заблокировать эту сеть?
Добрый день. Подскажите, как можно заблокировать ботов? В htaccess заблокирована Биттерика. В CF вот такие правила:
1. Белые боты - Skip
(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot") or (http.user_agent contains "; +http://yandex.com/bots") or (http.user_agent contains "StackRambler") or (ip.src eq мой айпи хостинга)
2. SSL/IPV6 - Block
(ip.src in {::/0} and not ip.geoip.asnum in {13238}) or (not ssl and not ip.geoip.asnum in {13238})
3. HTTP2+ - Block
(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"} and not ip.geoip.asnum in {13238}) or (http.referer eq "" and not ip.geoip.asnum in {13238})
По этим 3 правилам CF блокирует больше 2000 ботов в сутки. Есть еще правило 4 блокировать парсеры и правило 5 блокировать по странам, но за неделю ни одного заблокированного бота нет.
Не заблокированные боты заходят по ссылкам с других непонятных сайтов, по крайней мере такое показывает метрика, и она их считает реальными людьми. Но никаких ссылок на сайт на других сайтах быть не должно, и в вебмастере их нет. Реальные люди приходят на сайт только из поиска яндекса, но сейчас сайт скатился на вторую страницу в поиске и реальных посетителей 30-40 в сутки, а ботов по ссылкам 150-200, в итоге отказы примерно 10%, среднее время на сайте меньше минуты. Получается, что CF блокирует больше 2000, но все равно эти 150-200 содают печальную картину.
На 1 скриншоте боты как юзеры, это данные метрики без роботов. На скриншоте 2 в CF в это время вообще не было этих посетителей, в СF только те, кого он заблокировал. CF почему-то не видит этих посетителей вообще. Бред какой-то. Что можно с этим сделать? Как их можно заблокировать?
