Dambo

Dambo
Рейтинг
383
Регистрация
19.07.2018
alaev #:

В логах посмотри его as и добавь в исключения. Но вообще-то блочить не должен.

Он через раз блочит, проверял четыре раза, два раза блочит. Хз что такое

Сейчас пытался проверить страницы сайта на скорость, но pagespeed.web.dev теперь показывает ошибку 403. Клауд видимо блокирует его. Как разблочить?
vashfreelancer #:

Смотрите чтобы под прямые не попали ваши подключенные сервисы к сайту, или условно с айпи сайта запрос.  Не будет лишним добавить в исключения или в самих правилах или во вкладке Tools (но там нет логирования).

А какие сервисы? У меня из сторонних только кнопки поделиться от Яндекса ну и рся .

vashfreelancer #:

У Вас не совсем верный алгоритм правил. Вы в 1 правиле разрешаете "хороших ботов" по мнению клауда (оттуда идут разные зарубежные хостинги например ASN24940 Hetzner). Могу предположить что прямые заходы попадают в первое правило и разрешаются. Ростелеком тот же с ботами.
Все это исключается Вашим первым правилом и боты уже на другие правила проверки не попадают. Вам нужно первым правилом делать блокировку спамных сетей допустим, а потом уже разрешать хороших ботов, или же лучше разрешать ASN сети и User Agent`ы нужных сервисов точечно. Если условно сео сервисы размещены на спамных сетях, то должно быть самое первое правило, которое добавляет исключение (не всей сети а допустим по User Agent).

4 и 5 правило можно объединить через OR если конечно там нет лимита символов.
И пятым правилом, просто сделать логирование всех прямых заходов:  (http.referer eq "")

На основе этого правила и других, можно смотреть графики (логи) кого пропустили и на какую страницу обращались. Надеюсь логика понятна.
И условно - если вы блочите только AS сети, а не старые протоколы HTTP 1.* то в большинстве случае Known Bots - лишнее, т.к вы не затроните ас сети гугла, яндекса, microsoft. Там в логах клауд пишет чья сеть.
В условиях СНГ(ПФ ботов), вообще лучше делать белый лист исключения по сетям, урлам и юзер агентам.

Да, я там уже подредактировал немного и в том числе поставил для прямых заходов, только не skip, а челлендж, и сразу процесс оживился. С утра отказов было 32%, сейчас 29% и продолжает постепенно уменьшаться как и процент прямых заходов. 

alaev #:

Я перед хорошими ботами ставлю не очень хороших ботов, чтобы сразу их в бан.

А после хороших то, что тоже нафиг не должно проходить.

А в самый низ то, где уже с большой долей вероятности могут быть люди.

А как настроить не хороших ботов? Что то мне в мануалах не попадалось такое. 

garry69 #:

А в логах сервера вашего, что там с прямыми и тд, смотрели?

Смотрел, но я в этом не разбираюсь. Как понять где там что? Там просто длинный список ай пи адресов без подробностей.

sagamorr #:
IPV6 лучше отключить через API, я на этом форуме несколько раз скидывал ссылку на понятную инструкцию.

А можно и мне скинуть?

garry69 #:
Так проверьте сами, с пустого браузера,  с реферрером каким нить, под "странным" апи сервиса или впн свои правила, работает оно или нет.

Проверял. Заходил с прокси и через приватную вкладку - идет защитная проверка 2-3 секунды, потом меня пропускало.

Апдейт. Кажется пошел первый результат. Чуть чтуь снизился процент отказов. 

alaev #:

Так не факт, что ns успели обновиться.

И почему блокировка ушла в самый низ, а не второй и третьей строкой?

Везде пишут что вверху ставить хорошие боты и http, а все краулы в самый низ.

Сейчас я вот так поставил.


Кто скажет, через какое время уже заметен результат отсечения ботов через клауд? А то я уже два часа как все поставил, создал 5 правил по мануалу, вроде все правильно настроил, а количество прямых заходов и отказов не сокращается.


garry69 #:
Yandex SmartCaptcha

Чет я зашел туда и вообще не понятно с чего начинают, как настраивать и тд. Есть гайд? И это платное или бесплатное?

Всего: 3785