Dambo

Dambo
Рейтинг
386
Регистрация
19.07.2018
Сейчас пытался проверить страницы сайта на скорость, но pagespeed.web.dev теперь показывает ошибку 403. Клауд видимо блокирует его. Как разблочить?
vashfreelancer #:

Смотрите чтобы под прямые не попали ваши подключенные сервисы к сайту, или условно с айпи сайта запрос.  Не будет лишним добавить в исключения или в самих правилах или во вкладке Tools (но там нет логирования).

А какие сервисы? У меня из сторонних только кнопки поделиться от Яндекса ну и рся .

vashfreelancer #:

У Вас не совсем верный алгоритм правил. Вы в 1 правиле разрешаете "хороших ботов" по мнению клауда (оттуда идут разные зарубежные хостинги например ASN24940 Hetzner). Могу предположить что прямые заходы попадают в первое правило и разрешаются. Ростелеком тот же с ботами.
Все это исключается Вашим первым правилом и боты уже на другие правила проверки не попадают. Вам нужно первым правилом делать блокировку спамных сетей допустим, а потом уже разрешать хороших ботов, или же лучше разрешать ASN сети и User Agent`ы нужных сервисов точечно. Если условно сео сервисы размещены на спамных сетях, то должно быть самое первое правило, которое добавляет исключение (не всей сети а допустим по User Agent).

4 и 5 правило можно объединить через OR если конечно там нет лимита символов.
И пятым правилом, просто сделать логирование всех прямых заходов:  (http.referer eq "")

На основе этого правила и других, можно смотреть графики (логи) кого пропустили и на какую страницу обращались. Надеюсь логика понятна.
И условно - если вы блочите только AS сети, а не старые протоколы HTTP 1.* то в большинстве случае Known Bots - лишнее, т.к вы не затроните ас сети гугла, яндекса, microsoft. Там в логах клауд пишет чья сеть.
В условиях СНГ(ПФ ботов), вообще лучше делать белый лист исключения по сетям, урлам и юзер агентам.

Да, я там уже подредактировал немного и в том числе поставил для прямых заходов, только не skip, а челлендж, и сразу процесс оживился. С утра отказов было 32%, сейчас 29% и продолжает постепенно уменьшаться как и процент прямых заходов. 

alaev #:

Я перед хорошими ботами ставлю не очень хороших ботов, чтобы сразу их в бан.

А после хороших то, что тоже нафиг не должно проходить.

А в самый низ то, где уже с большой долей вероятности могут быть люди.

А как настроить не хороших ботов? Что то мне в мануалах не попадалось такое. 

garry69 #:

А в логах сервера вашего, что там с прямыми и тд, смотрели?

Смотрел, но я в этом не разбираюсь. Как понять где там что? Там просто длинный список ай пи адресов без подробностей.

sagamorr #:
IPV6 лучше отключить через API, я на этом форуме несколько раз скидывал ссылку на понятную инструкцию.

А можно и мне скинуть?

garry69 #:
Так проверьте сами, с пустого браузера,  с реферрером каким нить, под "странным" апи сервиса или впн свои правила, работает оно или нет.

Проверял. Заходил с прокси и через приватную вкладку - идет защитная проверка 2-3 секунды, потом меня пропускало.

Апдейт. Кажется пошел первый результат. Чуть чтуь снизился процент отказов. 

alaev #:

Так не факт, что ns успели обновиться.

И почему блокировка ушла в самый низ, а не второй и третьей строкой?

Везде пишут что вверху ставить хорошие боты и http, а все краулы в самый низ.

Сейчас я вот так поставил.


Кто скажет, через какое время уже заметен результат отсечения ботов через клауд? А то я уже два часа как все поставил, создал 5 правил по мануалу, вроде все правильно настроил, а количество прямых заходов и отказов не сокращается.


garry69 #:
Yandex SmartCaptcha

Чет я зашел туда и вообще не понятно с чего начинают, как настраивать и тд. Есть гайд? И это платное или бесплатное?

htexture #:

Мало поставить, его еще надо настроить, чтобы отсекать ботов частично

Да, вот сейчас пытаюсь настраивать, сначала битерику отключу.

Всего: 3804