Cloudflare и боты

12 3
E
На сайте с 13.06.2024
Offline
8
2870
Есть сайт, на WP у когорого есть 40к записей (Стоит, мемкешед и Redis м WP-Super Cache), как только начинают его парсить, например SeoFrogом, сайт начинает адски тупить.
В ClaudFlare есть фича "Under Attack", но тогда Гугл перестает видеть сайт. Как можно настроить CF что-бы он пропускал нужных ботов? Можно подробно, желателько со скрином :)

Mik Foxi
На сайте с 02.03.2011
Offline
1200
#1
Evosonic :
как только начинают его парсить, например SeoFrogом, сайт начинает адски тупить.

если это ваш сайт, то зачем вы его парсите таким варварским способом?

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
LEOnidUKG
На сайте с 25.11.2006
Offline
1768
#2
Увеличиваем мощности сервера + увеличиваем время кэша SuperCache, если 40К статичных страниц, то пусть вечно весят в кэше.
✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
E
На сайте с 13.06.2024
Offline
8
#3
Урлы собираю :)
E
На сайте с 13.06.2024
Offline
8
#4
LEOnidUKG #:
Увеличиваем мощности сервера + увеличиваем время кэша SuperCache, если 40К статичных страниц, то пусть вечно весят в кэше.
сервак: 4 ядра и 10 гиг рама
LEOnidUKG
На сайте с 25.11.2006
Offline
1768
#5
Evosonic #:
сервак: 4 ядра и 10 гиг рама

и даже MySQL настроена, чтобы все эти 10 ГБ использовать?

LEOnidUKG
На сайте с 25.11.2006
Offline
1768
#6
Evosonic #:
Урлы собираю :)

А не легче карту сайта сгенерировать?

E
На сайте с 13.06.2024
Offline
8
#7
LEOnidUKG #:

и даже MySQL настроена, чтобы все эти 10 ГБ использовать?

Вот этого не знаю, Zomro настраивали Хеситию :)
E
На сайте с 13.06.2024
Offline
8
#8
LEOnidUKG #:

А не легче карту сайта сгенерировать?

Да мне в ботоферму нужно урлы засунуть :)
Антоний Казанский
На сайте с 12.04.2007
Online
772
#9
Evosonic :
Есть сайт, на WP у когорого есть 40к записей (Стоит, мемкешед и Redis м WP-Super Cache), как только начинают его парсить, например SeoFrogом, сайт начинает адски тупить.

Настройке в лягушке последовательно обход с задержкой. 

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
LEOnidUKG
На сайте с 25.11.2006
Offline
1768
#10
Evosonic #:
Вот этого не знаю, Zomro настраивали Хеситию :)

Ну т.е. ничего не делали :)

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий