Cloudflare и боты

123
E
На сайте с 13.06.2024
Offline
8
#11
LEOnidUKG #:

Ну т.е. ничего не делали :)

Делали вид, по крайней мере :))))
Mik Foxi
На сайте с 02.03.2011
Offline
1184
#12
Evosonic #:
Урлы собираю :)

sitemap.xml 

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
E
На сайте с 13.06.2024
Offline
8
#13
Антоний Казанский #:

Настройке в лягушке последовательно обход с задержкой. 

Да дело даже не в лягушке, сайт будут парсить другие люди - 100%

И друг Мика Фокси так пошутил, видимо что-бы потом рефку на Антибота дать :)))))))))

Mik Foxi
На сайте с 02.03.2011
Offline
1184
#14
Evosonic #:
Да дело даже не в лягушке, сайт будут парсить другие люди - 100%

тогда читайте 150 страниц темы как настроить клаудфлар чтоб не парсили. 

LEOnidUKG
На сайте с 25.11.2006
Offline
1762
#15
Evosonic #:

Да дело даже не в лягушке, сайт будут парсить другие люди - 100%

И друг Мика Фокси так пошутил, видимо что-бы потом рефку на Антибота дать :)))))))))

А если будут люди + гугл + яндекс + бинг, что делать будем? Сервер опять будет лежать.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
E
На сайте с 13.06.2024
Offline
8
#16
LEOnidUKG #:

А если будут люди + гугл + яндекс + бинг, что делать будем? Сервер опять будет лежать.


Удалять сайт

WS
На сайте с 01.11.2008
Offline
155
#17
Evosonic #:

Удалять сайт

зачем же тогда ждать, идите на опережение
Анти ДДОС
На сайте с 14.03.2020
Offline
117
#18
Evosonic :
Как можно настроить CF что-бы он пропускал нужных ботов? Можно подробно, желателько со скрином :)

Это лучше, чем 1000 скринов.
https://searchengines.guru/ru/forum/1075193

Помощь в фильтрации ботов через CloudFlare - Яндекс - Поисковые системы - Форум об интернет-маркетинге
Помощь в фильтрации ботов через CloudFlare - Яндекс - Поисковые системы - Форум об интернет-маркетинге
  • 2024.02.14
  • searchengines.guru
Решил сделать фильтрацию через CloudFlare по гайду Ивана Зимина, который мне порекомендовали в соседней ветке. если у кого-то есть актуальный гайд или просто подскажет. как адаптировать старый гайд под новые особенности CF
Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antiddos24.ru
Антоний Казанский
На сайте с 12.04.2007
Offline
747
#19
Evosonic #:
Да дело даже не в лягушке, сайт будут парсить другие люди - 100%

Так вам какую задачу-то в итоге надо решить? Сайт самому спарсить, не дать спарсить другим или чтобы сервер нагрузку держал?

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
vashfreelancer
На сайте с 24.10.2023
Offline
38
#20
Evosonic #:
Урлы собираю :)

Ставите плагин Export All URLs с репозитория WP и собираете данные за пару минут (предварительно настроив экспорт). Я таким собирал URL с сайта где 300к записей.



Зачем Вы придумываете велосипед?) а по нагрузке все верно Вам сказали - слабый или неоптимизированный сайт.
А чтобы не грузили сайт подобные боты - читайте ветку по защите сайта Cloudflare - выше скинули.

Export All URLs
Export All URLs
  • Atlas Gondal
  • wordpress.org
This plugin will add a page called “Export All URLs” under Tools. You can navigate there and can extract data from your site. You can export Posts: The data can be filtered by post type, post status, date range, and author before extraction, and the plugin also provides the option to export using a specific post range. When we need this plugin...
Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://kwork.ru/user/vashfreelancer
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий