Cloudflare лег?

S3
На сайте с 29.03.2012
Online
372
#1301
master32 #:
достаточно в роботс.тхт прописать запрет для CF и он не будет ходить
как меня роботс остановит если я пойду скрапить через апишку CF? 🤣
M3
На сайте с 09.02.2022
Online
118
#1302
Sly32 #:
как меня роботс остановит если я пойду скрапить через апишку CF? 🤣
конкретно /crawl для сервиса Browser Rendering учитывает роботс и будет соблюдать правила)

I4
На сайте с 06.11.2024
Offline
3
#1303
master32 #:
пора блокировать CF у себя)
Cloudflare выпустила в открытую бету эндпоинт /crawl для сервиса Browser Rendering, позволяющий сканировать целые веб-сайты одним API-вызовом. Инструмент автоматически обходит страницы, поддерживает форматы HTML, Markdown и JSON, а также соблюдает robots.txt и карты сайта. Подробнее читайте в Cloudflare Developers. 
https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/
И чего тут титьки мять?  HeadlessChrome в блок и вся недолга.  Давно уже боты под ним бегают весьма агрессивно. 
WS
На сайте с 01.11.2008
Offline
163
#1304
master32 #:
называется из пушки по воробьям)

когда воробьёв много, то они уже представляют угрозу

к тому же проверка лёгкая, не нагружает сервер

в cloudflare например указываем передачу заголовка

XWEBSTORM: LKAHS23KHKH4

в nginx простая, но эффективная проверка


if ($http_xwebstorm != "LKAHS23KHKH4") {
    return  403;
}

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий