dimacheg : ребята, кому не лень, сделали ии текст детекторhttps://orhuman.ru чисто под русский текст,прогоните через него свои тексты (любые). Очень интересно узнать, где алгоритм попадет в точку, а где ошибется (выдаст ложное срабатывание). Буду рад любой критике! Получится ли у кого-то обмануть систему. мы там заморочились методологией, интересно проверить)))
значит вот такое решение для тех сайтов, которые юзают cloudflare cdn и не хотят, чтобы их дёргала всякая школота через прокси из сети клауда я придумал:
1 - настраиваем передачу уникального заголовка в настройках cdn, который будет передавать cloudflare защищаемому сайту
2 - если пришли из сети cloudflare и нет этого уникального заголовка, показываем 403
не благодарите
называется из пушки по воробьям) достаточно в роботс.тхт прописать запрет для CF и он не будет ходить но ты переоцениваешь угрозу (которой нет), на фоне тысяч нонейм ботов)
а есть какой-то мессенджер (не МАХ), куда можно загружать большие файлы по 4ГБ и они бы там хранились хотя бы месяц? в МАХ грузится, но хотелось бы бесплатный резерв под бекапы)
Ваш квартальный отчёт Подготовили для вас отчёт по вашим топовым площадкам за четвёртый квартал 2025 года. Анализируйте эффективность монетизации, сравнивайте свои результаты с похожими площадками и находите новые возможности для роста через наши персональные рекомендации.
пора блокировать CF у себя) Cloudflare выпустила в открытую бету эндпоинт /crawl для сервиса Browser Rendering, позволяющий сканировать целые веб-сайты одним API-вызовом. Инструмент автоматически обходит страницы, поддерживает форматы HTML, Markdown и JSON, а также соблюдает robots.txt и карты сайта. Подробнее читайте в Cloudflare Developers. https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/
ребята, кому не лень, сделали ии текст детектор https://orhuman.ru чисто под русский текст, прогоните через него свои тексты (любые).
Очень интересно узнать, где алгоритм попадет в точку, а где ошибется (выдаст ложное срабатывание). Буду рад любой критике! Получится ли у кого-то обмануть систему. мы там заморочились методологией, интересно проверить)))
как меня роботс остановит если я пойду скрапить через апишку CF? 🤣
значит вот такое решение для тех сайтов, которые юзают cloudflare cdn и не хотят, чтобы их дёргала всякая школота через прокси из сети клауда я придумал:
1 - настраиваем передачу уникального заголовка в настройках cdn, который будет передавать cloudflare защищаемому сайту
(rules - > overview -> createrule->request header transform rule->all incoming requests->set static header)
2 - если пришли из сети cloudflare и нет этого уникального заголовка, показываем 403
не благодарите
достаточно в роботс.тхт прописать запрет для CF и он не будет ходить
но ты переоцениваешь угрозу (которой нет), на фоне тысяч нонейм ботов)
в МАХ грузится, но хотелось бы бесплатный резерв под бекапы)
Выкладываем свои результаты.
Окау
Спасибо большое! Добавил CloudflareBrowserRenderingCrawler в блок
ну он там пишет "rendered in a headless browser". т.е. в логах увидим HeadlessChrome или что-то другое?
неплохо, можно попробовать. Может и playwright будет не нужен. Как я понял он даже на бесплатном акке доступен?
А защита от этой приблуды такая?
Cloudflare выпустила в открытую бету эндпоинт /crawl для сервиса Browser Rendering, позволяющий сканировать целые веб-сайты одним API-вызовом. Инструмент автоматически обходит страницы, поддерживает форматы HTML, Markdown и JSON, а также соблюдает robots.txt и карты сайта. Подробнее читайте в Cloudflare Developers.
https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/