master32

Рейтинг
121
Регистрация
09.02.2022
TonyBlackberry #:
ну он там пишет "rendered in a headless browser". т.е. в логах увидим HeadlessChrome или что-то другое?
172.69.22.72    [-][US][-][US][San Jose][13335:CloudFlare Inc] - [11/Mar/2026:14:32:02 +0000] [host] 404 "637cb0c2f13616f64579488771957950|-" "GET /sitemap.xml HTTP/1.1" "-" "CloudflareBrowserRenderingCrawler/1.0"
172.71.159.74   [-][US][-][US][San Jose][13335:CloudFlare Inc] - [11/Mar/2026:14:32:01 +0000] [host] 404 "5d2e36f383e4fadd0abb95e31bec4893|-" "GET /robots.txt HTTP/1.1" "-" "CloudflareBrowserRenderingCrawler/1.0"
172.71.155.26   [-][US][-][US][San Jose][13335:CloudFlare Inc] - [11/Mar/2026:14:31:59 +0000] [host] 200 "bfff50d73c1494e81c1f6c26eb237a66|-" "HEAD / HTTP/1.1" "-" "-"

Sly32 #:
неплохо, можно попробовать. Может и playwright  будет не нужен. Как я понял он даже на бесплатном акке доступен?
да, еще не тыкал, новость в ленте прилетела)

TonyBlackberry #:
А защита от этой приблуды такая?
а защиту дает CF, на платном акке)
пора блокировать CF у себя)
Cloudflare выпустила в открытую бету эндпоинт /crawl для сервиса Browser Rendering, позволяющий сканировать целые веб-сайты одним API-вызовом. Инструмент автоматически обходит страницы, поддерживает форматы HTML, Markdown и JSON, а также соблюдает robots.txt и карты сайта. Подробнее читайте в Cloudflare Developers. 
https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/
Sly32 #:
вот конкретно Claude-4.6 сегодня с докером
возможно там не совсем Claude-4.6, а задистиллированная  или пониженная модель)
я такое наблюдаю со времен гпт-3.5, в периоде работает правильно, а затем начинает косячить)

Сергей про е-ком #:
Может, но тут со сложными промптами, учитывающие ограничения площадок и отдельно для каждой. В данном случае для некоторых вещей 5-7 этапов генерации ответа. На выходе - не просто текст, а оптимизированный и превосходящий конкурентов, получаемый за несколько кликов и отлично ранжируемый в поисковых системах (с запасом). Если по факту, даже без учёта работы над промптами, я на статью с размножением под дистрибуцию трачу порядка 25 - 50 минут. В данном случае - нисколько, получаю готовый Гугл Докс, 1 документ - множество текстов во вкладках с разбивкой по площадке. 

Ну и по ядру в 10к сырых запросов тебе агент тоже не сделает контент план. ) 
а есть примеры карточек в топе выехавших чисто на контенте?
chaturanga #:
чем перепроверять условную 1000 строк сгенерированного агентом
больше года перестал ревьювить сгенеренный код лично, для этого есть агенты, только успевай платить за токены)
главное правильно поставить конечную цель разработки
chaturanga #:
если мы хотим всё-же иметь возможность делать limit_req, нам придётся пожертвовать дешевизной
и в этом случае при успешном прохождении лимитов и возврата 200 это будет самым дорогим запросом, чем просто return 200
лично много делал фич через lua, и ИИ реально понимает вещи, в которых по книжкам и докам я бы разбирался неделями или месяцами
Sly32 #:
Да, не без ошибок, но кто их не делал? 
мне нравится, что можно запустить несколько независимых агентов, под разными браузерами/устройствами, которые будут ходить и тестировать UI/UX сайта, будут присылать репорты третьему агенту, а он будет структурировать репорты и баги и пересылать в виде ТЗ агенту разработчику, то есть современная разработка это штат агентов, которых ты настраиваешь и управляешь)

chaturanga #:
разумеется разная - 200-й ответ мы можем отдать ещё в REWRITE_PHASE, а для отдачи 503 нам придётся подняться аж до PRECONTENT_PHASE, чтобы вызвать директиву error_page 404 = @named_loc, опуститься обратно ,запустить счётчик limit_req и пока он не достигнет превышения мы будем отдавать 200-ю и гонять его по этому циклу и только потом отдадим 503-и код ответа.
имеется в виду, что в данном примере не имеет смысла отдавать 503, потому что return самая быстрая операция, из рам в сокет, и лимитирование не имеет смысла, поэтому и отдается всегда 200
чтоб отдать именно 503 надо переделать логику, добавить проксирование или файл

Всего: 1867