чтоб не забанить легитимных гуглботов - проверять цепочку ip -> ptr -> ip для PTR .googlebot.com и .google.com и содержащих юзерагент связанный с гуглом.
у меня нету, мне надобности нету блочить, главное не разрешать это думая что легитимный гуглбот.
а вот такое "гугловское" точно не пропускать, это из Google Cloud Platform (облачные VDS), которые к гуглу не имеют отношение. Но часто имеют юзерагент гугловских ботов.
Все понятно, у тебя чуть другая ситуация, PTR: v4.fetch.tunnel.googlezip.net решение которое поможет скорее всего тут: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
сколько пытался, не смог повторить такой финт, в том числе с подменой "авторизованных куков"
когда паршу множество страниц одного сайта, от частых запросов с одного ипа в основном, если одна страница выдала капчу - просто запрашиваю следующую, в большинстве она уже не выдаст капчу. работает на многих сайтах на CF. с куками никакого шаманства, что выдает то принимаю, хуманом эмулятором.
попробуй в урл добавить новую гет переменную. я парсингом занимаюсь, именно так и обхожу, если капча - не заморачиваюсь даже, беру следующий урл этого же сайта, и в 2/3 будет уже без капчи, а потом и первый урл можно забирать 😀
это повод отправить к бабке повитухи или выписать всяких шипучек для иммунитета? 😀 я про то что норм врачи не должны "назначать" фуфломицины. в черногории например платная и бесплатная лохотронская медицина. когда тебе врач в рецепте за твой счет выписывает чето на непонятном километр, ты это покупаешь за дофига денег, а там сосульки всякие никаким боком не относящиеся к медицине. а в грузии наоборот понравилось, что не может выписать всякую ересь, потому что то что положено для доказанного лечения, то идет со скидкой (за счет страховой), а фуфломицины можешь только за свой счет если хочешь.
