Beget и редирект

Вы можете проверить это через консоль вебмастера у поисковика. В результате будет response body

Как может не ставится кука в браузере в 2020 году у современного браузера?

emmyjo, ставить или не ставить куки это ставится в браузере тычка.

cloud-shield,

Это да, отдает контент, так как боты не так глупы и вероятно у бегета ведется IP статистика и белые списки.

Но все же. Если поисковая система введет новый пул адресов и кто гарантирует, что весь трафик доходит до цели. Ну и данный код не использует для записи кук SameSite что уже поддерживают новые браузеры.

Похоже тема старая и хорошо гуглится, вот тут 6 лет назад обсуждалось https://ru.stackoverflow.com/questions/270471/%D0%9F%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D0%B0-%D1%81-%D0%B7%D0%B0%D0%B3%D0%BE%D0%BB%D0%BE%D0%B2%D0%BA%D0%B0%D0%BC%D0%B8

AlexStep, похоже старая тема, но как видно 6 лет висит и насколько она эффективна против роботов ддос и прочее, это большие сомнения. Но все же остается. Хорошо. Только вот циклический редирект вызвало у человека, я не знаю каким образом, пусть сам разбирается с бегетом и этим отключением.

Нас с вами доподлинно не известно, каким образом у Бегета организована проверка на поискового бота. Могу предположить, что по useragent + ASN - в таком случае, добавление нового пула IP, со стороны ПС, не вызывает никаких проблем.

p.s. фильтровать ПС по спискам IP в 2020 - моветон.

Не вижу ничего зазорного в этом. Проверка на бота не является критичной функцией и даже успешная CSRF атака не даст каких-либо ощутимых преимуществ. Кстати, в новых браузерах кука ставится автоматом SameSite=Lax

redirect loop там, с большой вероятностью, из-за отключенных/блокируемых кук.

cloud-shield, не ставится, автоматически применяется SameSite=None пока что. Позже, вероятно будут ставить. Подобная защита считаю недопустима. Ну вешайте вы пиксель на страницу, если бот грузит пиксель с CSRF, значит "якобы это не бот и можно пропускать его предположим на 10 запросов". Если же не грузит и ходит, то по этому IP выдавать что-то вроде Im not a robot. Но не редирект же вешать на страницу.

Боты в 2020 эмулируют браузер и уже давно успешно. Скажу так, 80% ботов точно с эмуляцией, замеряли. Остальные древние чекеры на сокетах в % соотношении не особо и беспокоят.

Костыль бегета. Всё

скорее всего обычный testcookie, но без фильтрации по IP

evgeniymx, да, стоит куку удалить как он снова релод делает и вешает куку.

Чушь какая то, во-первых, не на одном сайте на бегете у меня нет лишних скриптов, а во вторых когда это поисковики и боты начали загружать внешние скрипты и исполнять их чтобы поймать цикличный редирект? там же не 301 код отдается