Понимает ли робот Яндекса HTTP 429 Too many requests?

регулировка поможет... просто она работает не мгновенно..

могут пройти сутки, двое.. прежде чем ваша регулировка частоты доступа робота Янда к сайту не будет учтена..

такое было и в Гугле.. когда он позволял регулировать частоту доступа к сайту своему роботу.... через 1-2 суток применялось правило...

последнее время пока все ОК и с одной и с другой ПС

Было, аж дым с серверов шёл. Года 3 назад, забанил его вообще в .htaccess
Через день разбанил, всё ок. Через месяц опять начал, я ему опять по шапке. Больше не заваливал запросами и вел себя культурно.

Самый просто вариант, отлавливаешь  user agent, а робот яндекса представляется. Дальше лимит на доступ в минуту или что актуально и бан (любой вариант ответа) на минут 10 или больше. Скриптов такого рода навалом в сети, не конкретно под яндес но на бан на время. Подключать скрипт в .htaccess через auto_prepend_file.

и яндекс и гугл бот скорее отстают при 503, когда им контролируемо начинаешь показывать чтоб успокоились.

Наверное, через CF такое тоже можно настроить, тогда не нужно будет всякие скрипты лепить, нагружая собственный сервер.

клаудфлар не знает сколько сейчас способен вытянуть ваш сервер. а на всякий случай блочить нерационально.

на клаудфларе блочить всех ненужных ботов на постоянку. чтоб на сайте уже были только люди, гугл и яндекс боты.

а дальше 1 строка кода: если гугл/яндекс бот и LA выше чем предельная нагрузка при которой ваш сайт еще норм работает - тогда и отдавать 503 гугл/яндекс ботам. И людям не мешает и для seo в целом не критично.

старинная проверенная схема применяемая во многих дорвеях, работает как часы 😀

Сервер нормальный приоритете и не будете замечать таких проблем

Это слишком просто ))) потратить лишние пару баксов на норм сервер.

Это работает, если траффик маленький, на больших и нагруженных проектах такое не прокатит и будет выливаться в кругленькую сумму, так как помимо оплаты дополнительных ресурсов нужно будет придумывать систему распределения нагрузки по серверам и т.п. Зачем?

Всем спасибо! Настройка бегунка скорости индексирования была выставлена годы назад и всё было хорошо, но вот под новый год что-то поменялось и нагрузка выросла в 400 раз. На такие шуточки ни один нормальный рабочий сервер не рассчитан. Быстренько встроили прокладку, которая отдает то, что мы считаем нужным (актуальную матрицу товаров) и отстреливает запросы куда не следует (запрет в robots.txt яндексботу не указ, да и не все им удобно описывать). Так нагрузка снизилась до 10-20x и это железка тянет нормально.