Яндекс колбасит

Научитесь вводить запрос без ошибок, а потом возмущайтесь.

Меня учить не надо. Все в яндексе понимали запрос много лет, федот это другое название которое сменили. Я вам показал только один пример. Я говорю о том что нет больше понимания в яндексе. У них база просто отвалилась. Скорее всего базу забрали коллеги зарубежные, та что копилась годами на поведенческих факторах. И сотрудников яндекса тут не нужно из-себя строить типа "вводите правильно запрос".

Вот вообще не факт. У меня робот гугла как-то истерично бился в одну и туже страницу, хотя она давным давно отдавала 404 со всеми правильными заголовками. Настраивать правильно, конечно, смысл есть и нужно, но то, что боты поисковиков будут вести себя адекватно - вообще не факт. Одно то, что нельзя нормально настроить скорость обхода сайта ботами поисковиков - уже показательно. У Яндекса же, вроде, можно понизить скорость, но "если вы понизите, то не факт, что потом повысите и вообще лучше не трогайте, мы работаем оптимально".

Рано переживаете, сегодня просто очередные качели. У меня пошел вверх, в обратную трафик. Причем, это может продолжаться как сутки, неделю, так и пару часов. В прошлые несколько раз это было всего по часу-два, потом снова откат. Ждите очередной ап в вашу пользу.

Я вам ещё раз повторю, раз вы не понимаете: введите в Яндексе запрос без ошибок.

https://last-modified.com/ - читаем по ссылке подробнее.
Настраиваем ответы сервера. Только опять же НЕ как вам плагины настроят, вручную настраиваете.
last-modified - дата создания или модификации, а не дата создания кэш.

При этом скорость обхода не надо настраивать - она максимальная у всех ПС

PS / нет никаких проблем у Гугл, индексирует и удаляет 404 примерно от минуты до суток,
Т.е все боты ведут себя адекватно много лет, и не грузят сайт до положения лежа на минимальном сервере.

Вы в целом понимаете, что вам пишут или у вас ответы ИИ генерирует, который все чаще похож на ответы от саппорта: шаблонные ответы без вникания в суть вопроса?

Еще раз напишу - все заголовки настроены, на страницу вообще отдавалась 404, что не мешало боту гугла несколько часов без перерыва долбиться в эту страницу, получая чистый 404 ответ. То, что вы настроили у себя все верно - это не гарантия того, что поисковые боты будут вести себя адекватно.

Про "максимальная скорость у всех" - спасибо, КЭП. Я о том и пишу, что если вы из-за слабого хостинга решите эту максимальную как-то понизить - рискуете поиметь больше проблем, чем пользы и что нет нормальных адекватных настроек для управления скоростью обхода сайта.

Яндекс адаптируется под новояз.

Ок, не понятен ответ про спасибо))
Оно вам зачем понижать скорость обхода, если все заголовки сервера настроены верно?
На практике - несколько слабых VPS, скорость обхода  максимальная и нет причин понижать эту скорость.