Редирект 301 с несуществовавших урлов

палками нужно было ... молодых)

раньше вовсе можно было потерять возраст индексации страницы и не вернутся конкурировать

Это не капут. Обычная история для любого интернет-магазина. Карточка зашла в индекс - карточка ушла из индекса.

фига се обычная история) если карточки оптимизированы и полезны, то они не будут уходить из индекса. да и даже пустые карточки висят в индексе без ухода

От товарного сегмента зависит. Траф-то всё равно категория собирает в основном. Если у меня на посадку должно выводиться 30 карточек с ключом "Дедушкины носки" и это число не меняется - на чехарду с индексацией карточек как-то уже пополам.
Другое дело, если карточки - это недвига или там автомобили какие. Вот тут да, было бы досадно.

Вот и досадно) самый жир потерян

Обычная, когда реализано ЧПУ и алиас в URL-е свободно изменяется. После рабочей генерации он должен быть зафиксирован, потому что переименование страницы соответственно даёт изменение URL-а.

немного другой контекст

Уверяю, тот же. Если это произошло с карточкой, то карточка физически по URL-у будет находиться на другом адресе, а по прежнему адресу робот будет получать 404 (если редирект не настроен), вот и получится, что тоже само содержимое карточки будет обнаружено по новому адресу (и сначала будет указано, что это дубль - и не факт, что войдет в индекс), а по старому адресу страница вылетит из индекса из-за 404-ой ошибки.

Это довольно распространённая ситуация.

Антоний, вот в том то и вопрос - каким образом я могу поступить для поиска старых неактуальных урлов? Их реально откуда то достать? Попробовал парсеры, они собирают только указанные в сайте 404, есть ли опыт в подобных инцидентах?

Я вам неслучайно ответил про старые 404 адреса, которые актуальны сейчас на сайте, и те адреса, которые учёл робот, но они могут быть уже недоступны через сайт.

То, что робот уже учёл и будет продолжать по ним ходить указывая на отсутствующие страницы - эту информацию никак нельзя достать - это информация на стороне Яндекса, к ней нет доступа.

А вот то, что вы сейчас можете достать парсерами 404 страницы - это тот актуальный перечень который вам доступен - с ним и работайте.

Но! Дело ещё и в том, что перечень 404 страниц вы можете получить парсером, но в остальном это неполная картина, потому что сигналы для старых адресов могут быть и XML карте, и у внешних ссылок, и в PDF документах, так что такая чехарда может длиться долгими месяцами. И Вебмастер может бесконечно сыпать и сыпать ошибками.

Иногда полезно вообще сбросить индексацию и начать рабочие итерации заново (но метод кардинальный и подходит далеко не всем, ввиду необходимости живого поискового трафика и т.д.)

Многократно. Потому что заказчики сначала делают большие и многотоварные сайты, потом начинают свободно что-то менять и там накапливаются такие ссылочные, структурные перекосы и по релевантности в том числе, что сайт падает и тогда заказчики начинают вспоминать про SEО-шников, которые потом всё это должны месяцами выгребать.

А  заказчики требуют срочно решить задачу до следующей недели.. на эту тему у меня уже 33 проплешины :)