Яндекс долго обходит сайт

потому что яндекс приболел короной и уже почти год не может нормально обработать редиректы, ноиндекс, 404

Потому что у Яндекса свои приоритеты в индексации и инструкции Disallow: /адрес страницы, а также noindex, nofollow всего лишь рекомендация.

Для оптимизации индексации нужно:

а) соблюдать корректные данные в <lastmod>  в xml карте сайте

б) вручную заниматься вопросами переиндексации сайта (добавлять страницы на переобход поисковым роботом)

Именно так, потому что приоритет добавления новых страниц выше, чем переобход старых менее приоритетных.

Пока не обновятся данные, уведомление так и будет висеть.

Они могут хоть пол года быть закрыты и так до конца и не обновлены. Как я написал выше, нужно самостоятельно стимулировать этот процесс.

это не рекоменда, это правило

в случае ТС просто используется старая база - он может посмотреть дату рядом с залетевшей страницей и увидит там старую

ты же знаешь что когда тысячи страниц никто вручную делать не будет 

Это инструкция, которая определённое время может игнорироваться. Недавний эксперимент - полный спрос индексации Disallow: / - три недели сайт видел в индексе, более того, прибавлял в индексе те страницы, которые были дополнительно указаны noindex, nofollow.

И только после принудительного переобхода страницы начали исключаться из индекса.

Я - делаю, и многие мои коллеги делают. Определяют порядок приоритетности и делают.

Кол-во - это не причина не делать. Кол-во - это условиe для определения порядка обработки.

она не может игнорироватся при посещении роботом. А вот при закрытии для сканирования - то робот просто может не доходить туда ))

Я тоже так считал, но вот недавний пример.

В 20-х числах сайту полностью была запрещена индексация на уровне robots и в мета постранично, а межу тем 31-го числа,

и я этому тоже очень сильно удивился. Поэтому теория - теорией, а практика вносит свои нюансы и коррективы.

Здесь - да.

В мае и июне Яндекс часто откатывал базу.  Был замечен вылет уже закрепившихся страниц и возвращение в ТОП уже удаленных и забытых.

там есть колонка третья - "последнее посещение" - вот ее смотри не индексация а сканировка , стандартная ошибка сео . Запрещаем сканить в роботсе  и ставим мета ноиндекс который не видят пс)))) и удивляемся а чего же оно не работает ))) если ставишь но индекс - то открывай в роботсе, я удивлен что ты этого не знал, это основы

Валишь всё в одну кучу и индексирование, и следование по ссылкам, речь не об этом.

Еще раз - сайт был полностью запрещен, о чём Вебмастер вывел соответствующее уведомление. Это был сброс индексации глобальный. Но при этом некоторое время в индекс ещё залетали страницы. Почему залетали? Потому что инструкция Вебмастера - это одно, а порядок обработки накопленных данных Яндексом - другое.

Там могут быть данные полугодовой давности и поэтому сколько на них не смотри, свежее от этого они не станут. Однако замечание верное, потому что первичен и более приоритетен сигнал который есть у поисковика, поэтому на текущий Disallow или noindex, nofollow ему пофиг, до момента принудительного переобхода. 

И дело тут в порядке следований инструкций, поэтому у TC и тянется всё это месяцами, а указанные noindex по факту является не более, чем рекомендацией в общей череде обработки данных.

Итого: принудительный переобход смещает фокус поисковика для обработки данных, именно поэтому данную процедуру нужно выполнять вручную, потому как ноуиндексы - это не более, чем доп. атрибут страницы, потому как фактическое состояние - это одно, а обработка старых данных, которая исполняется после ноуиндекса - другое. 

Тебе Вован прально всё выше распедалил, а ты как уж на сковороде опять начинаешь свой факап замыливать тысячей бесполезных слов.