WebMaster. Что делать с ошибками HTTP, которые не может найти сканер?

C какими конкретно? С 404-ыми?

Всё верно, потому что вы проверяете фактическую навигацию на сайте, а ПС (в частности Яндекс) использует свою историю обхода по ссылкам, которые раньше были.

В идеале - да.

Обрабатывать, либо плюнуть на это дело. 

Уже отвечал выше - ПС использует те ссылки, которые находятся в его истории краулинга.

Не нужно. Последовательно закрывайте 404-е ошибки 301-ыми редиректами и всё. Если конечно речь идёт о них.

Уважаемый Антоний! Огромное спасибо за содержательный ответ! Теперь мне стало более понятно, как всё устроено :) Да, ошибки только и исключительно 404. Буду теперь от них будучи очень замотивированным избавляться :) Спасибо-спасибо за объяснение!!!

Как же бесит эта (censored). Проиндексировать новый контент/переиндексировать существующий? нет, ресурсов нет, электричество подорожало, железо подорожало. Мы лучше будем помнить урлы, начиная с 2009 года, и начнем в них долбиться каждый день, на это ресурсы есть.

Забыл про это сказать. Я пользовался кое-какими инструментами для анализа кода сайта. Также ничего не нашёл. Единственное, что удалось найти в глубине админки вордпресса, так это редакции страниц за лохматые года, т.е. архив изменений. Да, там многие из страниц, которые сейчас 404, я увидел. Но на этом всё, потому что при прохождении по порядку по всем изменениям ясно видно, как проблемные URL исключаются с сайта и полностью перестают быть доступны. 

Тут дело не в давности. Тут дело в истории сайта. Оно может быть и так, что неделю назад был другой сайт и там были ссылки на десятки тысяч линков.

Потом (несколько дней назад) сайт сменился и поиск будет долбиться по несуществующим адресам еще несколько месяцев.

Вы можете сильно не переживать за хождение Яндекса по несуществующим ссылкам. Если в текущей структуре ошибок нет - это самое главное.

Лучше направьте рабочую энергию на содержание сайта и задачи связанные с удовлетворением задач вашей аудитории - вот это действительно первостепенно важно. А мелкие технические частности, связанные с устаревшими данными не такой уж и принципиально важный вопрос.

Примерно похожая ситуация. Яндекс от куда-то из своего кеша, как фокусник из шляпы, достает страницы, которых нет на сайте около 3-х лет. И пытается по ним ходить довольно массово. Сайт пациента на Modx, поэтому какая CMS - вторично.

Помогло методичное отправление вручную на переобход давно не существующих страниц. При чем интересно, что на вопрос в техподдержку, Платоны ответили, что надо не отправлять их инструментом на удаление из индекса, а именно направлять просто на переобход. Платоны написали, что если отправить на удаление из индекса, робот страницу выкинет, но не "забудет", и в кеше она еще будет болтаться. 

Яндекс вроде как уже год так делает. Сканирует сайт исходя из своей какой то базы, которая вероятнее всего не обновляется (примерно год). Вернее в нее все добавляется, но 404 и 301 он успешно сначала закидывает в индекс с "последним посещением от февраля-марта 22 года" и потом их же выкидывает как недостаточно качественные. А страницы уже год отдают 301.

Так же при склейки доменов, уже год держит в "загруженных" 10т+ страниц.

Поддержка не поддержка по этим вопросам. Скорее всего ялм2 отвечает