яндекс долго хранит удаленные страниы, постоянные 404 в логах сервера по запросам бота

годами может, не парься

Disallow поможет, чтобы этого не происходило?

Например такое бывает когда есть ссылки на страницы - решается редиректом

Недавно нужно было закрыть сайт для Яндекса оставив одну (внутреннюю) страницу. Обычная визитка на десяток страниц, но раньше на домене было много страниц, которые за полгода так и не выпали из индекса отдавая 404-ю. Закрыл всё это дело в robots оставив одну страничку, не прошло и недели, вылетели сразу все - и доступные и нет.

Так что пробуйте через robots.txt

Спасибо за опыт.

Подскажите, те что отдовали 404 у вас не выпадали как?

они были в индексе при запросе имени сайта в строке поиска (ну или названия страницы там итп)?

или просто числились в разделе:

яндекс вебмастер -> Индексирование -> Страницы в поиске -> Все страницы ?

После тог как вы поставили robots и страницы выпали в:

яндекс вебмастер -> Индексирование -> Страницы в поиске -> Исключенные страницы

либо в разделе:

яндекс вебмастер -> Индексирование -> Страницы в поиске -> Последние изменения ?

появились адреса всех выпавших страниц ? если да - то с каким статусом?

можете посмотреть, в истории в вебмастере должно остаться.

Вообще в вебмастере где то в другом месте было написано, что страницы были запрещены

или выпали или исключены из индекса из-за robots? к примеру в разделе:

яндекс вебмастер -> Ссылки -> Внутренние ссылки -> ...где то в этом разделе.. ?

Еще раз спасибо.

P.S. также прошу поделиться опытом если у кого еще были подобные ситуации по теме.

Потому что с помощью 404 сеошники на серп не могут повлиять, так что можно не спешить реагировать.

Сделай 301 - авось какое-то время страница будет внутренний вес передавать.

Либо ничего не делай - не стоит париться насчет экономии ресурсов яшиных ботов.

url:site.ru* | url:www.site.ru*

В "Последние изменения" со статусом "Запрет в robots.txt (страница)", в Исключённых пусто.

Спасибо за опыт и за подсказки.

Также уточню - что мне как раз хочется сделать так чтобы яднекс забыл про все страницы на сайте, но судя по тому что я вижу - яндекс просто перекладывает из одного списка страницы в другой, запретил в robots - все moved в список запрещенных, убрал из robots запрет - все moved в писок удаленных (404) и скорее всего будет продолжать пробовать их посещать.

Сделал 410 - он перенесет все в список "типа забытых", и все равно будет их посещать, имхо.

Потом яндекс думаю считает рейтинги по всем имеющимся спискам.

Имхо при этом сами страницы из базы не удаляются и продолжают "играть роль" в одном из списокв. Какую и как знают только сотрдуники яндекса.

Тогда я вообще не понимаю как люди выходят из под санкций, если даже удаление всех страниц особо не на что не повлияет. Возможно при написании платонам они нажимают кнопку "подчистить совсем старое и не актуальное г*", не удивлюсь если при этом они выбирают интервал за который это сделать, и тогда санкционные сайты оживают.

На текущий момент наиболее перспективным я вижу продолжать отдовать код 404. Так как список по этому коду, скорее всего самый быстро забываемый, так как это более распространенный код и данных в этом списке больше всего - и они чаще очищаются.

Мнения? Идеи?