Как отвадить робота от переобхода мусорных страниц

Аналогичная беда (правда причина не взлом, а мой косяк с вложенностью урлов, который просуществовал не более 5 минут), яндекс ходит по ним ГОД!!!

Ходит и стандартный бот и фетчер тысячами в день, хотя урлов чуть больше 200. 404 не помогают 410 не помогают.

Есть релаьное решение их отвадить от пагубной привычки?

1. собрать список всех url и выдавать по ним "легкий ответ" (если php, то вида " header("HTTP/1.1 404 Not Found"); exit(0);" )

2. добавить их в robots.txt (запрет на индексацию)

3. в yandex.webmaster: "Инструменты -> Удаление страниц из поиска"

не помогает

не помогает

Как это должно помочь страницам, которые год отдают 404? в индексе их и не было никогда

Попробуйте изменить скорость обхода поискового робота,

В остальном, если ПС очередь на обход уже сформировала, то она будет его обрабатывать, пока не исчерпает полностью.

Повлиять на неё можно только приоритетным переобходом других страниц, но это ничего не даст, пока заданная не исчерпает свою полноту. Как-то точечно повлиять на неё невозможно. Проверить её также нет возможности.

p.s. Попробуйте пересоздать и перезагрузить свою рабочую sitemap.xml карту. 

Не могу сказать, даст ли это какой-то позитивный эффект в том, чтобы робот перестал ходить по старым адресам, но я бы на вашем месте всё равно попробовал.

Уменьшите обьем страниц при обходе поискового робота — настройте last-modified
скорость обхода при этом можно оставить максимальной

...левый sitemap удалили?
Положите назад, без спам ссылок, отправьте на переобход

Все нормально удаляется, если вдруг накосячили

Все равно ходит, пробовал. Дошел даже до 410 ответа. Ничто ему не указ. С гуглом все в разы проще, он после первой 404 перестал посещать. Был бы сервак похуже, яндекс клал бы сайт

Настройка Last-Modified и Last-Modified Since не помогут, когда очередь на индексацию уже сформирована.

Last-Modified и прочие <lastmod>-ы - это настройки следующего порядка. 

Есть существенная разница между обработкой рабочей очереди и учётом новых правил в работе поискового робота.

Здесь согласен, об этом выше сказал.

Верно. Рабочая очередь - это уже то, что принято к исполнению.

p.s. Многократно сталкивался.

Вот конкретно сейчас рабочая ситуация - написал ТЗ-шку программисту поправить сломавшийся sitemap.xml (по этого всё нормально работало), а программист никому ничего не говоря вообще решил обновить шаблон Аспро Битрикса и затянул туда кучу рекламных данных. Я смотрю у меня на дня в индекс пачками полетели левые разделы, которые после обновления насоздавались в каких-то абсолютно левых разделах. Cмотрю в новый sitemap.xml - а там весь этот мусор тоже подключен.

Всё закрыл, всё удалил, всё поправили, нигде левых данных нет, а Яндекс всё равно ходит по левым адресам. Бестолково и бессмысленно ходит, получая 410, а всё равно ходит, потому что очередь на переобход уже создана. 

И обновление рабочих данных пока не помогает. Впрочем, нестрашно, походит и успокоится.