Не должно быть без причин таких аномалий, надо разбираться в чём дело.
Наверняка что-то упустили.
Дайте доступы, посмотрю.
Что-то случайно угадаете, что-то нет. Но совершенно точно не сможете описать так, чтобы каждого слово в точности соответствовало.
Всё это приблизительно и размыто. Тем же самым занимается физиогномика.
Это не отменяет вышенаписанное. Здесь важно понять, что любые рабочие процессы запрограммированы и все они имеют причинно-следственные связи.
Просто так Яндекс не будет тратить ресурсы на обход бесполезных URL-ов, если робот ходит, значит есть стартовые импульсы туда идти и этот импульс не возникает на пустом месте. Значит есть источники, которые ссылаются на давно удалённые вами страницы.
Скорее всего это генерируется в результате не удалённых данных, либо других ошибок в навигации, которые генерируются в коде, а в видимой части сайты вы их не видите.
Еще раз. Значит есть источники сигналов, которые провоцируют поисковых роботов.
Сканируйте сайт, изучайте код, наверняка где-то в слепой для вас зоне движок продолжает генерировать ненужные URL.
Полтора года слишком большой срок, чтобы хранить в очереди короткий рабочий эпизод.
Уверен, есть ссылки, которые провоцируют эти переходы, просто так робот ходить не будет, ищите.
Мой предыдущий ответ был не в адрес ТС, а для Andrew666.
Значит есть источники сигналов, которые провоцируют поисковых роботов.
Сама по себе ПС по левым адресам их не генерирует, должны быть причины. А причин масса - внешние ссылки, внутренние ссылки (особенно что касается адресации, которые генерируют шаблоны, компоненты и т.д.).
Верно. Рабочая очередь - это уже то, что принято к исполнению.
p.s. Многократно сталкивался.
Вот конкретно сейчас рабочая ситуация - написал ТЗ-шку программисту поправить сломавшийся sitemap.xml (по этого всё нормально работало), а программист никому ничего не говоря вообще решил обновить шаблон Аспро Битрикса и затянул туда кучу рекламных данных. Я смотрю у меня на дня в индекс пачками полетели левые разделы, которые после обновления насоздавались в каких-то абсолютно левых разделах. Cмотрю в новый sitemap.xml - а там весь этот мусор тоже подключен.
Всё закрыл, всё удалил, всё поправили, нигде левых данных нет, а Яндекс всё равно ходит по левым адресам. Бестолково и бессмысленно ходит, получая 410, а всё равно ходит, потому что очередь на переобход уже создана.
И обновление рабочих данных пока не помогает. Впрочем, нестрашно, походит и успокоится.
Настройка Last-Modified и Last-Modified Since не помогут, когда очередь на индексацию уже сформирована.
Last-Modified и прочие <lastmod>-ы - это настройки следующего порядка.
Есть существенная разница между обработкой рабочей очереди и учётом новых правил в работе поискового робота.
Здесь согласен, об этом выше сказал.
Ничто не мешает проверить. Сначала через содержание кэша, потом через запросы путём использования прямых цитат с содержанием табличных данных.
Как форма - нет, как содержание - да, если там есть целевая информация.
Если есть возможность - лучше рендерить, если нет - лучше эту возможность организовать :)
Табличные данные - это и есть текст на странице.
Попробуйте изменить скорость обхода поискового робота,
В остальном, если ПС очередь на обход уже сформировала, то она будет его обрабатывать, пока не исчерпает полностью.
Повлиять на неё можно только приоритетным переобходом других страниц, но это ничего не даст, пока заданная не исчерпает свою полноту. Как-то точечно повлиять на неё невозможно. Проверить её также нет возможности.
p.s. Попробуйте пересоздать и перезагрузить свою рабочую sitemap.xml карту.
Не могу сказать, даст ли это какой-то позитивный эффект в том, чтобы робот перестал ходить по старым адресам, но я бы на вашем месте всё равно попробовал.
