Удаление устаревших страниц

я вообще не удаляю старые странци

Уважаемый alut, правильно ли я понимаю что:

на старые старницы Вы поставили 404, затем удалили эти страницы через форму, а в роботс поставили запрет на индексацию старых страниц?

И не надо, если сайт не большой по объему страниц. Но если индексированных уже зашкаливает за 100К, то Яндекс новые страницы глотает не так резво, тогда и возникает вопрос об "эффективной чистке старого хлама" из индекса.

Если удаляли через форму, то какой смысл ставить запрет? 404 выдает, значит индексировать нечего :) Кстати, я так и не понял, насколько быстро удалятся уже проиндексированные страницы из индекса, если их запретить в роботсе, и удалятся ли вообще. Саппорт Я об этом умалчивает, как и о максимально допустимом размере robots.txt 😒

Kokh, 14 дней назад запретил индексацию отдельных урлов

Через форму удалил их

Они так и есть в выдачи

Однако обещают в течении нескольких дней, если через форму.

у некоторых месяцами не удаляются запрещенные или отсутствующие.

Чаще всего не удаляются так как робот не ходит (очевидно) у меня то он ползает нормально

Теперь есть информация из первоисточника. Кому интересно: максимально допустимый размер robots.txt 32 килобайта.

Kokh в том-то и дело, что после того как некий раздел сайта переехал на поддомен, а на старые была поставлена 404, старые так и сидят в индексе Яндекса уже около года. Правда, через форму они не были удалены. Но мне казалось что 404 будет достаточно для того чтобы Яндекс их самостоятельно выкинул.

Видимо, все-таки необходимо еще и через форму удалить.

Нет?

Мне тоже так казалось. Прошло уже достаточно времени, чтобы яндекс повторно прошелся по этим страницам и увидел 404, причем ничего не надо переиндексировать, просто получить код ответа сервера и удалить страницу из базы. Видимо этот механизм у них еще не достаточно отработан. Значит надо помогать, запрещать в роботсе, удалять через форму... Только пишут, что и это не действует.