Вот не надо так делать. Удаляете страницу - URL должен отдавать 410 (удалено окончательно) или хотя бы 404 (не найдено). В этом случае ПС просто выкинет эти урлы из индекса. Запретив их сканирование в robots.txt, вы не даёте роботу понять, что страниц уже нет. Они так и будут висеть в индексе.
Спасибо за совет, про это не знали.
Если у вас есть новые страницы, соответствующие старым неактуальным - надо настраивать редирект (301, никаких 302). И не надо редиректить на какие-то левые страницы (типа главной, как любят делать многие вебмастера), это путь к проблемам в сканировании и индексации.
А если для старых страниц аналога нет, то настройкой редиректа заниматься не стоит? Мы опасаемся, что когда поисковик будет заходить на старые страницы и получать отказы, то он сайт будет понижать в выдаче. Это опасение обоснованно или поисковик просто удалит страницу из индекса, и ни на что больше это не повлияет?
