Пути решения проблем с переиндексацией при смене движка / структуры сайта

Хотелось бы рассказать новичкам о моем эксперименте связанным с переиндексацией сайта, поскольку довольно часто звучат подобные вопросы, но зачастую они получают либо общие ответы, либо кучу постов с фразой "у меня такая же проблема как быть...".

Суть эксперимента, на сайте с движком shop-script free (адаптированным под свои нужды) после полугодового пребывания в индексе Яндекса, Гугла, Рамблера, МСН и Яху. Все ссылки вида:

/index.php?categoryID=80

/index.php?productID=291

Изменены на осмысленные ЧПУ, вида:

/category-product-company-80.html

/tovar-name-company-78.html

при этом до начала эксперимента в движок был внедрен скрипт, который отслеживал обращения поисковиков к страницам.

При старте эксперимента единомоментно, по всему сайту изменилась структура ссылок на новую, исключив присутствие ссылок на старую структуру. (через мастерскую внешек на внутренние тоже не было обнаружено).

в результате, почти сразу же были зафиксированы обращения поисковых ботов "Slurp", известного как Hot Bot. через примерно час гугл скачал несколько новых страниц. Так довольно быстро примерно через 2 недели Гугл заменил страницы на новые убрав старые. Яндекс и Рамблер за 1 месяц не закачали ни одной новой страницы.

Поняв, что Яндекс и не собирается этого делать, я решил добавить новые странцы основных разделов через add url, после этого поисковый бот с завидной периодичностью посещал тес страницы, однако ни одна из них в течении еще одного месяца не попала в индекс, т.е. все страницы слетали в сопли.

Было написано письмо Платону Щукину с объяснением проблемы, ответ был ожидаем:

содержание страниц по новым и старым адресам идентично, поэтому поисковый механизм намеренно не включает новые страницы в индекс.

пути решения, названные Яндексом:

1. Выдавать 404 ошибку по запросе к старой странице

2. Запретить в robots.txt старые страницы (что удобно сделать по маске, ибо использовался движок)

3. Ну и вариант от меня - использование серверного редиректа, на случай если кто-то добавил страницу с товаром в букмарки, дабы не заставлять пользователя искать товар по новой, ну и перелить pr на новые страницы.

Весь экперимент продлился два месяца, по результату которого можно железно утверждать, что Яндексу и Рамблеру пофигу на изменение структуры ссылок, при наличии дублей контента по старым адресам. Гугл и боты slurp же четко бегают по ссылочной структуре сайта и не забывают о самой "карте сайта".

Совет: если не хотите вечно ожидать переиндексации, используйте один из трех предложенных выше способов (доступны даже для новичков), хотя есть конечно и четвертый, но мне не хотелось бы его называть публично, ибо я не приверженец мусорных страниц в выдаче. Думаю кому это надо тот и так догадался.