Скрипт копирования сатов из WebArchive

Mike05, вариантов масса. Начиная от того, что вы купили свежий дроп и не хотите, чтобы ПС узнали, что сайт поменял владельца (ну или чтобы эта смена прошла с минимумом последствий). Вытягиваете из Вебархива копию сайта и восстанавливаете, исходников-то у вас нету. И заканчивая тем, чтобы тащить оттуда контент, который вроде бы и не уникальный, но у многих мёртвых сайтов больше этого контента нигде, кроме как в Вебархиве, и нет, т.к. сайта нет давно, индекса значит тоже. То есть, контент снова уникальный. :)

А сам вебахрив разве не индексируется ПС?

А вы проверьте, раз так интересно.

Заодно и нам расскажете. Мне казалось, что нет.

Индексируется, но не там где надо http://web.archive.org/robots.txt.

Понадобилась программа для скачки парочки сайтов кто что посоветует ?