Два вопроса ??

Вы же всех за месяц в нирвану выводите? Вы должны давать советы направо-налево, а не просить у нас, смертных.

Странный вопрос - архивация нужна для работы с хранилищем документов, php можно использовать в качестве интерфейсов для доступа к этому хранилищу.

Сформулируйте свой вопрос точнее.

Нужно определить стратегию, согласно которой робот будет сканировать каждый ресурс, и составить расписание обхода сайтов таким образом, чтобы слабо обновляющиеся сайты обходились редко, остальные - регулярно. Стратегия сканирования (crawling) может быть разной, в зависимости от решаемой задачи. Подробнее о возможных стратегиях смотрите в списке литературы здесь.

Каширин, я что-то не совсем понял - Вы же тут громогласно и неоднократно утверждали, что работали и в КМ.Ру, и в Апорте. И это все, что Вы можете сказать по заданному вопросу? "Иногда лучше жевать, чем говорить" (C) Реклама :)