Ищу 2 программы.

Здравствуйте.

1) Ищу программу, что бы в браузере она перехоидла по всем ссылкам на сайте в авто режиме при этом загружая и выполняя ява скрипты.

И собрала все урлы на которые были зделаны запросы.

Картинки яваскрипты стили. В общем все запросы.

Далее можно было бы эти урлы получить списком.

2) Также нужна программа(уже для другой цели) которая бы выгружала сайт и проверяла его на уникальность контента внутри сайта.

Часто бывают блоги где на 2УВ страницах размещены полносью посты.

А 3УВ получается уже не уникальной страницей, т.к. весь текст есть на 2УВ.

В общем нужно как то выявлять такие сайты.

Есть подобные программы?