содрать все страницы сайта

Посоветую одного человека на талке, сделал когда то давно мне карту сайта из 100к страниц, а потом сделал в html формате - получились одни урлы. Думаю вам подойдет.

Phessiv. спс. но сайтов много. хотелось бы саому как-нибудь делать :)

Rishpik, отписал Вам в личку и скинул урл. :)

Rishpik, вам нужна карта сайта?

Если - Да, полагаю могу помочь, есть Sitemap Writer Pro.

http://home.snafu.de/tilman/xenulink.html

Xenu Link Sleuth фри

подробно на русском описание программы здесь

http://devaka.ru/articles/xenu-link-sleuth

не вижу где добавить исключения..... он ссылки на картинки берет :(((

Rishpik добавил 27.11.2009 в 20:10

эту карту можно будет нарезать на 10 например более мелких карт?

/ru/forum/386925 там подробно описано как порезать на куски

ссылка на саму прогу http://wonderwebware.com/sitemap-generator/SiteMapG.exe

плюс посмотри

пост /ru/forum/comment/5388866

В Xenu при создании карты ссылок на картинки нет

Если надо резать, то есть возможность экспорта в файл txt, где каждый урл с новой строки, ну а дальше можно порезать по количеству строк. До конца не ясна задача - что требуется? Что значит несколько мелких карт, чтоб прокрутка страницы была не особо большой?

vtomas. несколько карт :)

пока парсю язлом. жду пока допарсит все урлы. может и он подойдет :)

Сейчас не вспомню, но делал давненько по просьбе карту на 10к страниц, при двадцати пауках парсил около часа, если память не изменяет. :)