Ограничения на скачку у вэб архива

Да, поделитесь командой! :) Почитал мануал - у меня явно не линуксоидное мышление :)

Ну я не знаю тогда, не ко мне это :)

ключик "-U"

#wget -U"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" http://www.your-url.com/

У wget есть еще одно неприятное качество, он смотрит в robots.txt,

когда выкачивает рекурсивно сайт и принимает во внимание директивы.

А у вебархива эти урлы запрещены к индексации, т.е. рекурсивно wget не выкачаете сайт с вевархива,

а постранично можно.

Есть неплохой модуль на ПЕРЛе: WWW::WebArchive. Требует небольших доработок (по желанию) и достаточно неплохо справляется с выгрузкой из Веб-архива сайта со всей его структурой и т.п. Я иногда юзаю, меня вполне устраивает :)

Бума способ представления не роботом не прокатит? А.... точнее он прокатить но не рекурсивно... а чем собственно различия от полного миррора и рекурсивного скачивания?

Rishpik добавил 08.03.2009 в 01:18

а ещё... как посмотреть сколько страниц есть в вэб архиве для данного сайта? (последнее сохранение).

На всякий случай кину, может кто не знает: http://web.archive.org/web/*/site.com/*

А с wgetом советую не заморачиваться, на perlе или php лучше все сделать. У страниц в вебархиве много мусора в коде, да и ссылки надо все к нормальному виду приводить. Потому лучшая программа получится - та, которая написана под конкретную задачу...

#ee /usr/local/etc/wgetrc

robots = off

ребята.... а что лучше сделать для веэбархива в wget:

запустить рекурсивную загрузку отключив роботс

или же запустить рекусривную загрузку прописав это:

-U"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

а где там вообще кнопка скачать?