wget - команда что бы скачать .jpg

J
На сайте с 06.07.2011
Offline
169
2350

Скажите пожалуйста - есть список ссылок типа :

domain.com/page1.html

---

domain.com/page_03-4.html

Какой командой в wget можно скачать с этих страниц графику? (не со всего сайта, а только с данных страниц)

wget /путь к файлу со ссылками/ скачать все jpg с данных страниц

Возможно будет логичнее использовать что-нибудь другое, кроме как wget?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

wget -nd -r -l 1 -A jpg,jpeg http://domain.com/page1.html

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
J
На сайте с 06.07.2011
Offline
169
#2
Оптимизайка:
wget -nd -r -l 1 -A jpg,jpeg http://domain.com/page1.html

Не качает. Только с сайта robots.txt скачался

Оптимизайка
На сайте с 11.03.2012
Offline
396
#3

Такое может быть, если картинки на этих страницах находятся не в том же домене. В таком случае как то так:

wget -nd -r -l 1 -A jpg,jpeg -e robots=off -H http://domain.com/page1.html

или, если рекурсивный поиск не нужен, можно так:

wget -nd -E -H -k -K -p -A jpg,jpeg -e robots=off http://domain.com/page1.html

J
На сайте с 06.07.2011
Offline
169
#4
Оптимизайка:
Такое может быть, если картинки на этих страницах находятся не в том же домене. В таком случае как то так:

wget -nd -r -l 1 -A jpg,jpeg -e robots=off -H http://domain.com/page1.html

или, если рекурсивный поиск не нужен, можно так:

wget -nd -E -H -k -K -p -A jpg,jpeg -e robots=off http://domain.com/page1.html

Огромное спасибо, а как запустить список, если к примеру 5000 страниц:

wget -nd -r -l 1 -A jpg,jpeg -e robots=off -H http://domain.com/page1.html

wget -nd -r -l 1 -A jpg,jpeg -e robots=off -H http://domain.com/page2.html

wget -nd -r -l 1 -A jpg,jpeg -e robots=off -H http://domain.com/page100.html

...

wget -nd -r -l 1 -A jpg,jpeg -e robots=off -H http://domain.com/page5000.html

Оптимизайка
На сайте с 11.03.2012
Offline
396
#5

Если список в текстовом файле, по URL на строку, то тривиально:

cat список.txt | xargs wget -nd -E -H -k -K -p -A jpg,jpeg -e robots=off

J
На сайте с 06.07.2011
Offline
169
#6
Оптимизайка:
Если список в текстовом файле, по URL на строку, то тривиально:

cat список.txt | xargs wget -nd -E -H -k -K -p -A jpg,jpeg -e robots=off

Большое спасибо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий