КАК массово скачать НТМЛ страницы?

Teleport Pro в помощь

Так же контент даунлоадер ещё есть

Список в list.txt

И командой:

wget.exe -i list.txt -l1 -k -E -p --max-redirect=1 -np --user-agent="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.2228.0 Safari/537.36"

<?php

$list = file('url_list.txt');

foreach($list as $k=>$url){

$t = file_get_contents($url);

file_put_contents($k.".html", $t);

}

?>

Разнообразить топик что ли...

---------- Добавлено 30.10.2018 в 12:55 ----------

Протестую "url_list.txt" логичнее, неизвестно еще какие "листы" придет в голову складировать в той же папке.

Рекомендую - хороший вариант.

Где должен list.txt лежать???

Команду в пуске запускать и куда страницы упадут?

---------- Добавлено 30.10.2018 в 14:26 ----------

Тут типа надо сделать РНР файлик... залить и запустить его и странички упадут в ту папку где он будет лежать?

Спарсить curl-ом через прокси.

<?php

$list = file('url_list.txt');

foreach($list as $k=>$url){

$t = file_get_contents($url);

file_put_contents($k.".html", $t);

}

?>

И на сколько страниц хватит такого скрипта?

Как быстро сдохнет?

На днях нужно было спарсить ооочень много товаров с одного интернет-магазина.

Так, чтобы не перегружать, открывал каждую страничку отдельно раз в 5 секунд, разбрасывал данные по переменным и в удобоваримом виде в базу -> 3 дня ушло на запросы разв 3 секунды.

Как php настроен...

Ну установить php, вы же про Teleport Pro не спрашивали ставить или нет, а тем более не спрашивали - куда в нем скопировать свой список. А уж тем более, на каком языке в нем писать. А тут столько вопросов....

<?php
$list = file('url_list.txt');
foreach($list as $k=>$url){
$t = file_get_contents($url);
file_put_contents($k.".html", $t);
}
?>

Для такого скрипта урлы должны быть без .html на конце, иначе сохранятся файлы с .html.html на концах, но работать все равно будет. Можно еще дописать, чтобы урлы удалялись из списка по мере сохранения страниц и скрипт придется перезапускать несколько раз или поставить на крон.