wdsg: peril, если Вы хотите работать с файловой системой удалённого сервера именно по HTTP, в любом случае, необходима установка на целевом сервере ответной части кода. Будь это публичный файл-менеджер или специально разработанное решение для закачки, определенное количество кода придётся разместить на том сервере, в файловою систему которого планируется доступ.
На том хосте конечно же уже есть ftp- и/или ssh-сервер,
так что никакой код туда добавлять уже не надо...
Следует корректно написать клиентскую программу
(на первом компе) - реализовать в ней нужную функциональность.
Nicca: Подскажите как узнать абсолютный путь к файлу от корневой директории сервера?
Ну типа такого он должен быть:
/srv/www/vhosts/mysite.com/subdomains/work/httpdocs/
Зайдите по ssh в директорию, в которой имеется этот файл
и введите команду pwd
Она сразу напечатает полный путь к текущей директории.
neolord: wget мощнее чем кажется. да вообще никсовая коммандная строка может делать такое за что здесь люди деньги плотют =) - с помощью grep или awk и wget можно в одну строчку парсеры писать
полностью подтверждаю!
так что приведённый только что код на shell здесь не нужен,
только что проверил её на одном своём сайте, т.к. тот, что вы привели в личку очень велик,
команда отработала и я получил копию сайта со всеми картинками и т.д.,
пригодную для локального просмотра,
ну и на сайт, разумеется можно эту копию выложить теперь...
Важное замечание: wget в данном случае ключевые преобразования выполнит только в самом
конце, когда скачает всё от и до. Так что если вы остановите команду и посмотрите - преобразовывает ли он в html-коде href'ы корректно, то увидите что НЕТ, не преобразовывает (на лету), но вы дождитесь просто - в конце он это сделает.
KiraL: Прочитав всю тему так и не нашел ни одного отзыв с результатом после прогона.. ТС, если не сложно, укажите хотя бы Вы.. Хотя бы так скажем средние результаты, думаю не только одному мне интересно.
KiraL, правильно думаете.
Я ещё в 23-м посте просил об этом и в 28-м тоже просили,
даже немного странно, что никто так и не сделал этого.
Vincent_, в вашем случае надо так:
А если надо с www. делать редирект на зеркало без www. ,
то делается это универсально и даже домен указывать не надо!
peril, если Вы хотите работать с файловой системой удалённого сервера именно по HTTP, в любом случае, необходима установка на целевом сервере ответной части кода. Будь это публичный файл-менеджер или специально разработанное решение для закачки, определенное количество кода придётся разместить на том сервере, в файловою систему которого планируется доступ.
На том хосте конечно же уже есть ftp- и/или ssh-сервер,
так что никакой код туда добавлять уже не надо...
Следует корректно написать клиентскую программу
(на первом компе) - реализовать в ней нужную функциональность.
Подскажите как узнать абсолютный путь к файлу от корневой директории сервера?
Ну типа такого он должен быть:
/srv/www/vhosts/mysite.com/subdomains/work/httpdocs/
Зайдите по ssh в директорию, в которой имеется этот файл
и введите команду pwd
Она сразу напечатает полный путь к текущей директории.
wget мощнее чем кажется. да вообще никсовая коммандная строка может делать такое за что здесь люди деньги плотют =) - с помощью grep или awk и wget можно в одну строчку парсеры писать
полностью подтверждаю!
так что приведённый только что код на shell здесь не нужен,
вот - одна команда:
wget --random-wait -r -l inf -k -K -E -e robots=off http://site.ru/
только что проверил её на одном своём сайте, т.к. тот, что вы привели в личку очень велик,
команда отработала и я получил копию сайта со всеми картинками и т.д.,
пригодную для локального просмотра,
ну и на сайт, разумеется можно эту копию выложить теперь...
Важное замечание: wget в данном случае ключевые преобразования выполнит только в самом
конце, когда скачает всё от и до. Так что если вы остановите команду и посмотрите - преобразовывает ли он в html-коде href'ы корректно, то увидите что НЕТ, не преобразовывает (на лету), но вы дождитесь просто - в конце он это сделает.
это конечно хорошо. но как быть с 20-30к ссылками на этот док без расширения хтмл?
Rishpik, напишите точную команду которой вы скачивали сайт,
и сайт этот, желательно, укажите, на всякий случай
(в личку, как вариант)
там, похоже, каких-то опций не хватает,
потом надо будет ещё раз стягивать,
т.к. переконвертить всё это некорректно стянутое хозяйство может оказаться сложней
Хотелось бы узнать какими редаторами........................
Что можете посоветовать?
А как насчёт редактора vim?
Подскажу - cURL + PCRE.........
Зачем?
Вон юниксоид предложил замечательную альтернативу...
это совершенно точно? так можно обойти роботс.
файл `robots.txt' предназначен для чтения клиентской стороной,
если бы в нём содержались инструкции для управления поведением сервера,
то для клиента он, очевидно, был бы недоступен
вебархив не забанит?
как я уже сказал, на уровне сервера никакой защитной функции этот файл не выполняет,
но мало ли что там у них другое есть для защиты от скачки, этого не знаю
команду эту я запустил перед тем как здесь опубликовать и несколько файлов она скачала,
после чего я её за ненадобностью остановил
Прочитав всю тему так и не нашел ни одного отзыв с результатом после прогона.. ТС, если не сложно, укажите хотя бы Вы.. Хотя бы так скажем средние результаты, думаю не только одному мне интересно.
KiraL, правильно думаете.
Я ещё в 23-м посте просил об этом и в 28-м тоже просили,
даже немного странно, что никто так и не сделал этого.
причём здесь элементарные вещи ?
Я уже пробывал и 0777 и 777
и ещё ряд вариантов......
Права доступа - это основа основ!
UNIX (Linux) - не винда, он интуитивно не понятен, так что без хорошей книжки
(А. Робачевский или Г. Курячий) вам не обойтись...