Нужен грабер сайтов.

R
На сайте с 15.07.2010
Offline
17
938

Доброго!

Нужен грабер сайтов на пхп со следующими характеристиками -

1. Я даю ему список доменов, запускаю, грабер в порядке очереди сграбливает сайты складывая html файлы с исходным кодом в папки по имени доменов.

2. Скрипт должен делать 100% копию. Начиная от иерархии папок и файлов и заканчивая адресами страниц. Сграбить необходимо всё, кроме видео файлов. Их можно тупо пропускать.

Пример применения скрипта -

Есть сайт на wordpress + форум phpbb в папке forum/. Трафик на сайте есть, а вот жизнью он своей не живёт. Я запускаю скрипт, он делает статичную копию сайта + генерирует файл .htaccess с правилами редиректа.

Копирую папку с файлами сайта на другой сервер, прикручиваю домен - статичная копия сайта готова. Все страницы доступны по старым адресам, только теперь он не нагружает сервер.

Цену и сроки жду в icq 623482162

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#1

wget.exe -r -l0 -k -E -p -e robots=off -c http://site.ru

Пользуйтесь на здоровье :)

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
R
На сайте с 15.07.2010
Offline
17
#2
LEOnidUKG:
wget.exe -r -l0 -k -E -p -e robots=off -c http://site.ru

Пользуйтесь на здоровье :)

А как же "Все страницы доступны по старым адресам" этот момент?

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#3
raskami:
А как же "Все страницы доступны по старым адресам" этот момент?

Ручками сгенерировать mod_rewrite

Автоматически его создавать, я такое чудо ещё не видел :)

R
На сайте с 15.07.2010
Offline
17
#4
LEOnidUKG:

Автоматически его создавать, я такое чудо ещё не видел :)

Всмысле создать не сложно или не реально? :)

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#5
raskami:
Всмысле создать не сложно или не реально? :)

В смысле, чтобы всё происходило автоматически и для любого сайта, я такого не видел :)

А руками не проблема.

R
На сайте с 15.07.2010
Offline
17
#6
LEOnidUKG:
В смысле, чтобы всё происходило автоматически и для любого сайта, я такого не видел :)
А руками не проблема.

Понятно. Спасибо за разъяснения.

В общем у кого есть идеи по автоматизации процесса - велкам в асю.

raskami добавил 05.01.2011 в 23:02

LEOnidUKG, а если тупо для каждой страницы в .htaccess правило прописать, сильно нагружать сервер будет? Допустим сайт на 1000 страниц.

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#7
raskami:
LEOnidUKG, а если тупо для каждой страницы в .htaccess правило прописать, сильно нагружать сервер будет? Допустим сайт на 1000 страниц.

Ну там явно не будет для каждой страницы т.к. можно сокращать их не взирая на безопасность ибо везде html))))

Если правильно всё грамотно прописать (запретить циклы и везде проставить [L]), то нагрузки не будет.

R
На сайте с 15.07.2010
Offline
17
#8
LEOnidUKG:
Ну там явно не будет для каждой страницы т.к. можно сокращать их не взирая на безопасность ибо везде html))))
Если правильно всё грамотно прописать (запретить циклы и везде проставить [L]), то нагрузки не будет.

Понятно. Спасибо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий