- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Список ссылок на веб-страницы находиться в файле links.txt. Каждая строчка новая ссылка.
Стоит задача скачать веб-страницу и сопутствующие ей css, js,png,jpg, gif с возможностью локального просмотра. Аналог Firefox->File-> Save Page As -> Web page, complete. Но как понимаете для 10000 страниц это не вариант.
Попробовал wget и httrack, но они либо скачивают только один html или пытаются рекурсивно загрузить сайт целиком.
Вторая часть задачи - проиндексировать скаченные страницы для быстрого поиска.
Подскажите возможные решения поставленных задач.
Offline Explorer Pro просто монстр в этом деле (особенно подключаемые модули как Textpipe =)
По поводу индексации к сожалению не знаю.
Teleport, как вариант.
Для индексации - Google Desktop
А мне больше десктопный Яндекс нравится: http://desktop.yandex.ru
.... Попробовал wget и httrack, но они либо скачивают только один html или пытаются рекурсивно ....
wget который из портов в freebsd ставил справляется с поставленной задачей.
в детстве как сейчас помню... порнушные галереи выкачивал поностью по списку. :D
там главное доки проштудировать по wget,
а с индексацией ничего не скажу, не знаю.
Если интересует, могу сделать. Стучитесь в личку
Если я правильно понял задачу, есть у меня то что тебе нужно. Но оно умеет еще много чего делать.
У меня по сути мини-поисковик получился. Держит 100-200К(а может и больше) поисковых запросов в сутки на полумиллионной базе.
Использовать его для твоих целей, как из пушки по воробьям.
Если интересно, напиши в личку или сюда, как ты эту программу использовать собрался? Типа постоянно, или для экспериментов, какая нагрузка. Может придумаю что отключить, так чтобы тебе было интересно.
Говорят на sourceforge.net есть готовые поисковики, но я не смог их настроить под свои нужды.
И еще в голову пришло. Вроде бы то ли нигма, то ли еще кто то дает сделать типа своего поисковика. Правда не знаю как там с локальным кешем страницы работать.