Спарсить 1 лям страниц

сначала подумал - что имелось ввиду спарсить - посоветовал ему жабу но потоом второй месейч прочел - там понял вроде как на комп весь контент слить а еще лучше на сайт! ☝

вгетом вытяни сайт, а потом замени через ноут урлы на урлы своего домена и залей, а если хочешь поставить контент на какую то кмс, то хз, это надо еще посмотреть на тот сайт :D

Объясняю что нужно:

Значит както давно парсил человек мне сайт, и автоматом все выкладывалось ко мне на сайт, но постоянно раз в неделю точно, все слетало, мне жто достало и я бросил это дело!

Сейчас хочу возобновить весь процесс но глобальнее, и второе не парсить, а выкачать сайт весь на винт, и тупо залить себе заменив домен, ну и убрать логотип того сайта и поставить свой! Те по сути копию полную, но исходник сам копия по сути вот что интересно!

И дальше когда мы выкачаем пару Лямов страниц, тупо уже на своем сервере ставим отглаженную публикацию страниц в день и наслаждаемся индексом!

Работаем под Гугл

Что касается высказывания типа я ничего не понимаю, это да я не понимаю, если знал сам, тут не писал бы!

О, уже

подожду пару деньков, может еще чего поменяется.

Слушайте я что по вашему программист чтоли?

Я как могу так и пытаюсь объяснить!

Ребята, там не статика. Там динамика. Вгеты и т.п. не подойдут. Там нужен точечный парсинг с умной заливкой на свой движок.

Чтобы было понятнее скажу на что это похоже - на покупку-продажу авто. Нужен сайт с поисками, фильтрами и т.п.

ТС, закажите парсер под свои нужны, на выходе получите файл импорта на свою CMS, которые останется только импортировать.

А выкачивать 1. млн. стр. в статике, сколько месяцев или лет уйдет на обработку? Или хотите 1 млн. файлов поставить на хостинг?!

324 79, кол-во страниц влияет только на время работы парсера. А для написания самого парсера важно знать конкретный сайт и информацию, которую нужно оттуда брать. Есть ли защита от парсинга на том сайте или нет? Спарсить все подряд? Или нужно что-то чистить? Рекламу, например, счетчики и т.д.? Без нормального ТЗ, как вам уже сказали, нормальных ответов и оценки вряд ли дождетесь...

Да наверно я че то много захотел))) обдумать надо

Я бы нашёл прогера, который накатал бы скрипт по типу RSS в дле. Залил на хост и он комбайном собирал бы страницы жертвы. Не стоит затрачивать столько ресурсов и лить сайт полностью, тем более действительно ресурс с защитой от парсинга может быть. А так и ресурс растёт постепенно и по жопе от ПС не получишь... ну или не сразу🍿

могу написать парсер на Human Emulator'e. 435 467 211 icq