Парсинг внешних страниц

NI
На сайте с 08.12.2007
Offline
16
409

Есть задача пропарсить внешний ресурс, подскажите каким образом многократно запустить

скрипт забирающий и парсящий страницу. Если по cron то как хранить url страницы, которая уже прошла обработку ?

Кладбища полны людьми, считавшими себя незаменимыми
psylosss
На сайте с 23.12.2005
Offline
126
#1

выбирайте:

1. <meta refresh>

2. file_put_contents

Веб-разработка. Сложные проекты. Проектирование. Проект-менеджмент. Стартапы.
S
На сайте с 27.12.2007
Offline
35
#2

Пиши в базу все новые урлы, которые распарсил, помечай, при следующем запуске скрипта пусть берёт первые не помеченные.

Ещё как вариант, причём очень хороший - скачать сайт с помощью wget, а потом распарсить локальную копию.

Ищу работу. php+symfony+jquery.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий