PHP парсер, 100 страниц. Делать паузу или есть способ лучше?

100 страниц чего? одного сайта? разных? как часто?

кто должен забанить IP?

Dinozavr, 100 разных страниц одного сайта. Скрипт запускаться будет раз в день. Когда-то парсил другой сайт и мой IP забанили, походу за частые запросы на сайт. Скрипт просто получал пустую страницу в ответ, а в браузере контент был (скрипт был на хостинге).

Да никак. Как только владелец просечет, что его парсят - тут же и забанит ип.

Ну, если конечно просечет, если он проверяет уникальность периодически

t1mkke, как вариант - прокси. но это вечная игра в кошки-мышки. во-первых, он вас уже знает, во-вторых всегда может найти по своему контенту

если крон и не критично быстро получать, делайте задержки и всё.

99% решит проблему.

sleep(1); // и нет проблем

Список урлов в базу данных, в таблице три поля - ID (primary key), url и date

Выбрали 10 урлов у которых date < time() - 60*60*24, спарсили, обновили у них date на текущее время. Парсер запускать по крону раз в 5-10 минут без остановки. Если парсить нечего - нагрузку он не создаст.

Скрипт не упадет так? Я просто с PHP мало знаком, знаю, что при долгом выполнении может падать.

Только об этом подумал :) Как раз есть updated date в базе. Спасибо.

set_time_limit(0)

Можно уткнуться в таймаут nginx

Задача будет запускаться на крон.

Можно наткнуться на лимит времени крона у хостера.