Фильтрация урлов по содержимому

я бы сделал так:

1. делаем таблицу в мускуле (через phpmyadmin), где будут нужные урлы, может быть, ещё какая-то инфа со страниц.

2. делаем таблицу в мускуле (через phpmyadmin), где будут урлы, которые надо проверить

3. делаем php-скрипт, который будет генерировать урлы по каким-то критериям и вставлять их в таблицу из п.2

4. Запускаем php-скрипт, который через curl будет дёргать страницы по адресам из таблицы п.2, и в зависимости от результата, помещать что-то в таблицу п.1, отмечая попутно в таблицу из п.2, что урл "проверен".

скрипт 3 запустить, чтобы сгенерить урлы страниц

скрипт 4, повесить на крон или типа того. можно циклом, по 10-100 страниц за запуск (только время исполнения скрипта увеличить)

Ragnarok, спасибо за идею. "Пометил" себе на будущее, если не найду что-то десктопное. Подозреваю, что такое где-то должно быть.

Кстати третий скрипт не нужен, так как уже нагенерировал старым добрым экселем