Сервис для проверки ссылок на вложенность

По моим граблям идете)

Дальше не имеет смысла продолжать.

почему не имеет смысла?

проверяем сайт с 1000 страниц

Для каждой странички ее нужно скачать (примерно 20-30 килов текста) = 20 метров

потом еще нужно вытацить все внутренние ссылки (опять регексп)

и на каждой убрать javascript (это или регекспом или своим парсером)

память пошла течь

а также еще и процесорное время.

Но это же все 1 сайт.

Мы постараемся сделать, чтобы скрипт работал как можно быстрее, но мы не отрицаем того, что нужно будет время, для проверки ссылок и чем их будет больше, тем дольше он будет проверять!

но по другому работать скрипт не может =)

поэтому я и написал "По моим граблям идете"

какой бы не ПХП, не потоковый он и не быстрый в плане парсинга (

Я так понимаю идея умерла?

У каго умерла , а у Каго и нет )

ну как бы если это сервак, то ничего страшного, вопрос скорее во времени, лично я делал интервалы по 5 сек между обращениями к одному сайту. что бы не "убить" его не нароком.

но конечно в режиме онлайн проверить 1000 страниц налету невозможно - должен быть паук + у него есть база заявок для обхода

может и будет такой сервис в рамках моего проекта в будущем...