Генератор карты сайта

Ничего не надо делать

единственное лимит времени, чтобы снимался (почти везде есть) + curl (вообще везде должен быть)

у школьников.. заработать в интернет, сео.. найти, кто накликиванием зарабатывает уже сложно, все делают свои сайты.

Это у тебя, как разработчика, могут возникать подобные проблемы. Большинство же юзеров даже не подозревают о существовании "каких-то там" модулей PHP, не то что об их установке-настройке. Максимальные трудности - создать БД (сложно, до не могу :)). А при каких-то проблемах (аля: не получает данные с другого сайта) - вопрос к хостеру и хостер всё решат :)

Как-то так в общем случае.

А в данном конкретном TF-Studio ответил (я так и подозревал, что ничего мало-мальски сложного быть не может).

20 строчек кода ))

открыли, регуляркой прогнали, в массив засунули, в конце array_unique и в файл )

Это - простая версия, для более качественной, нужна БД.

Для хистори, более глубокого анализа, распределения нагрузки

Дело, конечно, хозяйское, но я так не думаю :) Максимум - файлы со временем сканирования в имени (sitemap15-09-2013-22-45.txt(\csv\html\etc)) или первой строкой.

Это ты сейчас о сайтмапе? ;)

агамс, я люблю заранее закладывать масштабирование и перспективы.

БД нужна, для более быстрой и удобной проверки "проверяли эту страницу или нет".

Хотя можно и на файлах решить, в принципе, но БД привычнее.

Я наверное чего-то не понимаю.. смысла обладания этими знаниями не вижу. Вот если бы ответ сервера проверять, или там историю-динамику создания\умирания страниц исследовать(хотя зачем?) - тогда да. Но при генерации карты сайты... По сути-то разовой "акции". Ну т.е. разового результата (в см "достижение цели").

...

Пока писал кацца начал понимать ;) Ты имеешь ввиду проверять на дубли во время составления сайтмапа? Ааа, ну тогда да. БД на больших сайтах будет побыстрее (наверное). А я-то в начале подумал про более долгосрочные перспективы :)

Как "бредовая" идея

Сделать апи. Что бы я напрмиер смог с своему сервису прицепить ваш скрипт, при этом не скачивая аго, а просто тремя строчками кода + нагрузка на мой сервак не идет. Понятно, что не бесплатно :)

Если сайт очень большой, то чтобы не было утечек (расхода) памяти не нужных, стоит хранить где-то промежуточные результаты.

БД оптимальный вариант (memcache ещё и аналоги).

Просто лазать по 1 странице несколько раз не рационально.

bay_ebook, все обсуждаемо в этой жизни )

с выдачи поисковиков берите