КТо решал такую проблему:?

И в чем проблема заключается?

да пишу sitemap генератор)))

И очень ленивое настроение) Поиск по инету идёт с переменным успехом

И? В чем проблема? На чем пишеш? Регулярку надо? Или просто троллим помаленьку? :)

ЗЫ: preg_match_all('/<a.*href=\"(.*)\".*>/Usi', $page, $links); (php)

не троллим.

вопрос решаю в delphi

tregexp есть?)

Ну вот, постепенно и всю задачу вытянем :) Только тут почти нет дельфинов. Лучше поспи, а как проснешся бодрым, на форуме делфи-программистов сформируй полностью свою задачу.

вопрос закрыт. ждите результата работы)

К вечеру допишу сайтмап генератор с проверкой на валидность и с оповещением поисковиков.

Чеширский добавил 09.06.2009 в 14:43

сейчас имеем это

- Умеет заходить на ресурс 😂

- Собирает линки

- Отсеивает всякий мусор(внешки и ссылки на медию), т.е. оставляет лишь внутренние ссылки на страницы

Доделываем это

- дописываю псевдо-паука: переход по ссылкам, до тех пор, пока не исчерпается список.

А теперь вопросы к вам:

- Интерфейс: что надо отобразить?

- Может расширить функционал? А sitemap сделать просто как возмжожность. Добавить: инфу о битых ссылках(404, 301 и т.д.)

- Что надо обязательно сделать доступным для правок?

Внимание: данное по будет выложено с исходными кодами, главное помогайте мне его разрабатывать )

Не жалко как-то)

Чеширский добавил 09.06.2009 в 16:18

кстати, если снять фильтр на внешние ссылки, то оч забавно получается)))

при моём офисном нестабильном инете 10к уник ссылок с тех. информацией за 5 минут

Чеширский добавил 09.06.2009 в 17:25

чудесно.

скрипт потратил около 2 минут, нашёл все ссылки, исключил битые, убрал ненужные, потратил около 2мб.

ес.

итак, ссылки мы(я и скрипт) пропарсили.

Что делать дальше?

Как выставить им вес? и период обновлений: