Скрипт или программа, для создания sitemap.xml

Какая из программ:

1. Учитывает robots.txt

2. Понимает исключения не в виде полных линков, а по маске/регуляркам

До 5000стр делаю бесплатно ссылка в подписи, если кому нужно обращайтесь )

Xenu - десктопный софт

phpSitemapNG-1.5.3 классный скрипт, только не надо забывать закрываться :)

Выбрал http://wonderwebware.com/sitemap-generator/

Делает в разных форматах, можно задавать исключения. Обычно запускаю на локалхосте для местной копии сайта, получается очень быстро.

только почему-то он главную страницу видит и всё :(

Его в корень забрасывать нужно или что?

Он пригодиться как я понял для тех сайтов которые не на базе CMS!

У меня сайты почти все на CMS и работает нормально.

Иногда бывают некоторые проглюки у него с адресами страниц, но как то я их решал.

В корне сайта создавал папку и весь скрипт туда клал.

А что за CMS?

Я уже не помню, брал у кого-то.

Со встроенным RSS парсингом от MagpieRSS.

Он на обычных файлах, первый раз не понял, просканировал мне много страниц но взятых из папки с файлами БД.

Снял галочку сканировать локальные папки, оставил только веб, поидее он должен был по ссылкам пройтись, начиная с главной.

А выдает только главную :(

Я когда-то писал скрипт сканирования сайта для создания кампаний в xap.ru далее главной страницы дело не дошло.

В принципе уже сделал запись с имеющегося своего сканера в sitemap.xml

Но скрипт видит только ссылки главной страницы, а хотелось и второго, третьего уровня и т.д.

Так как сайт постоянно динамический, то и соответственно подойдет скрипт который будет запускаться по крону, обычные программы не подойдут.

Скачал попробовал, не хочет сканировать, может завтра попробую на других сайтах с другими движками.

Свой доводить до ума, чтоб сканировал дальше главной - лень :)

Может когда нибудь и напишу, но проблема в том, что яндекс не хочет индексировать сайт, решил попробовать кинуть ему sitemap.

У меня он и 2УВ и 3УВ и далее - все сканировал нормально.

И запускался по крону. Собственно, сейчас на одном из сайтов он до сих пор и работает - раз в неделю приходят отчеты от крона о выполнении задания.

Я занимаюсь созданием карт профессионально - описание услуги.

Причем ориентируюсь именно на очень большие сайты.

Если у вас сайт на десятки тысяч или сотни тысяч страниц - заказать создание карты практически единственный способ ее получить гарантировано и быстро.