Вопросы по sitemap и wiki

Подскажите какой программой можно сделать sitemap, которая не требует ключ или к которой он есть в интернете. Я скачивал разные программы, но многие из них индексируют слишком много страниц, например, только раздел wiki дает сотни тысяч страниц, 99% из которых служебные и хотелось бы убрать их из sitemap. Да и вообще закрыть доступ роботам к служебным и не несущим полезной информации страницам через robots.txt можно? Вот тут немного про это написано, но для моей mediawiki это не подходит и проги для создания sitemap все равно их индексируют.

1) Как сделать норм sitemap программой?

2) Нужно ли вообще делать карту сайта?

3) Как настроить robots.txt чтобы он запрещал поисковикам индексировать служебные страницы?

4) Как убрать из вики index.php в каждой ссылке?