Нужен совет по структуре сайта с учетом работы поисковиков

Ситуация такая :

В корне сайта у меня лежит файл index.php, который имеет верхнее меню на java script. Из этого меню осуществляется переход к разделам сайта. Также, каждая страница имеет свое боковое меню - меню раздела, где ссылки обычные, HTML-ные. Как я понимаю, поисковики будут игнорировать мое верхнее меню на javascript и не будут индексировать мои разделы, за исключением первого раздела, который открывается файлом index.php ?

Дальше : все остальные страницы у меня лежат в папке pages. В остальных папках - скрипты, картинки, куски текста, которые инклюдятся в динамические страницы папки pages. Значит, я кладу в корень сайта файл robots.txt такого содержания :

User-agent: *

Disallow: /cgi-bin/

Disallow: /css/

Disallow: /images/

Disallow: /menus/

Disallow: /scripts/

То есть, этого достаточно, чтобы все поисковики не лезли в эти папки. Но при этом они проиндекируют index.php и страницы, на которые можно попасть по обычным ссылкам из бокового меню этого файла? Кстати, на сколько уровней "вглубь сайта" поисковики индексируют? Или в пределах сайта они индексируют содержимое ВСЕХ страниц, на которые найдут ссылки? Поскольку папка pages у меня не запрещена, то поисковики зайдут и в неё? Правда ли, что если файла robots.txt нет вообще, то все поисковики будут просто игнорировать сайт полностью?

Также хочу со страницы index.php сделать ссылку на страницу sitemap.php - карту сайта, которая лежит в папке pages. В ней - вся структура моего сайта с простыми ссылками на абсолютно все разделы и подразделы сайта. То есть, как я понимаю, поисковик зайдет на index.php, там откроет ссылку на sitemap.php и уже с карты сайта зайдет на абсолютно все разделы и подразделы и проиндексирует их. Но тут еще вопрос - ведь этот же поисковик найдет в папке pages и остальные страницы с этими же разделами и подразделами. Не возмутится ли поисковик ? Или это нормально? Или sitemap.php положить в корень сайта, рядом с index.php, а папку pages просто запретить для поисковиков ?

Рад буду услышать рекомендации по моему варианту и вообще : может, можно сделать лучше, чем я додумался?

P.S. В карте сайта ссылки лучше делать абсолютные или по барабану ?