Запрет на индексацию Googlе в robots.txt

Здравствуйте. Прочитал разные умные статьи:popcorn:, да и от самого Google, о том, как правильно написать robots.txt. Написал:) и разместил в корневом каталоге моего сайта http://investadvisement.com. Думал, что правильно. Но робот от Google проигнорировал мой robots.txt и проиндексировал те страницы сайты, которые я запретил.

Ответьте пожалуйста, что не так в моем файле robots.txt?

User-agent: Googlebot

Disallow: /page-7.html

Disallow: /page-10.html

Disallow: /page-38.html

Disallow: /page-39.html

Disallow: /page-40.html

Disallow: /page-41.html

Disallow: /page-42.php

Disallow: /page-44.html

Disallow: /page-52.html

Disallow: /page-57.html

Disallow: /page-64.html

Disallow: /page-66.html

Disallow: /page-68.html

Disallow: /exchange-capital.html

Disallow: /imlogin.php

Более того, сегодня просмотрел проиндексированные страницы и о Боже:eek:, появились еще и такие, как эта: "Общие вопросы - Index of" Откуда этот Index of??? Нет у меня страниц с таким именем? Как сделать, чтобы удалить их и больше не появлялись:confused:?

2. Еще одна для меня странность от Google.

А именно это сообщение: Доступ к URL заблокирован в файле robots.txt. Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

Причем тут Sitemap и заблокированные страницы в robots.txt? Ведь Sitemap - это общая карта сайта, где показаны все его страницы, в том числе и те, которые я не хочу индексировать роботами (материал в них не уникальный или закрытый для всеобщего обозрения).

В-общем, должен ли я удалить в Sitemap те URL, которые я заблокировал в robots.txt?

3. Если робот от Google все же распознал в robots.txt URL тех страниц, что я запретил к индексированию, то почему же он их проиндксировал (см. п.1 выше )?

Резюме: ох и тяжело быть новичком в seo-оптимизации. Когда занешь мало, но хочешь чтобы личный сайт работал без проблем;)