Правильно ли составлен robots.txt

Предлагаешь самим лопатить твой сайтмап и искать что не закрыл?

Нет, вопрос был правильно ли составлен robots.txt? Я хочу, чтобы робот индексировал только те страницы, которые находятся в sitemap.xml и никакие другие. Sitemap лопатить я не просил, вопрос правильно ли я прописал инструкцию для робота в robots.txt?

там проверяйте http://webmaster.yandex.ru/robots.xml

разберитесь сначала с документацией по robots.txt

чтобы запретить все страницы, кроме тех, которые в sitemap.xml нужно сначала ознакомиться с тем, какие все-таки там страницы представлены.

В sitemap представлены страницы необходимые для индексации

и? отвечу вам этим постом

Синтаксически составлен правильно. А вот закроет ли он все кроме того что есть в sitemap, зависит уже от того какие ссылки есть на сайте. Вообще чтобы закрыть ВСЕ кроме сайтмэпа надо прописать allow для каждой ссылки отдельно.

Вы видимо меня не правильно понимаете, я не прошу искать страницы, которые я не закрыл. Дело в том, что на сайте тысячи страниц, которые надо запретить от индексации. Изначально эти страницы находились в robots.txt, но он был очень большим и поисковики его не обрабатывали, поэтому решили пойти обратным путем, запретить к индексации весь сайт, кроме страниц находящихся в sitemap. Вопрос как запретить полностью весь сайт к индексации, кроме файла sitemap.

Как мне кажется правильный вариант реализован здесь: http://hausemafia.ru/robots.txt

Valorous, ответ - никак. Можно конечно, если вам нужно разрешить только пару страниц к индексации, а если там сотня, тысяча, десятки тысяч, и они не попадают под один общий шаблон, то значит никак.

Угу, что означает - разрешить все к индексации.

Нет в вашем случае правильных вариантов. У вас разного формата и с разным название ссылки.

ПС.

ВЫ бы лучше правильно прописали домен у карты сайта.

Там всё разрешено. :D

Такой функции не существует. Анализируй адреса, создавай правила.