http://webmaster.yandex.ru/robots.xml
Используйте данный сервис, чтоб проверить правильность своего robots.txt
