Яндекс говорит:
Файл роботом читается сверху вниз. Или я чего-то недопонимаю, либо вы.
Ну, например, я не могу отследить (да и не хочу) страницы, которые не должны индексироваться, зато знаю список страниц, которые индексироваться должны. Дак вот имея этот список - как составить роботс?
