Есть ли ограничение на размер файла robots.txt?

Я думаю есть. Но оно, на мой взгляд, близко к ограничениям индексации обычных web-документов.

Хотя если нужно закрывать очень много - можно попробовать воспользоваться мета тегом роботс, иногда это проще...

Может попробовать спросить у Я, всетаки это не про поисковый спам вопрос, мне кажетсся ответить должны.

На собственном печальном опыте могу сказать, что robots размером в 11.6 Кб (319 строк) читался поисковиком нормально.

А чем он так печален?

Segey, тем что сайт был кривой ужасно. У нормального сайта можно было бы сделать отдельный каталог для ненужных страниц и прописать его в роботсе.

antono, не думаю, что должны возникнуть проблемы с роботсом в 10 кб.