Как лучше с robots.txt

смотря от твоих целей, одно дло закрыть одну страницу, другое дело папку или нескольео страниц, папок, плюс в роботсе можно хост прописать

Для меня важно максимально быстро проиндексить страницы в се

Вот в этом случае-есть ли разница?

В этом случае разницы нет. Ни роботс.тхт, ни тэги не помогут

Роботс - не влияет на скорость индексации ... (если только вы не хотите закрыть что нибудь не нужное)

в этом случае помогут ссылки с хороших ресурсв

Я бы заметил, что его отсутствие может снизить эту скорость. По крайней мере в Google. Тем более он его все равно всегда запрашивает и кеширует.

Ivanov, обязательно создавать этот файл.