Обязательно ли нужен файл robots.txt ?

нет, обязательно он не нужен, он нужен только если вы хотите какому-то боту (или всем сразу) запретить индексацию каких-либо страниц

Всё ясно, спасибо.

Не обязательно, но рекомендуется писать robots.txt

Особенно касательно Host для Яндекса.

И совсем также не помешает запретить в этом файле индексацию папок со скриптами или файлами статистики. Ну и админ-раздел (если таковой имеется) из соображений секретности. Чем меньше для робота будет Ваш сайт, тем быстрее он его «обойдет»...

указать адреса с парольным доступом в robots.txt, чтобы плохие парни не перебирали все подряд, а знали наверняка где ломать :)

Кому надо – найдут и так. Не велика проблема... Когда знаешь как ломать, где ломать – вопрос уже второстепенный...

наоборот, сначало надо определить что сайт содержит потенциально опасный скрипт, а потом применять нехорошие знания. Так что лучше не рассказывать всему миру, что прячется на сайте.

Лучше считать, что он нужен. Ибо, поисковый бот заходя на ваш сайт, первым делом ищет robots.txt, и если не находит, то фиксирует ошибку, логично?

Медведъ, нужно иметь хотя бы пустой robots.txt, т.к. через ж настроенные сервера могут отдавать "еггог 5XX" в ответ на запрос сего файла, что есессно приводит к непредсказуемым результатам...

Кажется, главное забыли: host, чтобы показать, с www или без www домен в выдачу давать.

А админку, ясно, лучше не прописывать туда.