Если разрешить индексацию всего сайта пароли хостинга могут попасть в поиск?

не знаешь... то просто удали файл.... он не обязателен...

Как это? Вы наверное не поняли моего вопроса? Есть в движке форума файл конфиг и в нём прописаны пароли к хостингу, к БД, имя сервера и прочее. При вышеописанной конструкции файла роботс они могут попасть в поиск Яндекса и Гугла?

Какая разница что прописано в роботс? Конфиги при любых раскладах не должны быть доступны для внешки, это аксиома.

у тебя на файлах там же стоит запрет (наверное) на чтение их из внешнего мира.... ты их на хостинге только можешь смотреть... ты же их не можешь открыть в браузере? так и поисковик не откроет.... 

в роботсе прописывают допустим папки ибо на их 755 разрешение стоит.... а на файлы в папках  или в корне не нужно ибо там уже все запрещено для чтения поисковиками....

Как " сделать правильно файл роботс.тхт" - это вообще-то не особо зависит от того, редкий движок или нет. От "редкости" движка зависит не "как сделать", а как найти готовый рецепт в гуглондексах. Это немного разные вещи. И не надо говорить за всех: "Никто не знает".

Ну если у тебя конфиг в формате .txt, .xml и т.п. - то могут и попасть.  Независимо от того, что там написано в роботс. И вообще, всё зависит от о того, как настроены права доступа к файлу конфигурации, и какими средствами он читается, а не от содержимого файла robots.txt.

P.S. А паролям доступа к хостингу там вообще нечего делать, это полная дичь.

P. P.S.  И вообще роботс написан неправильно.

Давно я не видел такого бреда))) А еще большего - в комментах, когда пишут, что может. Ни один движок никогда наружу не пробросит файлы настроек, только если ты не сделаешь это специально. И роботс вообще никак на это не влияет. А ведь нужно всего лишь минут 15-20 чтобы почитать, как работают работают "движки" 😂

Как знать... Может там пароли лежат в каком-нибудь config.txt, тем более, что

- кто и как его писал остаётся только гадать.

ТСу: файл конфигов должен быть либо запрещен на скачивание, либо интерпретироваться на сервере (.php) и не отображать своё содержимое у клиента. Откройте напрямую в браузере файл настроек, загляните в исходный код. Если файл не открывается или не показываются настройки, то можно не переживать. Иначе никакой robots не поможет.

Я даже не могу представить, как это надо извратиться... У вордпресса доступы к базе тоже прописываются в файле( если не ошибаюсь)  но они не пробрасывются наружу. 

за это отвечает вебсервер а не роботс. У меня это uvicorn-gunicorn-nginx, что там у вас в пхп - не помню, но думаю аналогичный механизм. Никто в здравом уме не откроет код сайта наружу 

Попробуйте открыть файл с паролями через браузер. Если при открытии белая страница или какая-то ошибка т.е. вы явно не видите содержимое файла, то не надо беспокоится.