Если разрешить индексацию всего сайта пароли хостинга могут попасть в поиск?

Ещё пару моментов. Нужен ли клин парам и нужно ли прописывать хост?

Я понимаю почему вы не хотите помогать. Я должен сам разобраться. Я прочитал справку Яндекса. Я поискал в Яндексе. Я поискал в Гугле. И всё равно многое мне не понятно. У меня гуманитарное образование. Все эти технические вещи тяжело даются. Вот сделал файл роботс как смог. Мне кажется там всё нормально, но явно есть лишние строки, и строки, которых не хватает. Это и хотел тут выяснить. Но всё равно спасибо всем ответившим. А генераторам этим, которые делают файл роботс я не доверяю.

Нет, просто всем лень. И сайт не известен, то есть разговор беспредметный.
 2 последние строки лишние.
Не написано про сайтмап.
Для яндекса и гугла почему-то шибко разные правила.
И зачем тебе Mail.ru?

Спасибо.

Его нет и как его сделать я без понятия.

Понял. Буду думать.

Он тоже даёт трафик. Мало, но даёт.

Ещё нюансы:

Страница поиска имеет такую ссылку - https://site.ru/search.php я правильно запретил её в роботсе?

Статьи доступны кроме основного адреса ещё по ссылке https://site.ru/viewtopic.php?pid=253#p253  я правильно запретил её в роботсе?

Clean-param пишется 1 раз в конце файла роботс или можно его писать/не писать для каждого  User-agent-а?

Только для Яндекса.

Ну даёт и даёт. Зачем засорять файл роботс дублированием правил, если нет никаких особенностей? 

Так еще наверно и не блондинка, и не с третьим номером... 
С такими данными, надо или разобраться самому (но вы гуманитарий). Или таки заплатить. Хотя это тоже пробовали, и теперь у вас статейник сделаный из форума.
Походу, тупик...

То есть не из за клин парама в роботсе гугл выкинул все статьи мои из поиска?

Майл ру юзает поиск Яндекса.

Ещё вопрос. Для гугла может стоит это открыть? Disallow: /include/

Гугл вообще не знает, что это такое.

И что? Нафиг он нужен в роботсе? Поиска от Mail.ru вообще нет.

С какой целью?

Спасибо.

Понял, удаляем.

Уже разобрался. Должно быть закрыто.

Умные люди пишут, что всё таки последние две строчки нужны и их надо писать так:

Allow: /*.css
Allow: /*.js

Они правы? Причём для всех ПС.