Если разрешить индексацию всего сайта пароли хостинга могут попасть в поиск?

Продублирую сюда с изменениями. Пока выгляди так:

------------------------------------------------------------

User-agent: Yandex

Disallow: /admin/

Disallow: /cache/

Disallow: /include/

Disallow: /extensions/

Disallow: /lang/

Disallow: *feed*

Disallow: *pid*  (не уверен что правильно написано)

Disallow: *statistic*

Disallow: *print*

Disallow: *cid* (не уверен что правильно написано)

Disallow: *userlist*

Disallow: *search*  (не уверен что правильно написано)

Disallow: *register*

Disallow: *login*

Disallow: *reputation*

Allow: /*.css (я правильно понимаю это означает индексировать все файлы ЦСС начиная с корневой директории и далее все папки до конца?)

Allow: /*.js

Clean-param: amp&pid&action&print&cid

User-agent: Googlebot

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/

Allow: /*.css

Allow: /*.js

User-agent: *

Disallow: /admin/

Disallow: /cache/

Disallow: /extensions/

Disallow: /img/

Disallow: /include/

Disallow: /lang/

Allow: /*.css

Allow: /*.js

Я не знаю, кто оценивал их ум, и по какому поводу они что-то пишут. Файл роботс пишется конкретно для каждого сайта, а не "вообще". Правило  Allow пишется в том случае, когда для родительского каталога написано правило  Disallow. Иначе оно лишнее. То есть писать  Allow: /*.css имеет смысл только в том случае, если на страницах, предназначенных для сканирования, используются файлы CSS, размещённые в каких-либо запрещённых для сканирования каталогах - например,  /extensions/ (что вполне вероятно) или  /lang/ (что маловероятно). Поэтому в этом случае надо либо написать конкретно  Allow: /extensions/*.css, либо "перезаложиться" и написать  Allow: /*.css, как пишут "умные люди",  не рассчитывающие на ум читателей.

В общем случае - да,  вписывать эти 2 строчки имеет смысл для движков со сложной структурой, чтобы не заморачиваться выяснением конкретики по файлам css и js,  или чтобы сократить длину и количество строчек в файле роботс.

Вы прям отлично написали и максимально понятно. Всё понял. По этому пункту больше не вопросов. Подскажите ещё, пожалуйста, про вот это " Disallow: *pid*  (не уверен что правильно написано)" это важный параметр. По вот такой ссылке идут дубли статей https://site.ru/viewtopic.php?pid=253#p253&nbsp такая ссылка получается, если зайти в статью прям с морды сайта. Ещё части главной страницы кроме основного "корневой домен" также доступны по ссылке https://site.ru/index.php?cid=3 Не уверен, что и тут я не накосячил. Вообщем с робостом мне всё понятно. Ещё почитал сегодня. Осталось только решить вопросы с этим:

Disallow: *pid*  

Disallow: *cid* 

Я на другом форуме тоже создал тему. И там люди пишут, что будет не лишним прописать директивы и для майл. ру. Решил прописать.

Вот окончательный вариант роботса. Скажите, пожалуйста, всё правильно?

User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /include/
Disallow: /extensions/
Disallow: /lang/
Disallow: *feed*
Disallow: *pid*
Disallow: *statistic*
Disallow: *print*
Disallow: *cid*
Disallow: *userlist*
Disallow: *search*
Disallow: *register*
Disallow: *login*
Disallow: *reputation*

Clean-param: amp&pid&action&print&cid

User-agent: Googlebot
Disallow: /admin/
Disallow: /cache/
Disallow: /extensions/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Disallow: *cid*
Disallow: *pid*

Allow: /*.css
Allow: /*.js

User-agent: Mail.Ru
Disallow: /admin/
Disallow: /cache/
Disallow: /include/
Disallow: /extensions/
Disallow: /lang/
Disallow: *feed*
Disallow: *pid*
Disallow: *statistic*
Disallow: *print*
Disallow: *cid*
Disallow: *userlist*
Disallow: *search*
Disallow: *register*
Disallow: *login*
Disallow: *reputation*

Clean-param: amp&pid&action&print&cid

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /extensions/
Disallow: /img/
Disallow: /include/
Disallow: /lang/
Disallow: *cid*
Disallow: *pid*

Мне кажется да, всё правильно, единственное не уверен я в этих строках:

Disallow: *cid*
Disallow: *pid*

И надо ли их закрывать, ведь поисковые роботы в статью и с морды лезут. Ну и не уверен в правильности написания. Я их понимаю так не индексировать всё на сайте что содержит СИД и ПИД до и после. А если я потом ЧПУ сделаю и в урле будет в словах сид пид?

Ну и не уверен, что клин парамы правильно прописал:

1) Так и не понял он отдельно пишется для всего файла роботса или можно писать для каждого юсер агента.

2) И не уверен, что он правильно написанный у меня.

Мало ли что кто пишет. Надо иногда и самому думать.

Верно. Лан может уберу потом.

Доброго дня всем. Для Гугла стоит прописать это

Disallow: *feed*

Disallow: *statistic*
Disallow: *print*

Disallow: *userlist*
Disallow: *search*
Disallow: *register*
Disallow: *login*
Disallow: *reputation*

Или ему пофиг?

Это я уже понял. Мне бы получить ответ на моё последнее сообщение не считая этого.

Гугл уже достал нереально. Пишите постоянно заблокировано в роботсе,  заблокировано в роботсе. Вот что там заблокировано? Итак всё по минимуму.

User-agent: Googlebot
Disallow: /admin/
Disallow: /cache/
Disallow: /extensions/
Disallow: /include/
Disallow: /lang/

Allow: /*.css
Allow: /*.js