Fastpanel и robots.txt

чето мне кажется, что фастпанель тут ни причем:)

а дело в CMS.

Вот созданный домен, вообще ничего нет,  тем более CMS:

http://aaa.bom.su/robots.txt

http://aaa.bom.su/robots1.txt

Два одинаковых файла лежат к корне сайта. Почему  robots.txt берется не из корня и откуда он вообще берется?

google.com / nginx "robots.txt"

How to set robots.txt globally in nginx for all virtual hosts

serverfault.com/questions/549332/how-to-set-robots-txt-globally-in-nginx-for-all-virtual-hosts

You can set the contents of the robots.txt file directly in the nginx config:

Возможно nginx сочиняет.

А зачем Вам так много

glue DNS серверов?

Фастпанель НЕ трогает роботсы. 

Возможно через настройки никак,

потому что может быть по умолчанию.

А если в файле нужен другой текст, то настраивать явно для каждого

используемого имени домена, как сделано для www dot bom dot su

У меня нет времени уточнять,

сами читайте и пробуйте.

google.com / site:nginx.org "robots.txt" default

Там много похожих задач.

И по поводу большого

количества DNS серверов.

Похоже, что Вы хотите наколхозить что-то типа (ucoz.ru), при этом для решения этой задачи у Вас нет ни знаний, ни умений, ни способностей. Вам было бы лучше не тратить зря время и другие ресурсы, а сотрудничать со мной для взаимной полезности.

Поиски бесплатных советов на форуме

могут только помочь Вам заблуждаться.

А в чатжпт пробывали? )

Такое поведение может быть связано с настройками Nginx, которые определяют поведение по умолчанию для поддоменов. Скорее всего, на сервере настроен конфигурационный файл, который перехватывает запросы к robots.txt и возвращает стандартный (запрещающий) файл.

Шаги для диагностики и исправления проблемы

1. Проверьте конфигурацию Nginx

Откройте основной конфигурационный файл Nginx, который может находиться в одном из следующих мест:

• /etc/nginx/nginx.conf
• /etc/nginx/sies-enabled/default
• /etc/nginx/conf.d/fastpanel.conf (или другой файл FastPanel)

Ищите директиву, которая управляет обработкой запроса к robots.txt . Например:

Например:

location = /robots.txt { default_type text/plain; return 200 "User-agent: *\nDisallow: /\n"; }

Если такой блок найден, он заменяет любые robots.txt из корневой папки сайта. Удалите или измените этот блок, если он существует.

Если у вас используется wildcard для поддоменов (например, server_name *.site.ru; ), посмотрите настройки, связанные с поддоменами. Для поддоменов может быть прописана обработка robots.txt в конфигурации:

server {
    server_name *.site.ru;

    location = /robots.txt {
        default_type text/plain;
        return 200 "User-agent: *\nDisallow: /\n";
    }

    root /path/to/default/site;
}

В этом случае отредактируйте этот блок или удалите его.

3. Исключите глобальные настройки Nginx

Иногда robots.txt может возвращаться благодаря глобальным настройкам Nginx (например, через include-файлы). Проверьте их:

grep -R "robots.txt" /etc/nginx/

Это поможет найти любые упоминания robots.txt в конфигурации.

4. Проверьте FastPanel

FastPanel иногда создает свои шаблоны конфигураций. Убедитесь, что для конкретного домена или поддоменов не используются специальные правила. Для этого проверьте файлы конфигурации, которые FastPanel мог создать, например, в /etc/nginx/fastpanel/ .

5. Измените правила в Nginx

Чтобы исправить проблему, вы можете добавить такие настройки:

• Для основного домена:

location = /robots.txt {
    root /path/to/main/site;
}

Для поддоменов:

server {
    server_name *.site.ru;

    location = /robots.txt {
        root /path/to/main/site; # или конкретный путь
    }
}

6. Перезапустите Nginx

После внесения изменений перезапустите Nginx:

sudo systemctl reload nginx

7. Проверка

Убедитесь, что изменения применились:

curl -I http://sub.site.ru/robots.txt

Надо по факту смотреть сервер и кто отвечает за этот файл. Панели сама ничего не генерирует, ей это сдалось.

Скорее всего не там и не то смотрите. 

Зеркалится 45.147.201.127/robots.txt

зайдите в ручная настройка. может там правило какое то прописано