Такое поведение может быть связано с настройками Nginx, которые определяют поведение по умолчанию для поддоменов. Скорее всего, на сервере настроен конфигурационный файл, который перехватывает запросы к robots.txt и возвращает стандартный (запрещающий) файл.
Все файлы nginx проверил естественно, там вообще нет упоминания про robots.txt, мало того включил поиск по всем файлам на сервере с упоминанием "robots.txt" или "Disallow:", кое что было найдено, но отношения к проблеме не имели.
Вот это помогло, то есть теперь сервер обращается к файлу а не генерит его:
server {
Но все таки откуда этот дефолтный robots.txt берется непонятно.
И по поводу большого
количества DNS серверов.
Похоже, что Вы хотите наколхозить что-то типа (ucoz.ru), при этом для решения этой задачи у Вас нет ни знаний, ни умений, ни способностей. Вам было бы лучше не тратить зря время и другие ресурсы, а сотрудничать со мной для взаимной полезности.
могут только помочь Вам заблуждаться.
Просто не успел почистить ns еще
google.com / nginx "robots.txt"
How to set robots.txt globally in nginx for all virtual hosts
serverfault.com/questions/549332/how-to-set-robots-txt-globally-in-nginx-for-all-virtual-hosts
You can set the contents of the robots.txt file directly in the nginx config:
Возможно nginx сочиняет.
Как создать автоматом robots.txt через nginx понял, а вот как отключить? В настройках nginx и apache нигде нет упоминания про robots.txt.
Вот созданный домен, вообще ничего нет, тем более CMS:
http://aaa.bom.su/robots.txt
http://aaa.bom.su/robots1.txt
Два одинаковых файла лежат к корне сайта. Почему robots.txt берется не из корня и откуда он вообще берется?
При добавлении поддомена панель не прописывает запись А для основного домена.
Приходится вручную добавлять
sub.domain.ru. A "ip address"
Начинает работать, сертификаты выдаются.
Потому что место стоит денег. Почему в автобусе нельзя бесплатно проехать? Вот примерно потому.
Так я же не против этого, готов платить за место, а мне говорят что у тарифа 60 гб, максимум 100 гб. А мне нужно 200 гб.
