ТС, что-то делаете не так:
Только плагин бесполезный (просто пример) и работать не будет , т.к. в панели уже давно есть опция:
P.S.: подозреваю что в папку /usr/local/mgr5/addon/ положили файл bitrix без расширения .xml.
https://www.msk-ix.ru/members/
Если одинаковые правила и даже не поддерживаемые той или иной ПС нет смысла разделять, неподходящие правила та или иная ПС их проигнорирует, "усвояемых кроликов" прочтёт. Если хочешь что-то разрешить/запретить для конкретных ПС, то тогда да, грубо говоря, * поставил на запрет, нужным разрешил или наоборот по отдельности, а если позволяет возможность, то использовать метатеги, как и написали выше тоже моё ИМХО.
Также можно запретить или разрешить индексацию разным ботам одной ПС, вроде эти ссылки ;):
https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html#robot-in-logs
https://support.google.com/webmasters/answer/1061943?hl=ru
Robots.txt - индивидуальный, его нужно создавать самому, для своего сайта, а не копировать у других, ну или по крайней мере, если от CMS, изменить/добавить/вообще не заморачиваться.🍻
Ну и проверять конечно, то что создал, в панелях ПС вебмастера.🚬🍻☝🍻🍾🚬🍻;)
ТС, robots.txt индивидуален, делай свой как тебе нужно, не надо оглядываться.;)
А если нет?
Тестовый период на дедик с windows? Жесть! И даже не пятница.:)
Просто в vhosts nginx прописано так:
return 301 https://$host:443$request_uri;
А не так,:
return 301 https://$host$request_uri;
ISPmanager например, первый вариант принудительно подставляет, просто так не изменишь, но шаблонизатор панели это решает.
Без разницы, главное изначально определиться, только зачем вам лишние четыре символа, www уже давно прошлое.
Сайт на https переведите.
Ни чего они не прикрывают, всё это есть в тарифах и соглашении:
Около девяти лет не заходил в аккаунт, сейчас (для интереса) зашёл без проблем, на счету для вывода аж 0,02 руб. :)
