Закрыть домены 3 уровня и выше в файле Robots.txt

GZ
На сайте с 04.12.2019
Offline
22
407

Всем привет.

Подскажите, как можно закрыть домены 3 уровня и выше в файле роботс, желательно 1 строчкой?(Движок WP)

Антоний Казанский
На сайте с 12.04.2007
Offline
665
#1
GrigoryZapalov :

Всем привет.

Подскажите, как можно закрыть домены 3 уровня и выше в файле роботс, желательно 1 строчкой?(Движок WP)

У каждого доменного уровня (кроме первого) должен быть свой robots.txt

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Научим создавать: боты, парсеры, работать с профилями для ПФ, присоединяйтесь -> https://goo.su/LrCGj
MrLexKo
На сайте с 10.12.2010
Offline
103
#2
Можно генерировать robots.txt налету, написать php скрипт, который будет определять уровень домена  и взависимости от этого закрывать индекцацию.
GZ
На сайте с 04.12.2019
Offline
22
#3
Я думал можно у главного домена прописать что-то типо Disallow: *.domain.ru и закроются все домены, кроме основного)
Антоний Казанский
На сайте с 12.04.2007
Offline
665
#4
GrigoryZapalov #:
Я думал можно у главного домена прописать что-то типо Disallow: *.domain.ru и закроются все домены, кроме основного)

Нет, для каждого поддомена 3-го уровня надо создавать свой robots.txt (физически или виртуально) и указывать инструкцию Disallow.

Виктор Петров
На сайте с 05.01.2020
Offline
240
#5
Антоний Казанский #:
Нет, для каждого поддомена 3-го уровня надо создавать свой robots.txt (физически или виртуально) и указывать инструкцию Disallow.

Плюсану.
Субдомены - отдельные сайты, и robots.txt домена второго уровня ими не управляет. Их надо закрывать собственными robots.txt.
И к слову, robots.txt - это лишь рекомендация. Если их и впрямь надо от ПСов подальше держать - нужны всё же другие средства.

GZ
На сайте с 04.12.2019
Offline
22
#6
спасибо всем!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий