Вопрос по robots.txt

Если основной сайт без www:

И "301 редирект" настройте. То, что в кавычках наберите в Яндексе, поймёте про что это я.

основное нужно прописать в .htaccess

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^site\.ru

RewriteRule ^(.*)$ http://www.site.ru/$1 [R=permanent,L] . 



или альтернативный синтаксис:

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]

RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

а в роботсе только указать - какой домен считать основным..

Директива Host обязательна.

301 редирект желателен, но необязателен.

Самое главное определитесь какое у Вас будет главное зеркало www .site.ru или просто site.ru.

Были случаи когда стоял редирект на www а в robots.txt указано host: site.ru )))

И кто победил? :)

😂 исправили ошибку вовремя.

А если бы не исправили? Сайт бы в индекс не попал?

У меня 2 месяца на одном из блогов в роботс был вообще другой сайт указан : )

Сайт уже был в индексе:)