2 тэга Host в robots.txt

Стандарт считает по другому. Если ошибка в секции то секция должна быть проигнорирована целиком. Но так как яндекс "идет своим путем", то мне интересно какое зеркало будет основным.

У меня один вопрос? Нафига два раза хост? Чтоб для верняка? Чтоб яндекс допер, да! японамама, точно хост. Хостхост! 😂

решил зайти :)

1. Правила robots.txt:

Любая неизвестная директива просто игнорируется и никак не влияет на парсинг остальных директив в секции. И до, и после неизвестной директивы.

2. Яндекс-индексирующий робот:

Директива Host сейчас не используется. Хотя, вообще говоря (на случай, если вдруг будет использоваться), валидны все директивы Host.

3. Яндекс-робот-заркальщик:

Используется первая директива Host из встретившихся.

Это чисто теоретический вопрос или это знание как-то можно использовать на практике?

Третий!

На хост яндексу плевать с высокой колокольни - сколько ни проверяли влияние, кроме "может быть оно как-то смутно влияет" результата нет.

то есть ? насколько я понимаю, если прописано, к примеру:

User-agent: *

Host: www.mysite.ru

то индексация http://mysite.ru для Янда запрещена.

Костя Джипег, вовсе нет. Хватает случаев индексации сайтов не по тому адресу, что прописан в хост. При том, что на всех зеркалах в хост прописан один сайт. Да Вы сами проверьте на ненужных зеркалах, проверка-то простая.

-=Илья=-это так

но, все же, прописка хоста не помешает

имхо кнчн.

Ctulhu, Я не говорю что я пропишу два раза хост. Я говорю про сайт на котором это МОЖЕТ быть сделано и мне интересно какие это может иметь последствия.

shikari, Зачем это может быть использовано? Ну например чтобы обмануть проверяльщики ссылок и против этого обмана нужно защищаться.

shikari, Вы не правы. Стандарт указывает однозначно что в случае ошибки должна игнорироваться вся секция. Однако у Яндекса действительно свое мнение на этот счет. И откуда информация что зеркальщик возьмет именно первую директиву или это догадка?

Вообщем нашел и почитал документацию на сайте. Оказалось все очень просто. Из всех зеркал обнаруженных зеркальщиком индексируются только те которые указаны в директивах Host. То есть если есть 5 зеркал site1.ru ... site5.ru и на каждом такой robots.txt

User-Agent: Yandex
Disallow:
Host: site1.ru
Host: site2.ru

то яндекс будет индексировать только зеркала site1.ru и site2.ru из которых он сам выберет основное. Если бы мы указали одно зеркало то выбора у него не было бы.