Предлагаемое расширение стандарта robots.txt

Раз на сайте Яндекса вывешено, стало быть работает.

дык это... можно уже клеить конкурентов? 😂

А как ты их приклеешь? Ты ж свой сайт в ихнем robots.txt прописать не сможешь. :) К тому же, я думаю, это же не автоматом работает, а только для тех сайтов, которые будут признаны зеркалами. Я так понимаю. Типа нашел робот Яндекса эту директиву. Сразу шасть зеркальщиком на тот сайт, что в Host: прописан. Ага, смотрит - точно зеркало. И давай их клеить, и главное назначать, то которое в Host:

P.S. Кстати, а способом, который AiK предлагал, действительно, теоретически можно было б конкурента приклеить. :D У него ведь получалась директива "вот тот - не главный", а у Яндекса - "вон тот - главный".

Дык вроде написано, что если зеркала на одном IP

Предусмотрительные, гады. :)

Кстати говоря, если это действительно будет применяться только к серверам на одном ip, то будет весело - ибо, чтобы сервер был виден под разными доменами, их надо туда сознательно направить, а потом сознательно продвигать - с разными доменными именами. Надеяться на то, что человек, все это сделавший, захочет, после всех усилий, сам склеить все домены, по меньшей мере, наивно.

Отцы! Тут ключевое слово 1 (один) robots.txt на все домены.

Если у конкурента robots.txt другой, то как бы это кому-то не хотелось - это уже не зеркало :)

1. Неудачно используется термин "зеркало". Даже Martijn не сразу понял. То же самое относится и ко многим участникам дискуссии. Речь идет не о "зеркалах" в традиционном смысле слова, а об нежелательных алиасах имени хоста. То есть о ситуации, когда на разные имена хостов отвечает один и тот же физический сервер с идентичным (по смыслу) содержанием.

Классические ситуации: разные порты, www/без www и т.д.

В таких случаях один и тот же физический файл robots.txt выдается под разными URL-ами. http://site.ru/robots.txt http://www.site.ru/robots.txt http://www.site.ru:8081/robots.txt и т.д. и т.п.

Никакой запрет конкурентов невозможен, о котором пишут участник дискуссии, конечно же невозможен.

2. Как писал Саша, поисковая система не в состоянии в общем случае понять какое имя владелец сайт хочет видеть в качестве основного. То есть автоматический процесс каноникализации имени хоста всегда происходит с ошибками.

Мы пытались "научить" мастеров выдавать разный robots.txt для разных имен хостов и рекомендовали в неканонических случаях запрещать весь сайт от корня.

Однако по самым разным причинам это принесло больше вреда, чем пользы.

Отсюда предложение: использовать нестандартное расширения формата с целью указания канонического имени хоста.

3. Очевидно, директива Host в контексте термина Disallow (сразу после него) и, вообще, в контексте "запретительного" файла robots.txt не очень понятна.

Возможно нужно переименовать эту директиву в AllowHost или AllowOnlyHost или в CanonicalHostName или еще как-то.

Илья

Ну, в классических ситуациях разобраться как раз несложно - если по www вообще хоть как-то отвечает, то ему и быть основным.

С нежелательными же алиасами другого вида ситуация как раз такая, как я писал выше - если они возникают и представляют собой зеркало основного сайта - чаще всего просто wildcards включают, - то это происходит по воле вебмастера и он не будет ничего склеивать.

> Ну, в классических ситуациях разобраться как раз несложно - если по www вообще хоть как-то отвечает, то ему и быть основным.

К сожалению, есть некоторый процент вебмастеров, которые придерживаются иной точки зрения.

> если они возникают и представляют собой зеркало основного сайта

Значит, владелец сайта заранее, на всякий случай (например, опасаясь киберсквоттеров и тайпсквоттеров) закупил еще несколько доменных имен и "запарковал" все на свой основной сайт.