Вообщем нашел и почитал документацию на сайте. Оказалось все очень просто. Из всех зеркал обнаруженных зеркальщиком индексируются только те которые указаны в директивах Host. То есть если есть 5 зеркал site1.ru ... site5.ru и на каждом такой robots.txt
то яндекс будет индексировать только зеркала site1.ru и site2.ru из которых он сам выберет основное. Если бы мы указали одно зеркало то выбора у него не было бы.
Ctulhu, Я не говорю что я пропишу два раза хост. Я говорю про сайт на котором это МОЖЕТ быть сделано и мне интересно какие это может иметь последствия.
shikari, Зачем это может быть использовано? Ну например чтобы обмануть проверяльщики ссылок и против этого обмана нужно защищаться.
shikari, Вы не правы. Стандарт указывает однозначно что в случае ошибки должна игнорироваться вся секция. Однако у Яндекса действительно свое мнение на этот счет. И откуда информация что зеркальщик возьмет именно первую директиву или это догадка?
baltic13: если robots.txt составлен не по стандарту робот действует по своей интрукции ,которую кроме разработчиков, естественно, не знает, поэтому все варианты - имхи.
может даже каждый раз по разному будет восприниматься.
Стандарт считает по другому. Если ошибка в секции то секция должна быть проигнорирована целиком. Но так как яндекс "идет своим путем", то мне интересно какое зеркало будет основным.
Елистратов: Все варианты не верны...Игнор всего после второй дерективы хост:)
А откуда такая инфа? согласно спеке яндекс должен проигнорить всю секцию а согласно своей интерпретации спеки ;-) он должен заигнорить вторую директиву.
T.R.O.N: Пока работает. Апплеты не делал, поэтому на 100% сказать не могу, а вот флеш - 100% пашет. Запросы как черех XML, так и обычные GET - идут без запросов, если флеш активирован. (работает в плеирах 6,7,8)(естественно win + IE) (с 9 не пробовал, но думаю ничего не поменялось). Заплатки стоят для пионеров.
Язык там ЭктивСкрипт? Кроме стд установки флэша чтонить надо? Если это так, то спасибо буду использовать в своих разработках
T.R.O.N: Вы видимо путает вещи.
Не нужно иметь доп-разрешений, чтобы выполнить GET запрос.
Есть, но для других вещей. Выполнить GET можно.
Ну создать виндовую WM не проблема. Да и флеш, влюбом варианте, поддерживается.
Я вообщето сертифицированный жаба девелопер;-) 100% нельзя сделать никакой tcp коннект к серверу отличному от того что загрузил апплет. Если сделаете это без цифровой подписи и доп настроек jvm то с меня пиво;-)
Насчет флэша я тоже уверен. Потому как браузер не спрашивает загрузить ли ему флэш, просто исполняет и все. Во всяком случае алерт должен быть.
Вообщем нашел и почитал документацию на сайте. Оказалось все очень просто. Из всех зеркал обнаруженных зеркальщиком индексируются только те которые указаны в директивах Host. То есть если есть 5 зеркал site1.ru ... site5.ru и на каждом такой robots.txt
то яндекс будет индексировать только зеркала site1.ru и site2.ru из которых он сам выберет основное. Если бы мы указали одно зеркало то выбора у него не было бы.
Ctulhu, Я не говорю что я пропишу два раза хост. Я говорю про сайт на котором это МОЖЕТ быть сделано и мне интересно какие это может иметь последствия.
shikari, Зачем это может быть использовано? Ну например чтобы обмануть проверяльщики ссылок и против этого обмана нужно защищаться.
shikari, Вы не правы. Стандарт указывает однозначно что в случае ошибки должна игнорироваться вся секция. Однако у Яндекса действительно свое мнение на этот счет. И откуда информация что зеркальщик возьмет именно первую директиву или это догадка?
если robots.txt составлен не по стандарту робот действует по своей интрукции ,которую кроме разработчиков, естественно, не знает, поэтому все варианты - имхи.
может даже каждый раз по разному будет восприниматься.
Стандарт считает по другому. Если ошибка в секции то секция должна быть проигнорирована целиком. Но так как яндекс "идет своим путем", то мне интересно какое зеркало будет основным.
Все варианты не верны...Игнор всего после второй дерективы хост:)
А откуда такая инфа? согласно спеке яндекс должен проигнорить всю секцию а согласно своей интерпретации спеки ;-) он должен заигнорить вторую директиву.
Все варианты не верны...Игнор всего после второй дерективы хост:)
Вариант. Игнор всего или только яндексовой секции?
Я думаю одно из этих вариантов...имхо
А зачем вообще задаваться таким вопросом? и что вам даст правильный ответ на него
А почему не 5ый вариант?
Задаваться этим вопросом нужно. Хотя бы для того чтобы понять какой домен считается основным если на нем такой роботс.
sanch, я знаю что это противоречит. Вопрос в поведении яндекса при встрече с таким роботсом.
Вариантов 5:
1) Игнор всего файла
2) Игнор своей секции
3) Игнор обеих директив
4) Игнор первой директивы
5) Игнор второй директивы
Вопрос в том, какой вариат избирает Яндекс
А зачем по 10 позиций то брать, можно же сразу, например, 100 взять, т.е. сколько поисковых запросов нужно, столько же запросов к Я.XML и будет.
Вроде черех xml больше 20 не получить. Может щас что изменилось?
Пока работает. Апплеты не делал, поэтому на 100% сказать не могу, а вот флеш - 100% пашет. Запросы как черех XML, так и обычные GET - идут без запросов, если флеш активирован. (работает в плеирах 6,7,8)(естественно win + IE) (с 9 не пробовал, но думаю ничего не поменялось). Заплатки стоят для пионеров.
Язык там ЭктивСкрипт? Кроме стд установки флэша чтонить надо? Если это так, то спасибо буду использовать в своих разработках
Вы видимо путает вещи.
Не нужно иметь доп-разрешений, чтобы выполнить GET запрос.
Есть, но для других вещей. Выполнить GET можно.
Ну создать виндовую WM не проблема. Да и флеш, влюбом варианте, поддерживается.
Я вообщето сертифицированный жаба девелопер;-) 100% нельзя сделать никакой tcp коннект к серверу отличному от того что загрузил апплет. Если сделаете это без цифровой подписи и доп настроек jvm то с меня пиво;-)
Насчет флэша я тоже уверен. Потому как браузер не спрашивает загрузить ли ему флэш, просто исполняет и все. Во всяком случае алерт должен быть.