Мишган

optisuit.ru
Рейтинг
73
Регистрация
01.12.2005
2 тэга Host в robots.txt

Вообщем нашел и почитал документацию на сайте. Оказалось все очень просто. Из всех зеркал обнаруженных зеркальщиком индексируются только те которые указаны в директивах Host. То есть если есть 5 зеркал site1.ru ... site5.ru и на каждом такой robots.txt


User-Agent: Yandex
Disallow:
Host: site1.ru
Host: site2.ru

то яндекс будет индексировать только зеркала site1.ru и site2.ru из которых он сам выберет основное. Если бы мы указали одно зеркало то выбора у него не было бы.

2 тэга Host в robots.txt

Ctulhu, Я не говорю что я пропишу два раза хост. Я говорю про сайт на котором это МОЖЕТ быть сделано и мне интересно какие это может иметь последствия.

shikari, Зачем это может быть использовано? Ну например чтобы обмануть проверяльщики ссылок и против этого обмана нужно защищаться.

shikari, Вы не правы. Стандарт указывает однозначно что в случае ошибки должна игнорироваться вся секция. Однако у Яндекса действительно свое мнение на этот счет. И откуда информация что зеркальщик возьмет именно первую директиву или это догадка?

2 тэга Host в robots.txt
baltic13:
если robots.txt составлен не по стандарту робот действует по своей интрукции ,которую кроме разработчиков, естественно, не знает, поэтому все варианты - имхи.
может даже каждый раз по разному будет восприниматься.

Стандарт считает по другому. Если ошибка в секции то секция должна быть проигнорирована целиком. Но так как яндекс "идет своим путем", то мне интересно какое зеркало будет основным.

2 тэга Host в robots.txt
Елистратов:
Все варианты не верны...Игнор всего после второй дерективы хост:)

А откуда такая инфа? согласно спеке яндекс должен проигнорить всю секцию а согласно своей интерпретации спеки ;-) он должен заигнорить вторую директиву.

2 тэга Host в robots.txt
Елистратов:
Все варианты не верны...Игнор всего после второй дерективы хост:)

Вариант. Игнор всего или только яндексовой секции?

2 тэга Host в robots.txt
sanch:
Я думаю одно из этих вариантов...имхо

А зачем вообще задаваться таким вопросом? и что вам даст правильный ответ на него

А почему не 5ый вариант?

Задаваться этим вопросом нужно. Хотя бы для того чтобы понять какой домен считается основным если на нем такой роботс.

2 тэга Host в robots.txt

sanch, я знаю что это противоречит. Вопрос в поведении яндекса при встрече с таким роботсом.

Вариантов 5:

1) Игнор всего файла

2) Игнор своей секции

3) Игнор обеих директив

4) Игнор первой директивы

5) Игнор второй директивы

Вопрос в том, какой вариат избирает Яндекс

Анализатор позиций Яндекса.
Кыся:
А зачем по 10 позиций то брать, можно же сразу, например, 100 взять, т.е. сколько поисковых запросов нужно, столько же запросов к Я.XML и будет.

Вроде черех xml больше 20 не получить. Может щас что изменилось?

Анализатор позиций Яндекса.
T.R.O.N:
Пока работает. Апплеты не делал, поэтому на 100% сказать не могу, а вот флеш - 100% пашет. Запросы как черех XML, так и обычные GET - идут без запросов, если флеш активирован. (работает в плеирах 6,7,8)(естественно win + IE) (с 9 не пробовал, но думаю ничего не поменялось). Заплатки стоят для пионеров.

Язык там ЭктивСкрипт? Кроме стд установки флэша чтонить надо? Если это так, то спасибо буду использовать в своих разработках

Анализатор позиций Яндекса.
T.R.O.N:
Вы видимо путает вещи.
Не нужно иметь доп-разрешений, чтобы выполнить GET запрос.
Есть, но для других вещей. Выполнить GET можно.
Ну создать виндовую WM не проблема. Да и флеш, влюбом варианте, поддерживается.

Я вообщето сертифицированный жаба девелопер;-) 100% нельзя сделать никакой tcp коннект к серверу отличному от того что загрузил апплет. Если сделаете это без цифровой подписи и доп настроек jvm то с меня пиво;-)

Насчет флэша я тоже уверен. Потому как браузер не спрашивает загрузить ли ему флэш, просто исполняет и все. Во всяком случае алерт должен быть.

1... 373839404142434445 ...88
Всего: 874