Приоритет при склейке

Да, скорее всего, главный фактор - временной. Я однажды, не дожидаясь, пока новый домен зарегистрируется и пропишется в ДНСах, дал ссылку на технический адрес сайта, и Яндекс его поймал. Давно уже все ссылки в сети до единой ведут на главный домен, а Яндекс все знай себе выдает технический.

Кстати, вопрос по теме. Как будет правильнее написать robots.txt для устранения этого недоразумения?

UserAgent: *

Host: главное_зеркало.ru

UserAgent: *

Host: www.главное_зеркало.ru

UserAgent: *

Disallow:

Host: www.главное_зеркало.ru

Я провожу обмен бизнес-статьями. Как сделать так, чтобы их не склеили?

Вообще, что является главным критерием склейки?

- название html файла?

- title?

- meta?

- тексты ссылок в статье?

- сама статья?

Если всё, кроме текста статьи разное, то что? Я будет посимвольно сравнивать?

pole,

Вы говорите о полной склейке или о "нечетких" дублях?

Основным критерием является текст статьи (html подавляется)

Если одинаковые статьи размещены на различных сайтах, это еще не повод для их склейки.

Имхо, существует некое "критическое количество" одинаковых стариц, после которого начинается склеивание, или удаление/занижение дублей.

то есть два домена должны в какой то определенной степени дублироваться.. а если зеркалится только одна страница? с сайта?

A.Perez,

Может быть расценена как дубликат. Тогда индексироваться будет тольок одна, которая стрше. (Но такое наступает, имхо, когда количество дублей,значительное)

На меня сейчас ссылается порядка 20 почти одинковых бизнес-статей с разных сайтов. Но если смотреть тех, кто на меня ссылается через ЯБар, то показывается всегда одна-две статьи. Причём каждый раз (раз в два дня) разные. Типа одни статьи на меня не ссылаются, а другие нет. Т.е. их вообще нет в ссылающихся страницах. Потом одни появляются, а другие пропадают. Потом снова наоборот. И такая чехарда постоянно. В чём может быть причина?

Правильнее :

Директива Host не входит в стандарт robots.txt и поддерживается только яндексом

Да T.R.O.N, абсолютно прав.. эксприменты показали:

1. Страница которая старше попадает в базу и идет основной, а дубли выкидываются.

2. Самое интересное: страница которая меньше(по размеру) считается основновной в том случае если дата одинакова!(Здесь можно понять янексоидов.. они же борються за кол-во полезной инфы с базе, и нафига хранить документ больший по объему)

ЗЫ: Кстати ИМХО

А я вот полагаю, что в автоматическом варианте и без роботс.тхт главным вполне могут выбрать тот, у которого больше веса (ссылок извнек примеру).

Во всяком случае зеркала с www и без у меня похоже именно так выбирались (роботса не было)

Да, примерно так я тоже полагаю.

Только иногда они спонтанно расклеиваться умеют (были прецеденты), так что с роботсом оно как-то понадежнее.