Наблюдения за индексацией поддоменов

12 3
T
На сайте с 01.10.2004
Offline
73
1466

Большой сайт разбит на множество поддоменов по темам, при этом основная масса контента (80%) находится на основном домене.

На сайте ведется отдельный лог обращений робота Яндекса к документам. И вот какую особенность я заметил:

  • За один "сеанс индексирования" Яндекс берет равное количество документов со всех поддоменов, независимо от количества документов в данном поддомене и количества ссылок на поддомен;
  • Порядок обращения к поддоменам следующий: сначала берутся докумены с основного домена, потом со всех остальных в алфавитном порядке
  • Поведение робота по отношению к поддоменам в течение одного сеанса индексирования схожее. Например, если за сеанс запрашивается главная страница основного домена, то будут запрошены и главные страницы поддоменов, и наоборот - не запрашивается ни одна главная.

Предварительные выводы:

  • Разбиение на поддомены вредно для индексации, если есть существенный перекос в объеме информации на разных поддоменах. Будут очень медленно индексироваться большие поддомены (подтверждается на практике).
  • Вредно разбиение сайта на большое количество поддоменов вообще, так как Яндекс за один сеанс старается охватить все поддомены при этом уменьшая количество индексируемых документов для каждого.

Прошу поделится своими наблюдениями и подискутировать по данной теме.

Елистратов
На сайте с 21.04.2007
Offline
229
#1
telo:


Предварительные выводы:
  • Разбиение на поддомены вредно для индексации, если есть существенный перекос в объеме информации на разных поддоменах. Будут очень медленно индексироваться большие поддомены (подтверждается на практике).
  • Вредно разбиение сайта на большое количество поддоменов вообще, так как Яндекс за один сеанс старается охватить все поддомены при этом уменьшая количество индексируемых документов для каждого.


Прошу поделится своими наблюдениями и подискутировать по данной теме.

Улыбнуло...

Вот не везет ребятам у которых сайт например в зоне msk.ru😂

Об этом видно вы не думали когда писали?

C уважением, Евгений. Покупаю аккаунты AdSense ()
T
На сайте с 01.10.2004
Offline
73
#2
Елистратов:
Улыбнуло...
Вот не везет ребятам у которых сайт например в зоне msk.ru😂
Об этом видно вы не думали когда писали?

Конечно не думал! А при чем тут они? Такого рода домены (в том числе домены бесплатных хостингов) тут не при чем.

Елистратов
На сайте с 21.04.2007
Offline
229
#3
telo:
Конечно не думал! А при чем тут они? Такого рода домены (в том числе домены бесплатных хостингов) тут не при чем.

Угу...

Значит яндекс различает бесплатные и платные домены? И каким же способом? если не секрет...

Нет ну понятно про регеональные домены - msk.ru, spb.ru, nsk.ru и так далее...

Яндекс их различает, но различает только их региональную принадлежность. На индексацию это ни как не сказываеться.

И как быть с фри хостами? Как их он различает?

Подумали? а теперь вопрос: для чего все эти заморочки яндексу?

Елистратов
На сайте с 21.04.2007
Offline
229
#4

telo , вот еще над чем подумайте:

Допустим есть два новых сайта(домен и поддомен)...Ждут апа...Робот уже пошарился по ним...

Если ваши суждения были бы верны то количество проиндексированных страниц после апа должно быть одинаковое. На самом деле это так?

naster
На сайте с 01.06.2006
Offline
244
#5

хм.. и по сколько он доков хватает за раз и поддоменов...?

Megavolt
На сайте с 23.12.2005
Offline
179
#6
Елистратов:
для чего все эти заморочки яндексу?

а где вы видите заморочки? наоброт, все алгоритмически ровненько.

telo, сколько доменов и сколько поддоменов учавствовало в выборке?

Иногда лучше жевать.... (С)
Елистратов
На сайте с 21.04.2007
Offline
229
#7
Megavolt:
а где вы видите заморочки? наоброт, все алгоритмически ровненько.

Ну как где...Ну допустим с бесплатными региональными доменами все понятно здесь может быть и по другому все...А с фрихостами? Их не так мало...А частота индексации? разве она всегда одинакова на основном домене и поддомене? Нет.

Если бы суждения telo были бы верны то в апы на домены и поддомены добавлялось одинаковое количество проиндексированных страниц, а этого не наблюдаеться.

Ну в общем уже и этого хватает опровергнуть суждения telo .

Следует миф развеян...

T
На сайте с 01.10.2004
Offline
73
#8
Елистратов:
Ну как где...Ну допустим с бесплатными региональными доменами все понятно здесь может быть и по другому все...А с фрихостами? Их не так мало...А частота индексации? разве она всегда одинакова на основном домене и поддомене? Нет.
Если бы суждения telo были бы верны то в апы на домены и поддомены добавлялось одинаковое количество проиндексированных страниц, а этого не наблюдаеться.
Ну в общем уже и этого хватает опровергнуть суждения telo .
Следует миф развеян...

Давайте мухи отдельно, котлеты отдельно... Я говорил о количестве взятых роботом страниц по логам. А то о чем вы говорите: количество показанных Яндексом страниц, которые он посчитал нужным включить в базу. Это раз. Во-вторых, между апами может быть несколько десятков сеансов индексации и не обязательно робот все время берет разные, не проиндексированные им ранее страницы, он может сожрать одну и туже страницу поддомена несколько раз.

Миф пока не развеян...

Елистратов:
И как быть с фри хостами? Как их он различает?
Подумали? а теперь вопрос: для чего все эти заморочки яндексу?

Тут и думать нечего, давно все известно. Яндекс просто знает все домены бесплатных хостингов. Их не так много. Никаких заморочек.

Megavolt:
telo, сколько доменов и сколько поддоменов учавствовало в выборке?

1 домен и 20 его поддоменов. Суммарно в Яндексе 70000 страниц. Наблюдается на протяжении 3 месяцев.

Елистратов:
А частота индексации? разве она всегда одинакова на основном домене и поддомене? Нет.

В моем случае - да.

p.s. Все это касается основного робота. Быстроробот у меня, судя по логам, обращается ТОЛЬКО к страницам основного домена, хотя "прокачаны" поддомены прилично.

Елистратов
На сайте с 21.04.2007
Offline
229
#9
telo:
Давайте мухи отдельно, котлеты отдельно... Я говорил о количестве взятых роботом страниц по логам. А то о чем вы говорите: количество показанных Яндексом страниц, которые он посчитал нужным включить в базу. Это раз. Во-вторых, между апами может быть несколько десятков сеансов индексации и не обязательно робот все время берет разные, не проиндексированные им ранее страницы, он может сожрать одну и туже страницу поддомена несколько раз.
Миф пока не развеян...

Итакс...Далеко ходит не будем. Возмем к примеру searchengines.ru и forum.searchengines.ru

Значит по вашему при одном сеансе индексации Яндекс схавает и там и там одинаковое количество страниц?

Это уже бред...Полюбому робот реже ходит на searchengines.ru чем forum.searchengines.ru так как есть большая раздница в обновлении данных доменов.

На форуме создаеться несколько собщений в минуту. На самом сайте несколько раз в неделю происходит обновление.

T
На сайте с 01.10.2004
Offline
73
#10
Елистратов:
Итакс...Далеко ходит не будем. Возмем к примеру searchengines.ru и forum.searchengines.ru
Значит по вашему при одном сеансе индексации Яндекс схавает и там и там одинаковое количество страниц?
Это уже бред...Полюбому робот реже ходит на searchengines.ru чем forum.searchengines.ru так как есть большая раздница в обновлении данных доменов.
На форуме создаеться несколько собщений в минуту. На самом сайте несколько раз в неделю происходит обновление.

Пример не годится.

forum.searchengines.ru, по версии Яндекса, отдельный от searchengines.ru сайт, так как от описан в ЯК сам по себе.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий