Большие порталы, глубина индексации

12 3
M
На сайте с 12.05.2005
Offline
112
2848

Как увеличить глубину и главное скорость индексации на больших порталах?

Что сделано.

1. более менее уникальный контент на каждой странице каталога

2. постоянное добавление статей и новостей, тоже уникальных

3. Регистрация в каталогах

4. Думаем закупать толстые морды. Поможет?

Может что нить еще посоветуете?

wayfarer
На сайте с 28.12.2003
Offline
141
#1

ссылки на страницы находящиеся в окружении непроиндексированых

рсс потоки для трансляции в каталогах

трансляция ссылок на глубокие материалы на страницах часто посещаемых роботами

увеличить вывод ссылок на страницах листинга (например есть выдача по 10 ссылок на статьи, сделайте еще выдачу по 50 и разрешите индексацию только этого варианта)

запретить к индексации все что только можно

корректный заголовок If-Modified

Предпочитаю наличку
L
На сайте с 19.11.2006
Offline
50
#2

При чём здесь:

mazazul:
больших порталах?

если

mazazul:
1. более менее уникальный контент на каждой странице каталога
mazazul:
3. Регистрация в каталогах
4. Думаем закупать толстые морды. Поможет?

Это для глубины индексаци что ли?😕

814
M
На сайте с 12.05.2005
Offline
112
#3
корректный заголовок If-Modified

Все что до этого перечислено понятно, спасибо за совет

Можете поподробнее сказать что это за заголовок If-Modified? и как сделать его корректным?

NB
На сайте с 14.09.2004
Offline
95
#4
mazazul:
Все что до этого перечислено понятно, спасибо за совет
Можете поподробнее сказать что это за заголовок If-Modified? и как сделать его корректным?

Вот, IMHO, неплохая статья на эту тему: http://xpoint.ru/know-how/Articles/SlezhenieZaKontentom

PIN_KOD
На сайте с 19.11.2006
Offline
85
#5

Nick Bubelo, спасибо за хорошую ссылку. Давно интересовала такая информация

SMM
На сайте с 02.07.2006
Offline
98
SMM
#6

Полную карту сайта в одном клике от главной.

В моем случае в разу увеличило прирост кеша страниц, а также не долгое обновление уже имеющегося в случае обновления содержания.

Размещение статей (/ru/forum/728008) - 30 wmz (1300\5 ЯК Дмоз. 2006 год. Посещ.~60000. MR-100. Яндекс. Гугл новости.). Траст. Написание+6 wmz.
wayfarer
На сайте с 28.12.2003
Offline
141
#7
Полную карту сайта в одном клике от главной.

не поможет в случае действительно крупного портала, например от 20к страниц

Sayros
На сайте с 01.05.2006
Offline
50
#8
wayfarer:
не поможет в случае действительно крупного портала, например от 20к страниц

+1, кардинально не поможет.

Сам аналогичную проблему решил так (сайт 85 к):

ссылки на внутренние

размещение блоков Я.Директа с перезагрузками раз по 40 одной страницы - по сообщениям с буржуйского форума точно работает для Гугла, возможно и для Я тоже работает

заход на глубокие страницы с hghltd.yandex (об этом где-то Каширин писал, поиском найдете)

карта сайта

После этого в индексе 40 к

Ссылка с очень жирной морды на главную на 5 дней - еще 20 к. Ссылка снята -динамики проиндексированных страниц нет.

505 44 38
Bdiang
На сайте с 19.07.2006
Offline
102
#9

При грамотной иерархической структуре портала, IMHO эффективнее всего на индексацию влияет заголовок last-modified

Т.е для каждого документа дата последнего изменения которого меньше даты, приходящей от робота в заголовке if-modified-since выдавать 304 код.

Таким образом робот будет кушать больше новых страниц.

:)

wayfarer
На сайте с 28.12.2003
Offline
141
#10
Bdiang:
При грамотной иерархической структуре портала, IMHO эффективнее всего на индексацию влияет заголовок last-modified

Т.е для каждого документа дата последнего изменения которого меньше даты, приходящей от робота в заголовке if-modified-since выдавать 304 код.

Таким образом робот будет кушать больше новых страниц.
:)

Согласен, но с небольшим замечанием

грамотная иерархическая структура неприменима для больших потралов, дерево должно пересекаться

На мой взгляд самая лучшая структура у портала википедия :) но она никак не грамотноиерархическая

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий