Ускорение индексации очень большого сайта

12
M
На сайте с 20.05.2005
Offline
101
1372

Какими способами можно ускорить индексацию очень большого сайта (>100к страниц), интересует так же насколько эффективно сработает разделене сайта на большое кол-во суб-доменов. Может у кого-то есть опыт в этом плане, и готов поделиться.

www.yesgamers.ru - Качай игры бесплатно (http://www.yesgamers.ru/)
C
На сайте с 13.01.2004
Offline
178
#1

Бить на субдомены.

Лить PR в глюбь сайта.

Гроссмейстер
На сайте с 15.01.2005
Offline
104
#2

Простановка внешних ссылок + настройка индексации (подробнее о настройке индексации смотрите на странице http://www.promo-techart.ru/analysis/errors.htm)

Андрей Муравьёв Временно заброшенный блог: «Заметки интернет-маркетолога (http://web-blog.ru/)» «Чтобы задать правильный вопрос, нужно знать большую часть ответа» © Цицерон.
mnt
На сайте с 11.11.2002
Offline
107
mnt
#3
majix:
Какими способами можно ускорить индексацию очень большого сайта (>100к страниц), интересует так же насколько эффективно сработает разделене сайта на большое кол-во суб-доменов. Может у кого-то есть опыт в этом плане, и готов поделиться.

самое главное это - статика у вас или динамика, а потом уже решайте что делать.

хотя смысла бить на домены я чего-то не вижу,

pr вглубь не хватит?

сайт что дор?

p.s. если из-за большого кол-ва субдоменов выдачу будете засорять, сами знаете что с вами сделают.

дорого куплю ссылки с хороших жирных русскоязычных авто сайтов.
M
На сайте с 20.05.2005
Offline
101
#4

динамика

и это не дрова

почему вы не видите смысла делить на суб-домены ?

вложенность не большая от начала до конца за 4-5 кликов

контент на каждом суб-домене различается уникальным содержимым, т.е. без дублей, но тематика одна и та же.

mnt
На сайте с 11.11.2002
Offline
107
mnt
#5
majix:
динамика
и это не дрова

почему вы не видите смысла делить на суб-домены ?

вложенность не большая от начала до конца за 4-5 кликов

контент на каждом суб-домене различается уникальным содержимым, т.е. без дублей, но тематика одна и та же.

динамика - псевдостатика или чистая динамика с '?'

в урлах есть "id=" ?

если вам инетересны внешние ссылки и если проект интересный и всё такое, то лучше чтобы внешняя ссылка вела на www.domain.com чем столько же ссылок в сумме на bb1.domain.com, bb2.domain.com и т.п.

естественно, что есть смысл логического разделения на поддомены, но когда это делается только ради индексации и создается несколько сотен и более субдоменов, то становится очень сложно поднять каждый из субдоменов хотя бы и для низкочастотников.

Как я понял вы говорили именно о большом кол-ве поддоменов, в моём понимании это больше 100 :)

по-моему проще вглубь PR налить :-)

хотя есть мнение - если у вас www.domain.ru гуглом уже давно любим, то он и субдомены быстро полюбит - не знаю, не проверял.

всё это моё ИМХО.

S
На сайте с 26.05.2005
Offline
26
#6

Думаю, не будет лишним настроить корректную выдачу заголовков (в частности с кодом 304).

Курсы иностранных языков (http://www.delta-ic.net/rus/foreignlanguages)
Гроссмейстер
На сайте с 15.01.2005
Offline
104
#7

Super, я уже давал ссылку на статью. Там это написано:

Однако для динамических документов, собираемых "на лету", сервер в состоянии выдать только 200 ОК. Поэтому любой динамический документ будет скачан и переиндексирован, включая те, содержимое которых реально не менялось со времени последней переиндексации. Порой подобные документы могут выбрать всю квоту, выделенную на индексацию. То есть поисковая машина не получит никакой новой информации о сайте. Поэтому желательно в заголовке отклика на запросы GET и HEAD с полем If-Modified-Since для документов, о дате последней модификации которых есть информация, принудительно выдавать отклик 304 Not Modified, если дата последней модификации раньше, чем дата, стоящая в запросе. Тем самым робот получит информацию о том, что документ не изменился, и, не скачивая его, обратится к следующему документу в очереди. Если у робота есть лимит на количество скачиваемых за один заход документов, то, таким образом, он за один заход скачает большее число документов, реально изменившихся или еще не проиндексированных.

Источник: http://www.promo-techart.ru/analysis/errors.htm
S
На сайте с 26.05.2005
Offline
26
#8
Гроссмейстер:
Super, я уже давал ссылку на статью. Там это написано:

Полезная статья, спасибо.

А не подскажешь, если мне надо запретить к индексации все урлы, которые содержат "&vote=", правильно ли будет написать в robots.txt:

User-agent: *

Disallow: &vote=

Гроссмейстер
На сайте с 15.01.2005
Offline
104
#9
если мне надо запретить к индексации все урлы, которые содержат "&vote=", правильно ли будет написать в robots.txt:

User-agent: *
Disallow: &vote=

Мне кажется, что не правильно.

B
На сайте с 07.10.2004
Offline
114
#10

Super,

Disallow: /index.php?vote=

Disallow: /?vote=

Бородин Антон. 411-22-05, icq 199228260, bomass [at] ya.ru Домен .ru за 6,3$ (http://webst.ru/?id=146)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий