wayfarer

wayfarer
Рейтинг
141
Регистрация
28.12.2003
Morix:
Никак. Стоит определенный порог сканирования сайта.
то есть робот не закапывается очень глубоко.
кто-то говорил про 10 000 страниц.

а еще говорят что в москве кур доят :)

http://www.yandex.ru/yandsearch?serverurl=www.lenta.ru вот так посмотреть попробуйте

я работал в гос структуре которая заказывала разработку :)

не связывайтесь

это таргетинг

mazazul:
На сколько я понял 304 - дает понять что страничка не обновлялась, какой ризон говорит об этом роботу?

это следует отдавать на уже проиндексированых страницах, чтобы работ не долбился в них а шел индексировать свежее, т.е. то чего еще не индексировал

Bdiang:
При грамотной иерархической структуре портала, IMHO эффективнее всего на индексацию влияет заголовок last-modified

Т.е для каждого документа дата последнего изменения которого меньше даты, приходящей от робота в заголовке if-modified-since выдавать 304 код.

Таким образом робот будет кушать больше новых страниц.
:)

Согласен, но с небольшим замечанием

грамотная иерархическая структура неприменима для больших потралов, дерево должно пересекаться

На мой взгляд самая лучшая структура у портала википедия :) но она никак не грамотноиерархическая

Полную карту сайта в одном клике от главной.

не поможет в случае действительно крупного портала, например от 20к страниц

ссылки на страницы находящиеся в окружении непроиндексированых

рсс потоки для трансляции в каталогах

трансляция ссылок на глубокие материалы на страницах часто посещаемых роботами

увеличить вывод ссылок на страницах листинга (например есть выдача по 10 ссылок на статьи, сделайте еще выдачу по 50 и разрешите индексацию только этого варианта)

запретить к индексации все что только можно

корректный заголовок If-Modified

Прошло нормально мой человек доволен был :)

Кстати 2 сервера можно покупать последовательно, т.е. вырос из одного купил второй, обычно это пол года-год разница если для сателитов :) /про автоматы дорвеестроения умолчим там другие сроки

Ceres:
wayfarer, угу, диски то копейки стоят, а вот второй сервак?

Ром, 1 сервер за 4 кб или 2 сервера по 2кб без потерь в производительности? я бы даже сказал с плюсом

не открою америку но все же

"технику надо покупать завтра" т.е. супернавороченый сейчас с завышеным ценником, а послабее (постарше морально) с минимальной наценкой

Всего: 1569