ссылки на страницы находящиеся в окружении непроиндексированых
рсс потоки для трансляции в каталогах
трансляция ссылок на глубокие материалы на страницах часто посещаемых роботами
увеличить вывод ссылок на страницах листинга (например есть выдача по 10 ссылок на статьи, сделайте еще выдачу по 50 и разрешите индексацию только этого варианта)
Кстати 2 сервера можно покупать последовательно, т.е. вырос из одного купил второй, обычно это пол года-год разница если для сателитов :) /про автоматы дорвеестроения умолчим там другие сроки
Никак. Стоит определенный порог сканирования сайта.
то есть робот не закапывается очень глубоко.
кто-то говорил про 10 000 страниц.
а еще говорят что в москве кур доят :)
http://www.yandex.ru/yandsearch?serverurl=www.lenta.ru вот так посмотреть попробуйте
я работал в гос структуре которая заказывала разработку :)
не связывайтесь
это таргетинг
На сколько я понял 304 - дает понять что страничка не обновлялась, какой ризон говорит об этом роботу?
это следует отдавать на уже проиндексированых страницах, чтобы работ не долбился в них а шел индексировать свежее, т.е. то чего еще не индексировал
При грамотной иерархической структуре портала, IMHO эффективнее всего на индексацию влияет заголовок last-modified
Т.е для каждого документа дата последнего изменения которого меньше даты, приходящей от робота в заголовке if-modified-since выдавать 304 код.
Таким образом робот будет кушать больше новых страниц.
:)
Согласен, но с небольшим замечанием
грамотная иерархическая структура неприменима для больших потралов, дерево должно пересекаться
На мой взгляд самая лучшая структура у портала википедия :) но она никак не грамотноиерархическая
не поможет в случае действительно крупного портала, например от 20к страниц
ссылки на страницы находящиеся в окружении непроиндексированых
рсс потоки для трансляции в каталогах
трансляция ссылок на глубокие материалы на страницах часто посещаемых роботами
увеличить вывод ссылок на страницах листинга (например есть выдача по 10 ссылок на статьи, сделайте еще выдачу по 50 и разрешите индексацию только этого варианта)
запретить к индексации все что только можно
корректный заголовок If-Modified
Прошло нормально мой человек доволен был :)
Кстати 2 сервера можно покупать последовательно, т.е. вырос из одного купил второй, обычно это пол года-год разница если для сателитов :) /про автоматы дорвеестроения умолчим там другие сроки
wayfarer, угу, диски то копейки стоят, а вот второй сервак?
Ром, 1 сервер за 4 кб или 2 сервера по 2кб без потерь в производительности? я бы даже сказал с плюсом
не открою америку но все же
"технику надо покупать завтра" т.е. супернавороченый сейчас с завышеным ценником, а послабее (постарше морально) с минимальной наценкой