Большие порталы, глубина индексации

С точки зрения удобста да.

Я имел виду навигацию, доступ к страницам. Достаточно иметь постоянное меню, пусть к странице с сылками, динамические блоки на главной - дальше робот сделает свое дело.

Так у меня после введения обработки заголовков, за несколько апов количество страниц увеличилось на 20000 страниц и удалилось огромное количество старых 404 страниц и тд..

На сколько я понял 304 - дает понять что страничка не обновлялась, какой ризон говорит об этом роботу?

это следует отдавать на уже проиндексированых страницах, чтобы работ не долбился в них а шел индексировать свежее, т.е. то чего еще не индексировал

Садовский говорил, что если подсвечивать сохраненную копию, то на скорость индексации это не повлияет.

Только не на всех проиндексированных страницах, а на не изменившихся с последнего захода робота (для этого робот и передает в Get заголовок: if-modified-since)

Вобще с 304 надо аккуратнее...Лучше сначала изучить материал

Например это обсуждалось здесь /ru/forum/35948

А вобще в инете много про это написано

Bdiang,

Можете еще ссылочек накидать?

Никак. Стоит определенный порог сканирования сайта.

то есть робот не закапывается очень глубоко.

кто-то говорил про 10 000 страниц.

а еще говорят что в москве кур доят :)

http://www.yandex.ru/yandsearch?serverurl=www.lenta.ru вот так посмотреть попробуйте

ай ай ай. Вы меня неправильно поняли. Неужели Яндекс не индексирует больше 10 тясяч страниц? 🙅

Просто за один обход робота он не берет больше nn nnn страниц (цифры у всех разные, но порог - 20 000). А так кол-во страниц естественно не ограничено. 🙄

В таком случае понятно :)

у меня из примеров максимум что брал робот яндекса за один заход 5341 страница