ручками, ручками

1 23
C
На сайте с 13.01.2004
Offline
177
#21
Как писал AreaFix


по мимо этого пакеты еще собираются, передается ос, затем ос отдает серверу, затем сервер его парсит, екзекьютает что ему надо, после завершения получает ответ от екзекюкнотого, затем отдает ос, ос его разбирает и вперед по каналу. Это все конечно очень упрощенно.



почему больше?

Динамические страницы формируются программой и затрачивается процессорное время вот и все - дураку понятно что времени на одну страницу уходит гораздо больше, а роботу надо перелапатить весь Рунет, и на каждый домен есть максимальное время, которое он может выделить отдельному сайту, если хостинг слабый, как комп, так и канал, а страниц десятки тысяч, то они полностью проиндексируются только после нескольких периодов. А как бы хотелось, что-бы результаты обновлялись раз в неделю. (это все писалось для Yndex).

AF
На сайте с 10.09.2003
Offline
46
#22
сервера распологаются в Санкт Петербурге, а сервера Yandex в Москве
слабый, как комп, так и канал

в итоге виноват уже не канал, как вначале. А "компьютер". Или Вы все еще считаете, что Ваш "плохой" канал на инфобоксе что-то решает?

еще раз процитирую

В любом случае паук статику любит больше чем динамику =)

Паук любит ни статику или динамику, ему вообще побоку.

Это Вы "статику" больше любите.:)

С уважением, Дима
LM
На сайте с 30.11.2001
Offline
71
LiM
#23
на каждый домен есть максимальное время, которое он может выделить отдельному сайту,

Пуф... creation, у Вас неверное понимание принципов работы системы индексации. Отцитированный фрагмент в корне неверен. Робот не выделяет сайту конкретное время - здесь нет никаких лимитов. Но один большой сайт может на пару часов (или даже дней) заставить робота индексировать только его. Чтобы такого не происходило, разработчики закладывают в робот какие-либо механизмы балансировки. Например робот Яндекса с одного сайта за один заход берет не более 500 документов.

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)
C
На сайте с 13.01.2004
Offline
177
#24
Как писал LiM

Пуф... creation, у Вас неверное понимание принципов работы системы индексации. Отцитированный фрагмент в корне неверен. Робот не выделяет сайту конкретное время - здесь нет никаких лимитов. Но один большой сайт может на пару часов (или даже дней) заставить робота индексировать только его. Чтобы такого не происходило, разработчики закладывают в робот какие-либо механизмы балансировки. Например робот Яндекса с одного сайта за один заход берет не более 500 документов.

Спасибо за прояснение ситуации выходит, если у меня на один субдомен 3000 документов, то только через 6 индексаций сайт полность попадет в БД Яндекса?

A
На сайте с 10.03.2003
Offline
23
#25
Как писал nemo
Как робота Яндекса зовут?

Свистом.

;threadid=4444

LM
На сайте с 30.11.2001
Offline
71
LiM
#26
Спасибо за прояснение ситуации выходит, если у меня на один субдомен 3000 документов, то только через 6 индексаций сайт полность попадет в БД Яндекса?

Да. Теоретически...

На практике время больше за счет того, что через какое-то время висения страницы в базе Яндекс решит ее переиндексировать. А переиндексирующиеся документы участвуют в делении вышеуказанного лимита на равне с новыми.

В итоге получается, что чем больше сайт, тем меньше у него шансов быть полностью проиндексированным - робот просто начнет тратить большую часть лимита на переиндексацию старых документов.

sealord
На сайте с 03.10.2003
Offline
128
#27
Как писал LiM

В итоге получается, что чем больше сайт, тем меньше у него шансов быть полностью проиндексированным - робот просто начнет тратить большую часть лимита на переиндексацию старых документов.

Я бы сказал не "меньше у него шансов быть полностью проиндексированным", а "больше времени уйдет на полную индексацию всех новых страниц". Кроме того в данном случае время индексации будет зависить и от структуры всей "пачки" страниц, т.е. есть ли прямые ссылки на все страницы или они представляют какую-то вложенную структуру...

Ora et labora
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий