трафик по низкоисточникам

Это означает, что скорость проглатывания новых страниц будет снижаться по мере индексации сайта.

Так?

Привет! :)

Привет, Таня!

Я так себе думаю, что участники конференции, слышавшие сформулированный ответ от главного индексатора, точнее ответят.

Не слышал такого.

Возможно, для больших сайтов ключевое значение имеет очередь на индексацию, а дальше выводы понятны.

Привет всем!

У меня есть очень хорошая картинка на эту тему.

Есть четыре поддомена, по которым в течение месяца каждый день я отслеживала, сколько страниц забирал с сервера Яндекс.

Количество страниц на поддоменах было разным (от 30 до 70 тысяч).

Индексирующий робот Яндекса каждый день забирал с каждого из поддоменов ОДИНАКОВОЕ количество страниц. Если с одного 100 - то и со всех остальных по 100, если с одного 500 - то и с других по 500.

Это не зависило ни от времни отклика сервера (по разным поддоменам оно отличалось в разы), ни от того, сколько страниц отдавали код 200, сколько 304 (и стало быть времени на их индексацию не тратилось).

Стало быть, лимит не во времени, лимит в страницах.

Вот как его можно увеличить - самый важный вопрос.

рискну предположить что еще влияет тяжелость страницы

статику яша кушает заметно быстрее, поэтому например у дорвейщиков 3-5 тысяч страниц легко глотаются за неделю.

у меня есть тоже пара контентных проектов - так вот там где страница тяжелее ВСЕ роботы жрут гораздо меньше первого , не только яндекс.

вот кстати вам реальный пример

http://be1.ru/stat/?url=http://subscribe.ru/

смотрите и анализируйте.

Яндекс показывает 130000 (там явно много больше) ищем причину такого относительно небольшого кол-ва

PS: даже у рамблера ~250000 страниц

имхо для индексирования большого кол-ва нужно 2 вещи

много ВИЦА и сверхбыстрый движок

скорее всего скрипт был одинаковый и структура базы одинаковое - забиралось за квант времени ровно столько сколько мог отдать ваш сервер

Я скорее тоже к этому склоняюсь

вот к примеру http://www.be1.ru/stat/?url=http%3A%2F%2Fwww.delonet.ru%2F

хороший виц тиц

ну и соответственно проиндексировано яндексом 300 000 и траф соответствующий

Но не все так хорошо

возмем второй сайт

http://www.be1.ru/stat/?url=http://www.tvoyportal.ru/

ни тица ни вица приличного нет, проиндексировано 50 000 всего

а яндекс дает в сутки 5 000 - 6000 трафа http://www.liveinternet.ru/stat/tvoyportal.ru/searches.html

Возникает вопрос от чего такая щедрость?

там обычная доска - уникальный контекст и рядом ни стоял

или мой сайт http://www.be1.ru/stat/?url=http%3A%2F%2Fwww.docki.com.ua%2F

количество индексированых страниц в яшке с нового года ни менялась

в январе давал 2к трафа февраль давал 4к трафа март 2к трафа , счас до 1 к трафа скотился

структура ни менялась

возникает логичный вопрос от чего это зависит все...

Смотрела по логам - средне время отклика сервера на запрос Яндекса могло быть на одном проекте 1 секунда, на другом - 0,2 секунды. На количество страниц это не влияло...

я вижу 124000 откуда такая цифра 300000??

а твой http://www.docki.com.ua и http://www.docki.ru/- найдите 10 отличий. мда. и не стыдно со свиным рылом да в калашный ряд...

это какраз тот вариант

структура одна, а контект разный и уже давно.

я ни понимаю чего мне должно быть стыдно?;)