Как работает паук гугля?

Так, прямо в Гугл и напишите, вопросы)). Они точно знают, что да как с их ботом)).

Весело конечно, но хочется что-нибудь более конструктивное)

а попробуй скармливать ему сайт-мап

veligursky, скормил сайтмап очень давно, а он все равно внутряки по одной в индекс добавляет, т.е. была только морда, потом добавил пару внутренних, потом через пару дней еще три внутренних, потом еще десять ну и т.д. Правда сайт сам по себе маленький, страниц 40, может поэтому гугл так медленно и добавляет. Было бы 10к страниц наверняка добавлял бы пачками.

Просто я сколько сайтов не запускал всегда наблюдал такую картину что сначала в индекс попадает одна морда, а потом через пару дней остальные подтягиваются, никогда еще не было так, что сразу пачка страниц нового сайта добавилась.

тогда смежный вопрос -а насколько были жирными странички на которых ты бек оставлял?

Есть мнение что чем жирнее бек и чем чаще там пасутся пауки тем быстрее индексируются внутренние странички, так же говорят что пинг и rss помогают в более быстрой индексации внутренних страниц

Хорошо и быстро.

veligursky, бэки были совсем обезжиренные)) со всяких соц. закладок и т.д.

я еще замечал такую вещь, что сама ссылка индексируется быстро, т.е. страница с ссылкой, та что на соц. закладках, а вот страница-акцептор куда ведет ссылка с соц. закладки попадает в индекс не сразу.

Возможно, если поставить ссылку с пр5 хорошего ресурса то гугл сразу весь сайт в индекс вобьет за две минуты без промедлений))

Единственное, что у меня сразу проиндексировалось так это блог на гугл платформе, может быть это из за того что блоги шлют пинг автоматом при создании поста, да и вообще к блогам у гугля отношение другое имхо, он специально там пасется постоянно, чтоб новую инфу быстрее всех в индекс пихать, а то вдруг че важное пропустит))

у меня на блоге есть порядка 5 постов связанных с индексацией, почитай

День 20. Карта сайта

Когда будут результаты от поисковой оптимизации? (1,2,3)

День 13. Индексирование всех страниц в поисковиках. Блог и пинг.

У меня есть сомнения по этому поводу.

Был незаконченный сайт, я его закрыл от индексации, когда закончил открыл, гугле в течении 10 дней не заходил вообще!.

Пошел на крайние меры, удалил сайт из поиска, потом заново добавил и карту сайта загрузил, что имею:

- опять проиндексирована только главная, несколько тегов, несколько профилей пользователей, десяток коротких новостей по 1000 символов.... а вот около трехсот статей (100% уник) от 10000 - 20000 символов, которые я очень хочу увидеть в индексе НЕТ!

И что думать теперь про хваленный гугле?!?