Как робот устанавливает ревезит???

Частота визитов индексирующего робота на сайт не зависит от содержания страниц, а определяется другими параметрами -- весом страницы, частотой обновления информации и т.д.

С уважением,

Александр Садовский.

так на сайт или на страницы???

ведь например может лежать неизменная главная, но внутренние страницы будут меняться и добавляться... или наоборот...

в первом случае робот придет на главную - обнаружит старье, и уйдет...

а во втором наоборот что ли??

и кстати, какая частота обновления считается различными роботами оптимальной для ревизита?

Я бы этот параметр не использовал, точнее очень мало уделял ему внимания...

Кстати, для регионов с плохим качеством интернета это (качество) влияет на частоту тоже :)

Интересный вопрос. Насколько я помню, поисковики используют очередь сайтов на индексацию, а не очередь документов, потому что в противном случае некоторые сайты могли бы вообще никогда не посещаться роботом. И уже для каждого сайта устанавливаются квоты на количество забираемых страниц.

С уважением,

Александр Садовский.

ну пусть для моего сайта установили 50 страниц (после первого посещения проиндексировано 30 страниц)

значит робот приходит, смотрит квоту =50... сканит сначала 30 уже известных на предмет изменений, + 20 новых, и уходит...

в следующий раз приходит и сканит опять же 50 уже известных... так и не доберется никогда до новых то...

или я не так понимаю технологию???

Саш, поскольку отдельные документы всё же индексируются, то логично предположить, что где-то существует очередь документов.

Если те 50 постоянно меняются, то может и не добраться. Почти 100% алгоритм обхода адаптивный. Т.е. если пришёл два раза подряд и страница не изменилась, то приоретет посещения этой страницы понижается, сл-но в следующий раз будут забраны страницы с более высоким приорететом - очевидно новые и часто меняющиеся страницы.

Имхо если бы этот параметр играл особенную роль, то можно было бы вставить туда какой-нить генератор анекдотов и контент бы индексировался очень часто. но это ж ведь не так. или я не прав?

Интересно, кто проверял, сайты на narod'е индексируются чащё?

🚬

Саш, а по поводу веса, получается что например Рамблер Яндексовский робот должен был бы индексировать суперчасто, а тем не менее посление проиндексированные на нем страницы датируются ещё прошлым годом. Да и по многим другим авторитетным сайтам смотришь и многие не часто индексируются несмотря на то что ВИЦ у них гигантский..

И ещё, почему в Яндексе Апорт индексируется, но проиндексировано всего 29 страниц или это у меня глюк какой-то? 😕

🚬

Если они не менялись с прошлого года, то что в этом странного? Яндекс же выдает дату последнего изменения документа, а не дату последнего посещения его своим роботом

Это понятно. Но неужели не появилось ни одного нового документа за это время. Врядли. А это значит что он нечасто туда заглядывает. :)

Есть гипотеза, основанная на наблюдениях, что Яндекс при определении изменений в документах использует не дату, а свой алгоритм сравнения дубликатов. Если эта гипотеза верна, то изменение 3-5 слов на странице не приведет к тому, что она будет считаться новой.

С уважением,

Александр Садовский.