Как поисковой бот узнает что нового на сайте

12
Q
На сайте с 28.07.2011
Offline
0
1008

Здравствуйте, я уже не первый день гуглю на тему того как поисковой бот определяет что появилось нового на сайте, и так нечего не смог найти. Тоесть например на форуме появилась тема и в гугле она появляется через пару минут, как так? Не может же он каждые пару минут весь интернет переиндексовывать

Desesperada
На сайте с 11.10.2010
Offline
77
#1

Новая тема-новая станица, а у каждой страницы есть дата создания. Бот сидит постоянно только на толковых ресурсах, на сателлитах хорошо если раз в месяц

Создание/наполнение сайтов ICQ 7860919 Принимаю предзаказы на сателлиты/гс в индексе
besik1976
На сайте с 07.07.2010
Offline
163
#2

Qwertyyyy, как часто бот будет посещать ваш ресурс - зависит от того на сколько часто обновляется контент и зависит от кол - ва, и качества бэков.

Новые топики и сообщения на этом форуме влетают быстро в индекс гугла - как раз из за этих двух факторов.

KupluSsilki
На сайте с 13.07.2005
Offline
106
#3
Qwertyyyy:
Не может же он каждые пару минут весь интернет переиндексовывать

там работает "система памяти", как в теории игр - если грубо, то примерно так: "если я захожу на сайт и вижу на нём изменения с предыдущего визита, значит, на этот сайт надо почаще заходить".

бриллиантовые руки (http://www.forweb.ru/бриллиантовые_руки) не наш удел, у нас - деревянные )
[Удален]
#4

Qwertyyyy, Еще есть такая штука, как sitemap. А вообще - верно: Чем чаще обновляется контент, тем больше времени боты будут проводить на ваших форумах...

Q
На сайте с 28.07.2011
Offline
0
#5
Desesperada:
у каждой страницы есть дата создания.

А где эта дата прописана? Она же есть только на сервере (дата создания файла)

KupluSsilki
На сайте с 13.07.2005
Offline
106
#6
Qwertyyyy:
А где эта дата прописана? Она же есть только на сервере (дата создания файла)

для робота не важны циферки в дате файла (их и поменять можно при желании).

для робота дата создания файла это када он этот файл впервые нашёл.

Q
На сайте с 28.07.2011
Offline
0
#7
besik1976:
зависит от кол - ва, и качества бэков..

А бэк это что?

Garin33
На сайте с 31.08.2009
Offline
169
#8

Она отдается в заголовках страниц.

А еще есть пинг-сервисы, rss, которые оповещают ботов о том, что на сайте появилось что-то новое.

Бек - обратные ссылки.

Потому что Drupal - это круто.
[Удален]
#9

Qwertyyyy, Ссылка на ваш сайт с другого сайта (не знаю, как проще объяснить) 🍿

[Удален]
#10

Боты сами в «свободное от работы время» ползают по сайту и вынюхивают изменения. Если, по мнению бота, со страницей все в порядке (посетители иногда появляются, спама нет и др.) - они его индексят. То есть заносят информацию о нем в свой индекс (базу данных).

Самый тормозной в плане принюхивания - это Рамблер. Он принюхивается по несколько месяцев. Также большую роль в индексировании принимаю SITEMAP и внутренняя оптимизация....

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий