Как поисковой бот узнает что нового на сайте

12
Н
На сайте с 15.06.2011
Offline
115
#11
Дмитрий Олександрович:
Самый тормозной в плане принюхивания - это Рамблер. Он принюхивается по несколько месяцев.

Вроде бы отнюхался уже.

KupluSsilki
На сайте с 13.07.2005
Offline
106
#12
Дмитрий Олександрович:
Боты сами в «свободное от работы время» ползают по сайту...

вы чёта путаешь, это и есть их работа )

бриллиантовые руки (http://www.forweb.ru/бриллиантовые_руки) не наш удел, у нас - деревянные )
Q
На сайте с 28.07.2011
Offline
0
#13

Спасибо, очень помогли...

Qwertyyyy добавил 28.07.2011 в 14:07

А где в заголовке дата?

Garin33
На сайте с 31.08.2009
Offline
169
#14

В строке ответа сервера.

Выглядит как-то так "Last-Modified: %data%".

Проверить можно тут и на подобных сервисах (для примера впишите jino.ru, он покажет этот параметр). Но не все страницы отдают такой параметр, это зависит от настроек софта на сервере.

Потому что Drupal - это круто.
Q
На сайте с 28.07.2011
Offline
0
#15

А какой запрос этот сайт отправляет для получения этого?

Qwertyyyy добавил 28.07.2011 в 14:18

Все понял, спасибо еще раз

[Удален]
#16
KupluSsilki:
вы чёта путаешь, это и есть их работа )

Их работа индексировать сайт, а не смотреть за изменениями, но когда сайт полностю проиндексирован и им нечего делать, начинаеца реиндексация и поиск новых изменений, чтобы ускорить реиндексацию и была придумана "Карта сайта" в которой указаны последние изменения и дата....

Дмитрий Олександрович добавил 28.07.2011 в 14:32

Нет:
Вроде бы отнюхался уже.

Может быть, я за ним сильно не наблюдал, так опыт з прошлых времен :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий