Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Когда же поисковые системы сделают общего робота?

1 23
kit
На сайте с 01.05.2001
Offline
190
kit
#21
Develar:
Так Google идет уже по пути снижения нагрузки. SiteMap. Это открытый протокол. Роботам не нужно искать ссылки на сайте, вычислять дату их изменения.

Дата модификации документа не работает на практике. Поддаётся вольным или невольным манипуляциям

Только сравнение страницы с её кешем в базе поисковика, может дать ответ, изменилось ли что-то на странице или нет, и даже тогда останутся вопросы "насколько существенно то, что изменилось?"

Гугль наверное пойдёт по такому пути:

1) будет обновлять страницы сам и сверяться с картой сайта. Если совпадение дат модификации близкое к 100%, то сайт будет краулиться в дальнейшем согласно карте сайта. При этом достоверность дат модификации постоянно проверяется.

2) Если расхождения того что говорит карта сайта и того, что реально происходит будут значительны (скажем больше 10%), то Гугль будет краулить сайт согласно своему расписанию.

Master-X.com (http://www.master-x.com) - крупнейшее сообщество русскоязычных эдалт вебмастеров.
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий