Форум Поисковые системы Google

Лимит обращений к сайту для Googlebot

KV
На сайте с 19.02.2018
Offline
1
klimin-viktor
1096

Для оптимизаторов больших проектом с кол-вом страниц 1М+.

Какой порог отклонения встречался на Ваших проектах по наблюдениям? Если сравнивать с ботов Яндекса, то он более-менее стабильный лимит выдает в сутки по моему опыту.

На моей практике в сутки было от 353 до 102,966 запросов в сутки для одного проекта.

Перепады существенные:

  • Август 2017 - от 989 до 5,132 (тут была смена структуры проекта)
  • Сентябрь 2017 - от 1,203 до 78,744
  • Октябрь 2017 - от 1,202 до 23,636
  • Ноябрь 2017 - от 632 до 39,189
  • Декабрь 2017 - от 694 до 102,966
  • Январь 2018 - от 586 до 42,423

Исходя из этой картины, для проекта, я предполагаю, что лимиты все же понижены по каким-то причинам.

C
На сайте с 06.01.2016
Offline
50
chillybang
#1

А как совпадают эти цифры с частотой обновления материалов? Имхо их неловко по отдельности рассматривать. У меня корреляция была чёткая, причём чем чаще публикации, тем чётче корреляция. На новостных-медийных сайтах так вообще практически без запаздывания.

Яндекс кобласит Google: обновления основного алгоритма Упал доход
KV
На сайте с 19.02.2018
Offline
1
klimin-viktor
#2
chillybang:
А как совпадают эти цифры с частотой обновления материалов? Имхо их неловко по отдельности рассматривать. У меня корреляция была чёткая, причём чем чаще публикации, тем чётче корреляция. На новостных-медийных сайтах так вообще практически без запаздывания.

Согласен, чаще обновляются, чаще заходит. В моем случае проходит процесс первичного сканирования неизвестных роботу страниц (в большинстве случаев, есть конечно и переобходы). На проекте более 30М страниц и по сути большинство для него являются новыми. Если затрагивать частоту обновления информации на страницах, то примерно 10-20% от всех страниц ежедневно обновляются.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий