Тем временем у меня гугл робот набирает обороты. Но на позициях в поиске пока никак не отражается (фильтр...).
Ты или не понимаешь, что я говорю, или не хочешь понимать. О каком тарифном плане ты стал говорить? И что такое "программер по базам"?
Вывод у тебя такой: рассчитай максимальное кол-во посетителей которых может принять твой сайт, и напиши на главной странице, мол больше 1000 не приходить. И роботам про это расскажи. Вот это и будет потолок твоего сайта. И если тебя это устраивает, вопросов нет :)
А головой подумать и, например, код сайта переписать? Если гугл-бот напрягает ваш сайт/сервер, то 99% ваш сайт/сервер фуфло в техническом плане.
Эти все "crawl rate" не решают проблемы. Если робот напрягает сайт, то сайт не готов принять много посетителей. Тогда надо остановиться и подумать, для кого сайт, где у него потолок и т.п.
Аналогичная ситуация. Страниц у меня несколько миллионов. Последние две недели гугл-робот так же активно всё сканирует.
Надеюсь, на говно-сайты гугл свои ресурсы так активно тратить не будет. Жду амнистии для сайта (пол года под фильтром каким-то).
А что касается вашего сайта. Если у вас уже ресурсы сервера на пределе, то советую вам переписывать код, находить узкие места и уменьшать нагрузку, если конечно вам нужно много посетителей. У меня по-мимо с ума сшедшего гугла ещё и китайский baidu и bing скорость увеличили. A нагрузка всего ~0.7 (Intel Xeon CPU E3-1230 V2 @ 3.30GHz, 8 cores)
Сорри. Был не внимателен.
К чему тогда 3 недели? Получается и за 3 дня трафик мог восстановиться? Глупости.
Covax, А сколько страниц в индексе у сайта? Почему 3 недели вышло, хочу понять.
Посмотри название топика и успокойся со своим payday.
Два раза может код счётчика поставили.