Повышенная активность Googlebot

A3
На сайте с 23.12.2012
Offline
95
1409

Уже два дня наблюдается повышенная активность Googlebot

66.249.64.29 Googlebot/2.1

66.249.64.24 Googlebot/2.1

66.249.64.19 Googlebot/2.1

В панели webmaster стоит ограничение на сканирование. А боты как озверели с каждого адреса с утра по 3000 запросов.

У кого такое было? Как умерить пыл?

Vin_cent
На сайте с 22.01.2010
Offline
171
#1

Представь, что это посетители.

sidorka
На сайте с 17.08.2012
Offline
211
#2

К скорому бану. У меня так всегда перед пендалем от каца.

Дешевые домены для дорвеев и не только - от 55р (https://goo.gl/Wtnwqp)
A3
На сайте с 23.12.2012
Offline
95
#3

Активность от

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Сканируют каждую секунду, в панели Вебмастера стоит ограничение на сканирование в 100!

Как ограничить активность?

---------- Добавлено 20.06.2015 в 14:56 ----------

такая же проблема есть в описании на сайте http://www.webhostingtalk.com/showthread.php?t=1490857

Т.е. это уже массовость?

Не блокировать же IP google? Но альтернативы увы пока нет!

D
На сайте с 19.12.2014
Offline
60
#4

Новый алгоритм тестируют

turbo1143
На сайте с 11.01.2012
Offline
44
#5

Гугл заметил Яшины подвижки насчет ВАПа и решил утереть им нос выкатив свой более точный и быстрый алгоритм....

[+] Обучу созданию Кино СДЛ с 50к+ трафика http://zerocoolpro.biz/ (http://zerocoolpro.biz/) [+] Нужна помощь по кино сайтам ? Пиши ICQ 647366012 или Skype ftpzerocool
XPraptor
На сайте с 15.10.2004
Offline
333
#6

Это гугл просто ввел подкрутку в алго, теперь старается заново все перепроверить.

Он сделал сброс всего индекса для этого. У меня на многих сайтах в вмт появился 404 индекс от предыдущих страниц этих доменов, которые до меня были на них.

Пришлось руками быстро их поудалять из вмт чтобы не висели в ошибках.

C1
На сайте с 19.03.2015
Offline
9
#7

У меня такая же проблема. Хостер пишет, что надо для яндекса в роботе прописать user... А вот для гугл робота надо через инструменты гугла таймаут на сайт выставить.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий