Бот гугла грузит сервер. Как бороться?

12
Alexey Levin
На сайте с 17.07.2007
Offline
188
2224

Бот гугла грузит сервер, создавая чрезмерную нагрузку на сайты некоторых клиентов. Сайты совершенно безобидные с простыми форумами и движками. По статистике посещаемости сайта одного клиента Гуглбот жрет более 3-х гигабайт в сутки. Создается нагрузка на сервер аж %CPU 70.0-100.0.

Какие есть варианты борьбы с такой интенсивной индексацией? Наверное, бан IP-адресов ботов не лучший вариант. Слышал про какие-то "Инструменты Вебмастера для гугла" - поможет ли? Как пользоваться?

P.S. При таких нагрузках можно в суд на гугл подавать на пару лимонов:) Материальный и моральный ущерб на лицо.

Спасибо!

Один поисковый запрос занимает больше вычислений, чем отправка человека на Луну.
Stromgard
На сайте с 11.12.2005
Offline
57
#1
Alexey Levin:
Бот гугла грузит сервер, создавая чрезмерную нагрузку на сайты некоторых клиентов. Сайты совершенно безобидные с простыми форумами и движками. По статистике посещаемости сайта одного клиента Гуглбот жрет более 3-х гигабайт в сутки. Создается нагрузка на сервер аж %CPU 70.0-100.0.

Какие есть варианты борьбы с такой интенсивной индексацией? Наверное, бан IP-адресов ботов не лучший вариант. Слышал про какие-то "Инструменты Вебмастера для гугла" - поможет ли? Как пользоваться?

P.S. При таких нагрузках можно в суд на гугл подавать на пару лимонов:) Материальный и моральный ущерб на лицо.

Спасибо!

www.google.com/webmasters

Там есть возможность снизить скорость индексации Вашего ресурса.

W
На сайте с 30.11.2004
Offline
147
#2

Есть параметр частоты индексирования гуглом - можно выставить тут http://www.google.com/webmasters/tools/ (надо добавить сайт туда и "авторизовать" его). Закладка " Crawl rate".

Alexey Levin
На сайте с 17.07.2007
Offline
188
#3

Спасибо, разобрался

taljanich
На сайте с 03.04.2007
Offline
121
#4

Гугл коммерческий проект? Коммерческий!

А в коммерции как известно всё можно за $!!!

Ваш сервер кто то Гуглу заказал, вот он Вас и ддосит 😂

PS: тьфу тьфу тьфу конечно:)) ограничивайте его:)))

dimok
На сайте с 08.11.2002
Offline
291
#5

Если положение в Гугле для сайта важно, то надо работать над скриптами сайта, чтобы индексации не грузила сервак.

CLICKBAZA: есть траф - будут и деньги (https://clickbaza.com/)
taljanich
На сайте с 03.04.2007
Offline
121
#6

Вот аналогичная тема:

http://www.master-x.com/forum/topics/87780/

ТС - это не Ваша?

оффтоп, сорри, не могу сдержаться:

всем кто не понимает шуток большой цветочек в подарок ;) !

и огромная просьба подписываться в понижении репы!

нет не для того что бы я её снизил, а просто, что бы подискутировать на тему!

а то как дети :)

OZE
На сайте с 21.05.2006
Offline
102
OZE
#7

мля, как дети малые :)

сайт просто тупо копипейздят, а в user agent ставят бот гугла

2ТС, ждите своих клонов в сети

Alexey Levin
На сайте с 17.07.2007
Offline
188
#8
OZE:
мля, как дети малые :)

сайт просто тупо копипейздят, а в user agent ставят бот гугла

2ТС, ждите своих клонов в сети

не уверен, интересно ли кому-либо контент форума воровать.

Заглянул еще раз в статистику Awstats для аккаунта и запутался еще больше. В одном месте указано, что большой трафик генерирует гуглбот, а в другом месте указаны IP 213.180.206.1 и 87.250.252.19.

По whois вижно, что это IP Яши

http://nic.ru/whois/?query=213.180.206.1

http://nic.ru/whois/?query=87.250.252.19

Можно ли повлият на интенсивность индексации ботов Яндекса?

W
На сайте с 30.11.2004
Offline
147
#9

Контент может быть многим нужен :)

taljanich
На сайте с 03.04.2007
Offline
121
#10

http://forums.build-reciprocal-links.com/ - вот форум, там раздел Relevant Link Exchange,

так вот в этом разделе реальных людей 20 штук в сутки - максимум.

там бот дерёт со всех форумов подряд(DP, WebmasterTalk и т.д.) из тем с линкообменом

посты ТС-ов и размещает их на этом форуме. Мож аналогичная ситуяйция?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий