Третий день сайт атакуют гугл боты :/

[Удален]

4 февраля 2011, 09:33

2515

Ребят, в общем такое дело... У меня есть форум с 6к+ уникальными посещениями в день. Висит гугл адсенс. Форум показывает сколько человек в данный момент на нём находятся, поэтому я знаю динамику посещений в течение дня. И вот за последние 3 дня число незарегистрированных посетителей, просто висящих на форуме, выросло в 2 раза. Примерно на 100-150 человек.

Я открыл список присутствующих и увидел там просто море гугл ботов и гугл-адсенс ботов. Форуму уже почти 4 года, он отлично проиндексирован (PR = 2). Откуда такая внезапная и длительная активность ботов?

Стоит ли чего-то боятся? О чём это вообще свидетельствует?

228

SilverMaster

4 февраля 2011, 09:48

#1

Юзерагенты и Ip в студию.

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла

413

angr

4 февраля 2011, 09:50

#2

продолжайте работать, все нормально...

Требуется СЕО-Специалист в Кишиневе, в офис. ()

[Удален]

4 февраля 2011, 10:28

#3

SilverMaster:
Юзерагенты и Ip в студию.

66.249.66.241 - - [31/Jan/2011:15:07:45 +0300] "GET /forum/index.php/archive/member.php?u=122289 HTTP/1.1" 200 170534 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.88 - - [31/Jan/2011:15:07:46 +0300] "GET /forum/showthread.php?p=712885 HTTP/1.1" 200 118077 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.58 - - [31/Jan/2011:15:07:52 +0300] "GET /forum/index.php/archive/member.php?u=122287 HTTP/1.1" 200 170534 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.225 - - [31/Jan/2011:15:09:22 +0300] "GET /forum/opinion.php?do=about&userid=16119 HTTP/1.1" 200 27389 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.161 - - [02/Feb/2011:06:42:01 +0300] "GET /forum/opinion.php?do=about&userid=2917 HTTP/1.1" 200 27391 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.168 - - [02/Feb/2011:06:42:02 +0300] "GET /forum/showthread.php?p=716669 HTTP/1.1" 200 78206 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.182 - - [02/Feb/2011:06:42:04 +0300] "GET /forum/showthread.php?p=367700 HTTP/1.1" 200 115884 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.71 - - [02/Feb/2011:06:42:04 +0300] "GET /forum/opinion.php?do=showsingle&opinionid=53994 HTTP/1.1" 200 12259 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.234 - - [02/Feb/2011:06:42:07 +0300] "GET /forum/showthread.php?t=72125 HTTP/1.1" 200 124911 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.78 - - [02/Feb/2011:06:42:10 +0300] "GET /forum/opinion.php?do=showsingle&opinionid=61473 HTTP/1.1" 200 12261 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.58 - - [02/Feb/2011:06:42:11 +0300] "GET /forum/forumdisplay.php?f=226&order=desc&page=7 HTTP/1.1" 200 114720 "-" "Mediapartners-Google"
66.249.66.36 - - [02/Feb/2011:06:42:12 +0300] "GET /forum/archive/index.php/t-77394.html HTTP/1.1" 200 3443 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.131 - - [02/Feb/2011:06:42:12 +0300] "GET /forum/showthread.php?p=718455 HTTP/1.1" 200 96879 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.234 - - [02/Feb/2011:06:42:13 +0300] "GET /forum/showthread.php?p=721821 HTTP/1.1" 200 116177 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.90 - - [02/Feb/2011:06:42:17 +0300] "GET /forum/memberlist.php?&pp=30&order=desc&sort=username&page=1194 HTTP/1.1" 200 136217 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bo
t.html)"
66.249.66.91 - - [02/Feb/2011:06:42:19 +0300] "GET /forum/opinion.php?do=about&userid=68712 HTTP/1.1" 200 27392 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.11 - - [02/Feb/2011:06:42:23 +0300] "GET /forum/archive/index.php/t-80046.html HTTP/1.1" 200 2811 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.82 - - [02/Feb/2011:06:42:27 +0300] "GET /forum/opinion.php?do=showsingle&opinionid=60271 HTTP/1.1" 200 12243 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.83 - - [02/Feb/2011:06:42:29 +0300] "GET /forum/showthread.php?p=674662 HTTP/1.1" 200 100909 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.59 - - [02/Feb/2011:06:42:34 +0300] "GET /forum/showthread.php?p=666610 HTTP/1.1" 200 92009 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.6 - - [02/Feb/2011:06:42:35 +0300] "GET /forum/archive/index.php/t-79028.html HTTP/1.1" 200 3113 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.76 - - [02/Feb/2011:06:42:38 +0300] "GET /forum/opinion.php?do=showsingle&opinionid=63850 HTTP/1.1" 200 12249 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.201 - - [02/Feb/2011:06:42:48 +0300] "GET /forum/member.php?u=87590 HTTP/1.1" 200 41516 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.211 - - [02/Feb/2011:06:42:52 +0300] "GET /forum/showthread.php?p=716185 HTTP/1.1" 200 95734 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.66.67 - - [02/Feb/2011:06:42:55 +0300] "GET /forum/opinion.php?do=showsingle&opinionid=57366 HTTP/1.1" 200 12246 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
...................

более ли менее отобрал уникальные

228

SilverMaster

4 февраля 2011, 10:32

#4

Да, это гугльбот.. Не подделка

Если такая нагрузка влияет на скорость загрузки страниц для других пользователей, ограничьте

скорость сканирования в Webmaster Tools.

И настройте там же, чтобы гугльбот не ходил по всяким ненужным opinion.php?do

Мэтт Каттс разъяснил, как Google: как изменить скорость В Google Webmaster Tools

659

Sower

4 февраля 2011, 10:36

#5

Если бот слишком нагружает систему, то в панели вебмастера гугла есть возможность умерить его пыл. Выставленные настройки по боту начинают работать часов через 20.

Опередили))

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)

228

SilverMaster

4 февраля 2011, 10:44

#6

Sower:
Если бот слишком нагружает систему, то в панели вебмастера гугла есть возможность умерить его пыл. Выставленные настройки по боту начинают работать часов через 20.

Опередили))

Вот посмотришь, даже спасибо не скажут... :)

Нерабочее настроение сегодня какое-то, сидим на форуме.

[Удален]

4 февраля 2011, 11:02

#7

SilverMaster:
Да, это гугльбот.. Не подделка
Если такая нагрузка влияет на скорость загрузки страниц для других пользователей, ограничьте
скорость сканирования в Webmaster Tools.

И настройте там же, чтобы гугльбот не ходил по всяким ненужным opinion.php?do

да дело то не в нагрузке ) просто за 4 года жизни этого форума, никогда такого наплыва ботов не было. Интересны причины и следствия... блочить конечно же я их не собираюсь.

по поводу opinion, спасибо, хорошая идея.

Яндекс увеличил дневную активность Герман Клименко: «У нас Как избежать типичных ошибок

185

Z-Style

4 февраля 2011, 11:43

#8

noph:
Интересны причины и следствия...

Не знаю, но вряд ли происходящее плохо :)

W

7

weberits

4 февраля 2011, 12:57

#9

гугл недавно поменял алгоритм, может в этом причина!

Интересуют ссылки навсегда для тематик Software, Туризм. Если есть предложения стучите в приват!

356

neznaika

4 февраля 2011, 13:24

#10

Зачем открыты профили пользователей?

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

Open AI тестирует память для ChatGPT