Боты Bing озверели? Ложат сервер...

74

redhorse

27 мая 2013, 09:13

9792

Вот кусок лога одного из сайтов на сервере:

65.55.24.217 - - [26/May/2013:16:38:43 -0400] "GET /G/***.html HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
66.249.75.186 - - [26/May/2013:16:38:43 -0400] "GET /F/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
157.55.34.171 - - [26/May/2013:16:38:44 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.35.52 - - [26/May/2013:16:38:44 -0400] "GET /G/***.html HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.35.52 - - [26/May/2013:16:38:44 -0400] "GET /G/***.html HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.24.217 - - [26/May/2013:16:38:44 -0400] "GET /A/***.html HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.52.87 - - [26/May/2013:16:38:45 -0400] "GET /A/***.html HTTP/1.0" 200 3286 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:45 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:46 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.52.87 - - [26/May/2013:16:38:46 -0400] "GET /C/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.52.87 - - [26/May/2013:16:38:47 -0400] "GET /C/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:47 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:47 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:47 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.52.87 - - [26/May/2013:16:38:47 -0400] "GET /A/***.html HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.24.217 - - [26/May/2013:16:38:48 -0400] "GET /G/***.html HTTP/1.1" 200 0 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.52.87 - - [26/May/2013:16:38:48 -0400] "GET /C/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:48 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:48 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:49 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
65.55.52.87 - - [26/May/2013:16:38:49 -0400] "GET /F/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
157.55.34.171 - - [26/May/2013:16:38:49 -0400] "GET /G/***.html HTTP/1.1" 200 625 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

Это жуть какая-то! От гугла такого не видел...

Из википедии:

...современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды. (тут)

Счас попробую выставить Crawl-delay.

Кто-нить сталкивался с подобным?

Прокси для школоты, бери безабузный VPN сервис (http://webmastervpn.com/) и живи спокойно!

1179

Mik Foxi

27 мая 2013, 09:21

#1

redhorse:

Счас попробую выставить Crawl-delay.

Кто-нить сталкивался с подобным?

Crawl-delay не помогает, полный запрет в роботсе в общем тоже часто не помогает, для себя решил проблему - забанил по юзерагенту в хтасес.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/

169

porh

27 мая 2013, 09:22

#2

Сталкивался. Запретил в .htaccess

25

ContentBroker

27 мая 2013, 09:58

#3

На днях столкнулись с подобной проблемой, по аналогии с предыдущими ораторами, решили с помощью запрета в htaccess.

25

DiaName

27 мая 2013, 10:09

#4

porh:
Сталкивался. Запретил в .htaccess

Что Вы там написали?

1179

Mik Foxi

27 мая 2013, 10:41

#5

DiaName:
Что Вы там написали?

писать как тут, добавив бота "bingbot" в список.

1

169

porh

27 мая 2013, 10:52

#6

DiaName:
Что Вы там написали?

<IfModule mod_setenvif.c>

SetEnvIf User-agent ^-?$ bad



SetEnvIfNoCase User-Agent bingbot bad



<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad

</Limit>

1

543

pauk

27 мая 2013, 11:45

#7

Сервер менять, если боты его положиь смогли. :)

1

Hi!

185

maximus200

27 мая 2013, 12:08

#8

Сталкивался с подобной ситуацией, когда боты прилично подгружают сервак. В итоге сделал настройку на уровне nginx запрещающую не интересным для меня ботам по юзер агенту заходить на сайты на моих серверах. Список следующий:

AhrefsBot
SearchBot
magpie
urllib
peerindex
Configuration
Kimengi
bitlybot
Twitter
Subscribe
Crowsnest
Jakarta
crawler
findlinks
Browserlet
Java
LibreOffice
QuerySeekerSpider
Powermarks
CodeGator
Nigma
bingbot
xpymep
MJ12bot
Butterfly
UnwindFetchor
JS-Kit
rogerbot
TweetmemeBot
MetaURI
NING
TweetedTimes
PaperLiBot
facebookexternalhit
Slurp
StackRambler
Aport
MSNBot
ia_archiver

Список собирал сам после анализа логов доступа на свои сервера. Вероятно кому то может пригодиться.

Блокировка не нужных ботов Файлообменники 2015 - обсуждаем сильная нагрузка на БД

651

Sower

27 мая 2013, 17:46

#9

pauk:
Сервер менять, если боты его положиь смогли. :)

+1

Что это за сервер, если 5 html страниц его ложат. У меня по 5 php скриптов держит на ура.

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)

74

redhorse

28 мая 2013, 08:20

#10

Crawl-delay прописал, пока аптайм - сутки без лагов.

Чтоб прописать Crawl-delay в роботсы, отключал httpd. Прописал, включил httpd - в момент появилось около 230 pid'ов в процессах.

Отключил серв, подождал ещё полчаса - успокоились

pauk:
Сервер менять, если боты его положиь смогли. :)

когда на пике лезет под две сотни ботов в минуту - это равносильно ДДОС атаке

цмски вроде оптимизированы... Сайты относительно спокойные, скачков нагрузки за счёт юзеров не бывает.

Sower:
+1
Что это за сервер, если 5 html страниц его ложат. У меня по 5 php скриптов держит на ура.

1) это ж только урл .html, а обработка php скриптом

2) и это только кусочек лога одного из десятка многостраничников на сервере (от 5к страниц)

Сервер не монстр, но раньше хватало и на сайты, и на многопоточные парсилки (работающие параллельно), и ничего не ложилось.

Processor Name Intel(R) Celeron(R) D CPU 3.33GHz
Total Memory 1033792 kB

508 ошибка на сайте. Ошибка 502, Атака Снова про Bing Bot

В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах

Что делать, если ваша email-рассылка попала в спам