Траф от бота mail.ru

project33
На сайте с 30.04.2011
Offline
94
3336

Замечен нехилый траф от ботов майл.ру. У кого узкий канал, рекомендую ограничить его активность. К сожалению пришлось урезать список на треть, поскольку форум не хотел такой длинный список публиковать.


29.09.2013 15:02:28 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:26 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:23 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:21 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:18 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:15 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:13 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:10 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:08 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:06 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:03 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:02:01 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:58 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:56 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:53 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:51 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:48 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:46 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:43 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:40 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:35 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:33 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:30 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:28 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:25 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:22 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:20 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:18 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:15 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:13 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:11 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:08 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:03 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:01:00 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:58 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:56 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:50 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:48 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:45 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:43 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:41 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:38 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:36 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:33 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:31 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:27 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:25 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:23 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:20 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:18 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:16 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:13 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:11 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:09 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:06 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:04 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 15:00:02 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:59 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:57 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:54 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:52 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:49 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:46 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:43 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:41 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:39 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:36 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:34 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:32 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:28 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:24 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:21 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:18 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:16 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:13 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:10 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:08 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:05 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:03 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:59:00 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:58:58 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:58:55 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:58:52 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:58:50 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
29.09.2013 14:58:48 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +http://go.mail.ru/help/robots)
DV
На сайте с 01.05.2010
Offline
644
#1

Тоже заметил сегодня. Ограничивать не стал, канала хватает. Но процессор нагрузил прилично.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
D
На сайте с 25.06.2013
Offline
2
#2

А в чем проблема в приведенном примере? Обращения идут с интервалом в 2 секунды.

Я так понимаю что речь о небольшом сайте у которого относительно мало страниц.

Можете в личку скинуть адрес?

LB
На сайте с 29.03.2013
Offline
27
#3

Если сайт на php / MySQL 😂 то все боты там поселяются

Mik Foxi
На сайте с 02.03.2011
Offline
1021
#4

он понимает Crawl-delay в роботсе.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html + партнерка, до 100$ с продажи.
_t2
На сайте с 30.05.2007
Offline
104
_t2
#5
project33:
Замечен нехилый траф от ботов майл.ру.

Да это он ещё весьма неторопливо обходит сайт, судя по вашим логам. Вон, крулер Bing, ни капельки не смущаясь, делает по несколько запросов в секунду, при том что в robots.txt стоит ограничение для всех ботов, отличных от Yandex и Googlebot, в 1 секунду между запросами.

Если так уж мешает мэйловский бот - ограничьте его деятельность с помощью Crawl-Delay в роботсе.

Mik Foxi
На сайте с 02.03.2011
Offline
1021
#6
_t2:
Да это он ещё весьма неторопливо обходит сайт, судя по вашим логам. Вон, крулер Bing, ни капельки не смущаясь, делает по несколько запросов в секунду, при том что в robots.txt стоит ограничение для всех ботов, отличных от Yandex и Googlebot, в 1 секунду между запросами.

а бинга вообще нужно бинить всеми способами. трафа не дает, на роботс не обращает внимания, сервера кладет как ддосом, если банить по юзер агенту - начинает ходить вообще прикрываясь простым IE, хорошо хоть ходит из своих подсетей, так спасает бан сразу подсетями.

A4
На сайте с 03.06.2013
Offline
11
#7

ставьте cloudflare.com на кеширование

СМС Биллинг () Биржа мобильного трафика (/ru/forum/823193)
S
На сайте с 07.11.2008
Offline
152
#8

Забанил это недоразумение. Сервер пытался завалить, как при ддосе.

Пускай ищут себе другого подопытного кролика.

shoppings
На сайте с 29.01.2007
Offline
50
#9

Ребята, Бинг сразу баньте. был опыт печальный, подтверждаю, что бинг это все ровно что ддос атака, я смотрю что то у меня сайт лег, а в логах сервака то бинг столько запросов делает, что этот бот некак нельзя кроме как ддос ботом обозвать, заблокировал и нагруза с сервака спала. После чего зашел и написал в поддержку бинга, что мол это не дело так сайты ддосить своим ботом. Данная ситуация не только с бингом а еще с рядом ботов, баньте их сразу, траф нулевый с них а нагруза максимум на серверю 🙅

Дом 2 свежие серии (http://zazvezdilsa.ru/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий