Форум Сайтостроение Безопасность

Бот SemRush.com парализовал наш сервер

A
На сайте с 04.12.2012
Offline
86
Aleksid
8887

Привет,

Срочно нужен Ваш совет!

Сегодня наш VPS сервер оказался заблокирован - по доменному имени сайт не доступен.

Смотрю логи в панели управления хостингом - ночью входящий трафик внезапно вырос в сотни тысяч раз! Затем видимо произошла блокировка.

Смотрю access_log файл и обнаружил кучу записей типа: 

46.229.164.100 - - [11/Jul/2017:01:40:50 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"



46.229.168.75 - - [11/Jul/2017:14:38:32 +0200] "GET /download/ HTTP/1.0" 503 1387 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"

Я не понимаю, с какой целью SemRushBot спамит мой сервер? И что делать?

Посмотрел WHOIS на сервер semrush.com - владелец некто Dmitri Melnikov, компания зарегистрирована на Кипре. Офис в США.

Buzz Aldrin
На сайте с 26.12.2014
Offline
21
Buzz Aldrin
#1

а почему Вы думаете что это именно SemrushBot? А если бы там гуглбот в строке useragent стоял?

И что делать?
— Обратитесь во Всемирную лигу сексуальных реформ, — сказал Бендер. — Может быть, там помогут.

man iptables

man ipset

Продам вечную лицензию ispmanager 4.4 Professional за 999 рублей. Обращаться zetronin@gmail.com или в ЛС.
[Удален]
#2

Один из доргенов имеет вот такое в htaccess по умолчанию 

RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]

RewriteRule ^(.*)$ – [F,L]

может оно то самое?

AM
На сайте с 27.03.2012
Offline
137
ArteMas
#3

Почитайте хелп самого сервиса семраш, наверняка там есть инфа как заблочить бота через тот же роботс. Если нет - пишите в суппорт. Такая же проблема была, но только с яндексботом

Пока ещё не придумал
Buzz Aldrin
На сайте с 26.12.2014
Offline
21
Buzz Aldrin
#4

если nginx стоит

if ($http_user_agent ~* "SemrushBot")

{

return 444;

}

---------- Добавлено 11.07.2017 в 16:12 ----------

Aleksid:
ночью входящий трафик внезапно вырос в сотни тысяч раз!

46.229.164.100 - - [11/Jul/2017:01:40:50 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)"

какой же у Вас обычно трафик, если скачивая robots.txt он у Вас сотни тысяч раз возрос?

S
На сайте с 30.09.2016
Offline
469
Sitealert
#5
Aleksid:
И что делать?

Для начала определиться, чего Вы хотите

Aleksid:
ночью входящий трафик внезапно вырос в сотни тысяч раз! Затем видимо произошла блокировка.
Ночью - это одно, сейчас - это другое. И что означает "видимо"? А уточнить никак нельзя?
Aleksid:
11/Jul/2017:01:40:50 +0200
11/Jul/2017:14:38:32 +0200
Как-то интервал большой. А может быть сайт недоступен просто потому, что взломан?
Aleksid:
Я не понимаю, с какой целью SemRushBot спамит мой сервер?
А Вам не всё равно?
Aleksid:
Посмотрел WHOIS на сервер semrush.com - владелец некто Dmitri Melnikov, компания зарегистрирована на Кипре. Офис в США.
Абсолютно лишняя инфа.
Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий