Scan-interfax или воровство контента в масштабах страны

LEOnidUKG
На сайте с 25.11.2006
Offline
1752
#41

borisd, чукча :D

Читай всё внимательно, желательно всю тему: /ru/forum/comment/12398716

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
B
На сайте с 13.02.2008
Offline
262
#42
LEOnidUKG:
borisd, чукча :D
Читай всё внимательно, желательно всю тему: /ru/forum/comment/12398716

Мой вопрос лежит чисто в правовой плоскости, а ваш ответ хоть и понятен, но лежит в другой плоскости.

content
На сайте с 23.01.2006
Offline
103
#43

Что же это за нехорошие люди вдруг подняли нагрузку на один из наших сайтов, задался я вопросом сегодня... Вижу пять-семь запросов в секунду следующего вида:

46.28.16.247 - - [22/Mar/2014:13:41:17 +0200] "GET удалил HTTP/1.1" 200 42208 "-" "Mozilla/5.0 (compatible; InterfaxScanBot/1.0; http://scan-interfax.ru)"

46.28.16.247 - - [22/Mar/2014:13:41:17 +0200] "GET удалил HTTP/1.1" 200 51262 "-" "Mozilla/5.0 (compatible; InterfaxScanBot/1.0; http://scan-interfax.ru)"

46.28.16.247 - - [22/Mar/2014:13:41:17 +0200] "GET удалил HTTP/1.1" 200 51503 "-" "Mozilla/5.0 (compatible; InterfaxScanBot/1.0; http://scan-interfax.ru)"

46.28.16.247 - - [22/Mar/2014:13:41:17 +0200] "GET удалил HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; InterfaxScanBot/1.0; http://scan-interfax.ru)"

46.28.16.247 - - [22/Mar/2014:13:41:17 +0200] "GET удалил HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; InterfaxScanBot/1.0; http://scan-interfax.ru)"

Очень некрасиво и очень непрофессионально. Фу!

Вариантов замечательного ответа за такое поведение целое море. Я выбрал очень простой, но беспроигрышный:


iptables -A INPUT -s 46.28.16.247 -p tcp --dport 80 -j REJECT

Ну и почитав нитку, добавил 46.28.16.248 и 46.28.16.249 до кучи в файрволл. И так на каждом из наших серверов.

Если еще раз замечу подобную активность еще какого-либо IP адреса, Интерфах будет предоставлять своим юзерам доступ к заботливо мной сгенерированному автоматическому бреду, который я подсуну вместо контента боту Интерфакса. Не угроза, просто мера предосторожности.

KW
На сайте с 04.12.2013
Offline
161
#44

Подскажите, что нужно прописать в robots.txt чтобы этот бот не заходил?

root
На сайте с 04.07.2006
Offline
196
#45

Видимо:

User-agent: InterfaxScanBot

Disallow: /

P1
На сайте с 11.03.2011
Offline
116
#46

А как проверить, есть ли тот или иной новостник в базе этих "умников"?

Советую Инвестиции в майнинг-фермы, доходность - 10-11% в месяц, дивиденды ежемесячно (http://iposervis.com/?ref=362)
S
На сайте с 28.02.2009
Offline
99
#47
poloniy11:
А как проверить, есть ли тот или иной новостник в базе этих "умников"?

как минимум просто на сайте в строке поиска вбить название или урл новостника

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий