Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 17.09.2019, 10:10   #1
Кандидат наук
 
Регистрация: 06.07.2011
Сообщений: 469
Репутация: -84

По умолчанию Фальшивые CN, CG, HK Google боты

Столкнулся с такой проблемой, начал нагружаться сервер. Сервер php-fpm + nginx.
После анализации пришёл к выводу, что одновременнно в секунду часть моих сайтов поcещает около 1k-2k google ботов,

Вот часть из пары сотен ИП:

117.78.58.23
117.78.58.25
117.78.58.20
49.87.175.43
180.122.20.25
121.33.146.226

юзер агент: "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"

По большей части боты из Китая, Гонконга и Сингапура маскируются под google. Получается, что в день было с них не один миллион обращений, что ну уж очень сильно нагружало сервер. Если и парсят контент, то каким же нужно быть криворуким, что бы так варварски нагружать сервер, думая, что хозяин не заметит.

Пришлось заблокировать 3 страны на уровне nginx CN,SG,HK. Нагрузка сразу же упала, но и google analytic показал - 40% посещаемости. Пока не заню, как это скажется на доход и прочее, пару дней прошло.

Вы как выходили из данной ситуации?

---------- Post added 17-09-2019 at 10:13 ----------


Слева на графике видно, как сильно нагружался сервер.

Последний раз редактировалось jano; 17.09.2019 в 10:30..
jano вне форума   Ответить с цитированием

Реклама
Старый 17.09.2019, 10:16   #2
lkm
Академик
 
Регистрация: 16.03.2012
Сообщений: 2,341
Репутация: 188987

По умолчанию Re: Фальшивые CN, CG, HK Google боты

Цитата:
Сообщение от jano Посмотреть сообщение
юзер агент: "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"
Где вы тут увидели маскировку под гугл-бота?
lkm на форуме   Ответить с цитированием
Старый 17.09.2019, 10:17   #3
jano
Кандидат наук
 
Регистрация: 06.07.2011
Сообщений: 469
Репутация: -84

ТопикСтартер Re: Фальшивые CN, CG, HK Google боты

Цитата:
Сообщение от lkm Посмотреть сообщение
Где вы тут увидели маскировку под гугл-бота?
Посмотри на ип. Они принадлежат разве google?

117.78.58.25 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0 (Linux; Android 7.0; FRD-AL00 Build/HUAWEIFRD-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043602 Safari/537.36 MicroMessenger/6.5.16.1120 NetType/WIFI Language/zh_CN"
117.78.58.25 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0(Linux;Android 5.1.1;OPPO A33 Build/LMY47V;wv) AppleWebKit/537.36(KHTML,link Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 LieBaoFast/4.51.3"
117.78.58.20 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"
113.83.12.2 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0 (Linux; Android 7.0; FRD-AL00 Build/HUAWEIFRD-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043602 Safari/537.36 MicroMessenger/6.5.16.1120 NetType/WIFI Language/zh_CN"
jano вне форума   Ответить с цитированием
Старый 22.09.2019, 01:52   #4
kreat0r
Аспирант
 
Регистрация: 16.05.2012
Сообщений: 113
Репутация: 14526

По умолчанию Re: Фальшивые CN, CG, HK Google боты

Тут скорее поддельный реферер, т.к. сомнительно что китайцы к вам из гугла табуном валили.
Но на гуглобот здесь ни намёка.
kreat0r вне форума   Ответить с цитированием
Старый 22.09.2019, 01:55   #5
LEOnidUKG
『 Работаем 』
 
Аватар для LEOnidUKG
 
Регистрация: 25.11.2006
Адрес: Интернет
Сообщений: 22,900
Репутация: 2015264
Отправить сообщение для LEOnidUKG с помощью ICQ

По умолчанию Re: Фальшивые CN, CG, HK Google боты

Нету в этих странах гугла. Поэтому если у вас сайт не для Азии, то просто по ГЕО блокируем в Firewall эти страны и забываем про них.
LEOnidUKG на форуме   Ответить с цитированием
Старый 23.09.2019, 11:17   #6
NeKop
Студент
 
Регистрация: 12.09.2019
Сообщений: 6
Репутация: 10

По умолчанию Re: Фальшивые CN, CG, HK Google боты

Цитата:
Сообщение от LEOnidUKG Посмотреть сообщение
Нету в этих странах гугла. Поэтому если у вас сайт не для Азии, то просто по ГЕО блокируем в Firewall эти страны и забываем про них.
Простой и действенный способ, чтобы заблокировать нежелательный траф.
NeKop вне форума   Ответить с цитированием
Старый 23.09.2019, 17:02   #7
fliger
Кандидат наук
 
Аватар для fliger
 
Регистрация: 17.09.2015
Сообщений: 430
Репутация: 14885

По умолчанию Re: Фальшивые CN, CG, HK Google боты

А чего только 3 страны заблокировали? Блокировать нужно все сети APNIC (за исключением 171.22.*, 171.25.*, 171.33.*), из которых ваши клиенты к вам точно никогда не придут. Можно еще на всякий случай посмотреть, не появились ли в СНГ-зонах (и других нужных вам географических зонах) выделенные блоки APNIC-адресов (как выше в скобках).
fliger вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны