- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Столкнулся с такой проблемой, начал нагружаться сервер. Сервер php-fpm + nginx.
После анализации пришёл к выводу, что одновременнно в секунду часть моих сайтов поcещает около 1k-2k google ботов,
Вот часть из пары сотен ИП:
117.78.58.23
117.78.58.25
117.78.58.20
49.87.175.43
180.122.20.25
121.33.146.226
юзер агент: "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"
По большей части боты из Китая, Гонконга и Сингапура маскируются под google. Получается, что в день было с них не один миллион обращений, что ну уж очень сильно нагружало сервер. Если и парсят контент, то каким же нужно быть криворуким, что бы так варварски нагружать сервер, думая, что хозяин не заметит.
Пришлось заблокировать 3 страны на уровне nginx CN,SG,HK. Нагрузка сразу же упала, но и google analytic показал - 40% посещаемости. Пока не заню, как это скажется на доход и прочее, пару дней прошло.
Вы как выходили из данной ситуации?
---------- Post added 17-09-2019 at 10:13 ----------
Слева на графике видно, как сильно нагружался сервер.
юзер агент: "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"
Где вы тут увидели маскировку под гугл-бота?
Где вы тут увидели маскировку под гугл-бота?
Посмотри на ип. Они принадлежат разве google?
117.78.58.25 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0 (Linux; Android 7.0; FRD-AL00 Build/HUAWEIFRD-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043602 Safari/537.36 MicroMessenger/6.5.16.1120 NetType/WIFI Language/zh_CN"
117.78.58.25 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0(Linux;Android 5.1.1;OPPO A33 Build/LMY47V;wv) AppleWebKit/537.36(KHTML,link Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 LieBaoFast/4.51.3"
117.78.58.20 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0(Linux;U;Android 5.1.1;zh-CN;OPPO A33 Build/LMY47V) AppleWebKit/537.36(KHTML,like Gecko) Version/4.0 Chrome/40.0.2214.89 UCBrowser/11.7.0.953 Mobile Safari/537.36"
113.83.12.2 - - [17/Sep/2019:07:05:12 +0000] "GET /address HTTP/1.1" 403 711 "https://www.google.com" "Mozilla/5.0 (Linux; Android 7.0; FRD-AL00 Build/HUAWEIFRD-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/53.0.2785.49 Mobile MQQBrowser/6.2 TBS/043602 Safari/537.36 MicroMessenger/6.5.16.1120 NetType/WIFI Language/zh_CN"
Тут скорее поддельный реферер, т.к. сомнительно что китайцы к вам из гугла табуном валили.
Но на гуглобот здесь ни намёка.
Нету в этих странах гугла. Поэтому если у вас сайт не для Азии, то просто по ГЕО блокируем в Firewall эти страны и забываем про них.
Нету в этих странах гугла. Поэтому если у вас сайт не для Азии, то просто по ГЕО блокируем в Firewall эти страны и забываем про них.
Простой и действенный способ, чтобы заблокировать нежелательный траф.
А чего только 3 страны заблокировали? Блокировать нужно все сети APNIC (за исключением 171.22.*, 171.25.*, 171.33.*), из которых ваши клиенты к вам точно никогда не придут. Можно еще на всякий случай посмотреть, не появились ли в СНГ-зонах (и других нужных вам географических зонах) выделенные блоки APNIC-адресов (как выше в скобках).