Форум Сайтостроение Статистика и аналитика

Последние сутки большая нагрузка на сайт

1 23456
PA
На сайте с 15.02.2018
Offline
105
Pavel A
#41
Максим Кучеров #:
Забанил 4 айпи, если верить логам, это амазон паук который улучшает свою Алексу, но не понятно как ей помогут ролики mp4, в итоге 4 ТБ чего-то там скачал. 

User-agent: Amazonbot
Disallow: /

Продаю ХОСТИНГ, VDS шикарные | Дедик, VDS, Бекап ( https://is.gd/vgd245 ) дешево | Мои VDS ( https://is.gd/vds100 ) быстрее твоих
WS
На сайте с 01.11.2008
Offline
143
WebStorm
#42

согласен, надо глядеть в логи, раз через cloudflare, то просто анализом логов не отделаешься, надо изменить структуру сохраняемых по умолчанию логов в nginx и добавить реальный айпишник "http_x_forwarded_for"

    log_format  main  '$remote_addr - $remote_user [$time_local] $host "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

по нему и вычисляйте зловреда

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
W1
На сайте с 22.01.2021
Offline
304
webinfo
#43
Pavel A #:
User-agent: Amazonbot

Вредные боты не читают роботс.

Мой форум - https://webinfo.guru –Там я всегда на связи
W1
На сайте с 22.01.2021
Offline
304
webinfo
#44
Владимир #:
добавить реальный айпишник

Он же видит реальные IP, читай выше.

WS
На сайте с 01.11.2008
Offline
143
WebStorm
#45
webinfo #:

Он же видит реальные IP, читай выше.

да, вижу, ну значит остаётся просто банить по сети, не по отдельному айпишнику

52.0.0.0/10
52.64.0.0/12
34.192.0.0/10
Artisan
На сайте с 04.03.2005
Offline
360
Artisan
#46
Максим Кучеров #:
Кто там будет через америку в 4 айпи бегать целой страной?

Не обязательно целой страной, там достаточно богатых людей. Ваше описание похоже на работу прокси с кэшированием.

https://developer.amazon.com/amazonbot

  • Locate the accessing IP address from your server logs
  • Use the host command to run a reverse DNS lookup on the IP address
  • Verify the retrieved domain name is a subdomain of crawl.amazonbot.amazon

    • Reverse DNS lookup, который советуют для проверки, есть PTR запись в ответе DNS сервера. Для IP номеров из Вашего списка ответы DNS сервера такие.

    55.5.11.52.in-addr.arpa. 218	IN	PTR	ec2-52-11-5-55.us-west-2.compute.amazonaws.com.

    94.9.211.34.in-addr.arpa. 79	IN	PTR	ec2-34-211-9-94.us-west-2.compute.amazonaws.com.

    32.161.11.52.in-addr.arpa. 43	IN	PTR	ec2-52-11-161-32.us-west-2.compute.amazonaws.com.

    Никаких (crawl.amazonbot.amazon) не найдено, то есть похоже, что кто-то маскируется под (Amazonbot-Video) робота. Возможно, это хитрые живые люди смотрят кино через прокси с кэшированием. А почему, и какие люди, надо думать, а для этого надо лучше изучать обстановку.

    www.leak.info / ДАРОМ линки конкурентов и забытых доменов
    Качество хостинга - критично Настройка реверсного DNS для Параноя хостинга или оправданная
    МК
    На сайте с 19.02.2021
    Offline
    28
    Максим Кучеров
    #47
    Владимир #:

    согласен, надо глядеть в логи, раз через cloudflare, то просто анализом логов не отделаешься, надо изменить структуру сохраняемых по умолчанию логов в nginx и добавить реальный айпишник "http_x_forwarded_for"

    по нему и вычисляйте зловреда

    Стоит модуль от клоудфлейра, логи с реальными айпи.

    МК
    На сайте с 19.02.2021
    Offline
    28
    Максим Кучеров
    #48
    Artisan #:
    А почему, и какие люди, надо думать, а для этого надо лучше изучать обстановку.

    Боты которые накручивают короткие сессии никогда не напрягали, а вот эти прям ровно и синхронно забивали трафик. Жалобу я отправил, в блок кинул, статистика сайтов как и вчера, посмотрим конечно. Но думаю если есть цель, они ее будут добиваться и дальше.

    Требуется совет "матерого сеониста" Чло за лажа со Сайт полностью выпал из
    Artisan
    На сайте с 04.03.2005
    Offline
    360
    Artisan
    #49
    Максим Кучеров #:
    Но думаю если есть цель, они ее будут добиваться и дальше.

    Вирусная посещаемость может как появиться, так и пропасть, или появляться при редких условиях. Если это действительно Саудовская Аравия, то было бы лучше не запрещать, а использовать такое счастье.

    W1
    На сайте с 22.01.2021
    Offline
    304
    webinfo
    #50
    Artisan #:
    использовать такое счастье

    Пока что кто-то использует такое счастье, что позволяют проксировать сайт. 🤣

    1 23456

    Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий