Access log - помогите расшифровать пожалуйста. Не Get, a Head

Amigo_9876
На сайте с 01.04.2009
Offline
250
168

Помогите разобраться с логами. Сорян, но поиск дал, только общие ответы.

1. Это означает что с главной страницы сайта wcbiathlon был 301-й редирект на другие сайты? Или наоборот?

wcbiathlon.ru 185.203.240.129 - - [08/Aug/2020:14:43:26 +0300] "HEAD / HTTP/1.0" 301 - "https://psyinspire.com" "Mozilla/7.0 (compatible; MSIE6.00; Windows 2004)"
wcbiathlon.ru 185.209.20.147 - - [08/Aug/2020:14:43:26 +0300] "HEAD / HTTP/1.0" 301 - "https://metrixdesign.ru" "Mozilla/3.0 (compatible; MSIE7.00; Windows 2006)"
wcbiathlon.ru 85.209.89.224 - - [08/Aug/2020:14:45:15 +0300] "HEAD / HTTP/1.0" 301 - "https://pravda-o-coronaviruse.ru" "Mozilla/6.0 (compatible; MSIE3.00; Windows 2006)"
wcbiathlon.ru 212.86.109.31 - - [08/Aug/2020:14:45:16 +0300] "HEAD / HTTP/1.0" 301 - "https://potolkii.ru" "Mozilla/5.0 (compatible; MSIE3.00; Windows 2007)"
wcbiathlon.ru 85.209.89.205 - - [08/Aug/2020:14:45:44 +0300] "HEAD / HTTP/1.0" 301 - "https://1agm.ru" "Mozilla/7.0 (compatible; MSIE7.00; Windows 2007)"

2. Тут как я понимаю был заход на http версию, и произошел редирект на https, верно?

wcbiathlon.ru 195.162.9.185 - - [09/Aug/2020:21:17:29 +0300] "GET / HTTP/1.0" 301 230 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0"
wcbiathlon.ru 195.162.9.185 - - [09/Aug/2020:21:17:30 +0300] "GET / HTTP/1.0" 200 50497 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/68.0"

3. А это что.

wcbiathlon.ru 37.229.196.63 - - [10/Aug/2020:03:34:39 +0300] "GET /news/ HTTP/1.0" 301 235 "https://sauni-moskva.ru/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)"
wcbiathlon.ru 37.229.196.63 - - [10/Aug/2020:03:34:40 +0300] "GET /news/ HTTP/1.0" 301 235 "https://sauni-moskva.ru/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)"
wcbiathlon.ru 37.229.196.63 - - [10/Aug/2020:03:34:40 +0300] "GET /news/ HTTP/1.0" 301 235 "https://sauni-moskva.ru/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)"

По идее должна быть тогда строка с ответом 200. Но ее нет. И по саунам задолбал он

wcbiathlon.ru 37.229.196.63 - - [08/Aug/2020:09:09:42 +0300] "GET /season/ HTTP/1.0" 301 237 "https://sauna-v-ufe.ru/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)"
wcbiathlon.ru 37.229.196.63 - - [11/Aug/2020:11:15:09 +0300] "GET /season/ HTTP/1.0" 301 237 "https://sauni-lipetsk.ru/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)"

Куча таких Get и Head запросов.

4. Когда то (скорее всего) добавлял rss в различные агрегаторы, уж 10 лет прошло, а они все парсят. Того чего нет. С этим можно что-то сделать, или только вручную запрещать каждый IP, который пытается подключиться?

wcbiathlon.ru 185.220.100.243 - - [11/Aug/2020:11:29:01 +0300] "GET /index.php?format=feed&type=rss HTTP/1.0" 301 264 "-" "Mozilla/4.6 (Windows NT 10.0; WOW64) AppleWebKit/541.27 (KHTML, like Gecko) Chrome/47.0.2526.73 Safari/541.27"
wcbiathlon.ru 185.220.100.243 - - [11/Aug/2020:11:29:04 +0300] "GET /index.php?format=feed&type=rss HTTP/1.0" 404 1832 "-" "Mozilla/4.6 (Windows NT 10.0; WOW64) AppleWebKit/541.27 (KHTML, like Gecko) Chrome/47.0.2526.73 Safari/541.27"

Нагрузка на сайт сумасшедшая именно за счет роботов. 

Больше всего YandexNews старается - 1 запрос в минуту на один и тот же rss файл. И это все при включенном кэшировании :)

Автоматическая публикация в ВК, FB, Twit, Instgm (http://bit.do/fcdAH) - от 250 руб/месяц. Лучший украинский хостинг (http://bit.do/fcdAQ) Проверяю на индекс (http://bit.do/fcdBe) и тут же индексирую (http://bit.do/fcdBj)
cloud-shield
На сайте с 25.01.2017
Offline
42
#1

Проще всего в вашем случае будет поставить сайт под прокси защиту с фильтрацией нелегитимных "серых "и "черных" ботов.
Так же добавить кэширования, чтобы подобные запросы не доставляли проблем.

Защита сайтов, vps и дедиков от DDoS атак - Cloud-Shield.ru (https://cloud-shield.ru)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий