Очень много бота Яндекса, Рег ру ссылается на ддос

12 3
rzee
На сайте с 05.09.2010
Offline
158
825

Здравствуйте! Очередная проблема с Рег ру.

Хостинг - VIP 2 с разрешенной нагрузкой на CPU 60%, стандартная нагрузка в сутки по всем проектам составляет 14-16%

Около 20 сайтов, один из которых имеет траф ~10к/сутки ~100к просмотров, оптимизирован, основной траф - мобилки.

Вчера получил письмо:

Наш робот обнаружил на вашем сайте .....ru аномальную нагрузку, которая характерна для DDoS-атаки. Такая нагрузка на сервер может ухудшить качество услуги для остальных клиентов, поэтому доступ к вашему сайту был ограничен автоматически с помощью файервола.

Чтобы избежать негативного влияния паразитного трафика на сервер и дать вам время подключить защиту, мы временно перевели IP сервера на защиту L7.

Что это значит:
- пока IP сервера находится под защитой, ваш сайт будет доступен;
- после отключения защиты .....ru перестанет быть доступным в Интернете, так как на него будет действовать блокировка файервола.

Для бесперебойной работы сайта мы рекомендуем подключить защиту от атак HTTP flood, например, от наших партнёров DDoS-Guard.

Мы восстановим доступ к сайту, когда атака закончится, но не раньше чем через сутки. Если вы заказали услугу Защиты от DDoS-атак, оповестите нас, и мы ускорим восстановление доступа к сайту.


Сегодня прикрутил Клаудфлар.

В поддержке узнал " За 25.12.2022 до вашего сайта было совершено 499902 запроса. Ниже прикладываю список IP-адресов с которых производилось наибольшее количество запросов."

"77.88.5.216 - - [25/Dec/2022:16:07:47 +0300] "POST /урл страницы/ HTTP/1.0" 200 158615 "урл страницы" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268"

77.88.5.216 - - [25/Dec/2022:16:07:52 +0300] "GET /урл страницы/ HTTP/1.0" 200 44628 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.268"

Также вижу, что часть IP-адресов принадлежит компании Cloudflare

$ whois 172.71.102.207 | grep NetName

NetName:        CLOUDFLARENET"

С чего Яндекс так прицепился к страницам обращаясь к ним за сутки ~200 тысяч раз? Можно ли его немного ограничить?

В вебмастере отключен обход по счетчикам + обход робота указан вручную на минимум.

D1
На сайте с 30.07.2015
Offline
147
#1
rzee :

С чего Яндекс так прицепился к страницам обращаясь к ним за сутки ~200 тысяч раз? Можно ли его немного ограничить?

Может что-то на сайте накосячили, из-за чего Яша пошел весь сайт переобходить? И еще смотря сколько страниц на сайте и какая посещалка

hip.hosting
На сайте с 07.06.2019
Offline
41
#2

Яндекс позволяет троттлить скорость обхода сайта:
https://webmaster.yandex.ru/

https://hip-hosting.com ( https://hip-hosting.com ) VPS/VDS с быстрой установкой (RU, NL, DE, FI, US, UK, FR, LV). Telegram: @hiphosting( https://t.me/hiphosting ) Email: sales@hip-hosting.com
rzee
На сайте с 05.09.2010
Offline
158
#3
Илья hip-hosting #:

Яндекс позволяет троттлить скорость обхода сайта:
https://webmaster.yandex.ru/

Это все сделано (в описании указал)

demon155 #:

Может что-то на сайте накосячили, из-за чего Яша пошел весь сайт переобходить? И еще смотря сколько страниц на сайте и какая посещалка

По сайту точно нет косяков... В описании написал посещалку и Яша не по всему сайта, там на две страницы атака от него, на первую  158615 запросов, на вторую  44628.

D
На сайте с 05.02.2022
Offline
33
#4
У регру один из самых отстойных хостингов. 
Сергей
На сайте с 10.07.2022
Offline
43
#5
Вы лучше обратите внимание на то, что Яндекс POST запрос отправляет, судя по логам. Это явно косяк в алгоритмах работы  сайта.
Открытый проект для юристов в Москве и Московской области https://ask.mosdok.ru сопровождение сделок, регистрация домов, оформление строительства
D1
На сайте с 30.07.2015
Offline
147
#6
rzee #:

Это все сделано (в описании указал)

По сайту точно нет косяков... В описании написал посещалку и Яша не по всему сайта, там на две страницы атака от него, на первую  158615 запросов, на вторую  44628.

А что за сайт хоть и что это за 2 загадочные страницы?

D1
На сайте с 30.07.2015
Offline
147
#7
dzthd #:
У регру один из самых отстойных хостингов. 

Нормальный хостинг с быстрой и качественной поддержкой

rzee
На сайте с 05.09.2010
Offline
158
#8
demon155 #:

Нормальный хостинг с быстрой и качественной поддержкой

Сомнения уже... Каждые 2 месяца навязывают услуги

W1
На сайте с 22.01.2021
Offline
292
#9
demon155 #:

Нормальный хостинг с быстрой и качественной поддержкой

Регру - это регистратор. Использует это обстоятельство , что бы заодно и хостинг у него покупали.

Мой форум - https://webinfo.guru –Там я всегда на связи
-S
На сайте с 10.12.2006
Offline
1355
#10
rzee #:

Сомнения уже... Каждые 2 месяца навязывают услуги

Причем это к качеству?

rzee :
В поддержке узнал " За 25.12.2022 до вашего сайта было совершено 499902 запроса. Ниже прикладываю список IP-адресов с которых производилось наибольшее количество запросов."

У Вас еще 300к запросов нет от Яндекса, это важнее.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий