Яндекс ддосит сайт. Что делать?

123
Антоний Казанский
На сайте с 12.04.2007
Offline
702
#11
Paradine #:
И предложили установить ограничение на количество запросов в минуту (ограничение 200, при 500 нагрузка на проц возрастает до 100%)

Кол-во запросов в минуту? Ничего не путаете?

В настройках скорости обхода значения в секундах.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
margo25
На сайте с 19.03.2017
Offline
59
#12
Антоний Казанский #:

Кол-во запросов в минуту? Ничего не путаете?

В настройках скорости обхода значения в секундах.

Да нет, вроде все верно, в минутах, но ещё раз гляну

Антоний Казанский
На сайте с 12.04.2007
Offline
702
#13
margo25 #:

Да нет, вроде все верно, в минутах, но ещё раз гляну

Vladimir
На сайте с 07.06.2004
Offline
562
#14
Paradine :

Последние 2 недели от ботов Яндекса приходит такое количество запросов, что сервер падает.

Чтобы сервер не падал, для всех роботов ПС настраиваем ответ сервера last-modified  ( гуглим что и как настраивается )
Дата LM должна быть датой создания или модификации страницы

После настройки ответа сервера, скорость обхода можно поставить максимальную


Сергей #:

Ждать бесполезно. Ситуация такая, у них не осталось нормальных программистов. Кто, куда разъехались и по каким причинам, думаю понятно.

Можно в ЛС, в этом случае ( бесплатно) пишу что сделать, делаете сами или нанимаете программиста

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Vladimir
На сайте с 07.06.2004
Offline
562
#15
delete
Сергей
На сайте с 10.07.2022
Offline
43
#16
Vladimir #:
Чтобы сервер не падал, для всех роботов ПС настраиваем ответ сервера last-modified

Наличие заголовка не снимает нагрузку с сервера, а только уменьшит трафик для клиента/поисковика (который хранит у себя старую версию страницы). А вот кеширование - снимает нагрузку с севера.

Открытый проект для юристов в Москве и Московской области https://ask.mosdok.ru сопровождение сделок, регистрация домов, оформление строительства
htexture
На сайте с 29.05.2017
Offline
212
#17
Карта сайта решает проблему? Чтобы робот жевал карту а не сайт каждый раз по новой?
Сергей
На сайте с 10.07.2022
Offline
43
#18
htexture #:
Карта сайта решает проблему? Чтобы робот жевал карту а не сайт каждый раз по новой?

Просто карта, без xml разметки снизит не на много нагрузку с сервера. Поисковику важно поддерживать актуальность базы.

Карта xml с датами обновления всех страниц сайта, поможет снять нагрузку с сервера, при условии что поисковик будет считать достаточной эту информацию.

Vladimir
На сайте с 07.06.2004
Offline
562
#19
Сергей #:

Наличие заголовка не снимает нагрузку с сервера, а только уменьшит трафик для клиента/поисковика (который хранит у себя старую версию страницы). А вот кеширование - снимает нагрузку с севера.

Ну да трафик это не нагрузка?🤣
- если без заголовков, роботы ПС обходят  весь сайт в тысячи и десятки тысяч страниц
У ТС - скриншот с логами: 100 000 запросов.
- с заголовками, отдаются только изменившиеся и новые страницы: десяток - сотню страниц







P
На сайте с 19.10.2010
Offline
108
#20

Спасибо всем за идеи и сообщения, стараюсь всё проверить в меру своего понимания. После блокировки и ограничений всего и вся, проблема свелась к одному боту (на скрине ниже), теперь явно видно, что сайт падает когда он активизируется, стабильно отправляет на сервер +-600 запросов в минуту. Судя по описанию, он проверяет доступность страниц для директа. Мониторинг сайта был отключен во всех рекламных кампаниях, но бот продолжает приходить и перегружать сервер. В настройках самого вебмастера не нашел никаких опций на эту тему (кроме мониторинга конкретных страниц, там ничего не выбрано). Поддержка пообещала ограничить активность бота (200/минута), но ничего не меняется.

У сайта ~2000 поддоменов. Бот обращается только к главной странице, не понимаю зачем нужно делать 30 000 обращений в час.

Логи:


Описание бота:


Опция мониторинга сайта:


123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий