Анти БОТ

Анти БОТ
Рейтинг
135
Регистрация
14.03.2020
Должность
специалист по поведенческим ботам
LEOnidUKG #:

А вместо весты уже давно ставят hestiacp, тот же опенсорс и развивается достаточно сильно.

Да я в курсе, приходилось сталкиваться. Как тому, кто пользовался Вестой - это ровно то же самое, просто чуть другая обертка. Ну и да, есть развитие.

Если суммировать, из бесплатных панелей для ВПС имеем:
- Брайни
- Хестиа
- Фастпанель

Что еще не упомянул?

Есть еще Aapanel, но это уже дело вкуса.

Список поддерживаемых панелей на сайте рутпанель не такой большой.
https://rootpanel.net/about.php

LEOnidUKG #:

Сами по себе настройки слишком перегружены и не всегда понятно, что за что отвечает. Для обычных людей это мрак там просто. 

Есть ощущение, что разработчики погнались за чем-то большим и просто забыли, что панель должна облегчать работу, а не усложнять её.

Здесь палка о двух концах. Панель ставится на VPS. И часто мизерных настроек на уровне шареда, что предлагается в других панелях - тупо недостаточно. По умолчанию, прямо из панели, без ковыряния в черном окне терминала. И без привлечения собственно вас или ваших коллег.
Ну а чем больше настроек и всякого разного, теми больше всякого разного вылазит. Благо разработчики панели ее постоянно допиливают и держат в тонусе.
И я очень рад, что им это не надоело, как в свое время надоело разработчикам Весты.

Поэтому если смотреть со стороны того, кто ставит клиентам сервер и потом клиенты этим сервером пользуются - Брайни проблемная. Потому что требует внимания. А чем больше настроек, тем выше шанс что клиент где-нибудь обязательно накосячит.
То ли дело, допустим Веста - один раз поставил и забыл навсегда, там ничего годами не меняется и настроек никаких, а значит заказчик ничего не сломает.

Топикстартеру. Из хостеров - на бизнес тарифах Timeweb (timeweb.cloud) предлагается BrainyCP сразу из коробки, на выбор среди других панелей.

KeicH2O #:

Там автоматом или настраивать нужно как в CF?

Никаких автоматов. В тарифных планах для простых смертных (3900 руб и 13900 руб в месяц) вообще не предусмотрены антиддосы и проч. Это только для тарифного плана где все по индивидуальному запросу. И то не факт что там есть доступ к каким-то настройкам. Так что можно забыть и не забивать себе голову.

IRuslan #:

Крупные сайты пользуются неким сервисом отсекающим ботов. Каким - не могу понять. Точно не самопись.

На Cloudflare не похоже. При заходе через инкогнито выдают сообщение: 

https://ngenix.net/products/edge-security-and-acceleration/

RomarioSpirtberg #:

И у меня НИКОГДА НЕ РОЖДАЛИСЬ все эти категоричные беспочвенные утверждения, что отстой этот ваш клауд. Это уже ваши фантазии...

Это не в вашу сторону камень. Тот, про кого речь, знает про кого речь.

По остальным вопросам я высказался выше. Вы можете все что наворотили удалить, и от этого ровным счетом ничего не изменится.

Я бы предпочел, чтобы другие участники обсуждения прокомментировали вот это.

RomarioSpirtberg #:

я добавил подсети Яндекса в это правило, т. к. если их туда не добавить, то сразу по любой странице сайта выскакивает 403 код ответа. Сначала в этом правиле не было подсетей Яндекса и я не мог понять почему выдаёт 403 ошибку. Потом, когда дополнительно ознакомился с настройками клауда, то понял что надо добавить подсети Яндекса в это правило и 403 ошибка пропала. 

По поводу  правила know bots, которое пропускает бота яндекса, да это указано в первом правиле.

клауд
seo_ntk #:

не силен в технической части, а разработчик мне не особо помогает)

Обычно так бывает, когда разработчик разбирается не сильно лучше, чем заказчик. 

Если кратко, то битрикс, для корректной работы с клаудом, в большом числе случаев требует некоторой доработки (например, слетает сессия).

Нужно смотреть логи (Security WAF Events) на предмет блокировки запросов от своих приложений (например, они идут по HTTP1, который вы заблокировали), и дорабатывать правила. Я не про полноценно дорабатывать чтобы оно фильтровало поведенческих ботов, а чтобы не фильтровало подключение одного вашего приложения к другому.
Для облегчения поиска - отключайте правила по одному, смотрите когда заработает. Естественно, это все при включенном проксировании.

Как мне кажется, здесь мало исходной информации.

Не работает просто с дефолтным клаудом без настроек, или после каких-то настроек.

Если что-то настроено, то что именно?

WantNight #:

Задача была: закрыть sitemap -  но оставить их для поисковых систем. Подсказка предоставлена, дальше пусть реализует.
ТС не писал что ему нужно скрыть карту сайта, чтобы не парсили сайт (для этого другие правила).
Про фиды ТС ничего не писал, но что мешает их тоже закрыть если таковые имеются? Весь клауд логируется.

Ну да, мы на основании своего опыта пошли чуть дальше и показываем топикстартеру то,  во что он упрется на следующем шаге.

Ок, тогда да, согласен. Пусть ставит клауд и блокирует все заходы на карту, если это не яндекс и гугл.

А потом создает уже следующую тему, где спрашивает, почему боты все так-же парсят мой сайт 🤣

У меня уже даже готовый ответ есть для следующего топика: потому что ваш клауд отстой и ничего не фильтрует )

И кстати, это ведь не все правила. Вы показали только одно, то что я расписал выше.
А судя вот по этому, бота яндекса тоже не блокирует. Т.е. в вашей мешанине где-то есть еще правило know bots, которое пропускает бота яндекса.
Т.е. одним правилом вы пропускаете ботов яндекса, а другое тупо не работает, потому что правило Skip этому же яндексу все разрешает. Про то, что вы намудрили и блокируете тем правилом яндекс, а не исключаете его из правила блока, расписано выше.

Т.е. у вас вообще нет ни одного работающего правила с запретом прямых переходов.
С этим же успехом можете все это удалить, и не изменится ровным счетом ничего.

клауд
WantNight #:

Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.

Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.

Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.
Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.

Все настраивается клаудом или другим решением в 2-3 правила.

Все верно. Это как-бы логично.
Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.
Т.е. просто блокировкой карты тут не отделаться, это полумера.

Да и вы выше то же самое топикстартеру написали. Что если захотят - спарсят.

Всего: 1391