Чем анализировать логи сервера (хотя бы самые базовые функции)?

12
nomarketing
На сайте с 23.09.2009
Offline
193
#11
Asar :

Есть завал китайских ботов (и не только китайских), причем тех, что не вычисляются по User-Agent, а более злобных товарищей. Хочу вычислить и забанить хотя бы тупо по IP. Для этого ищу прогу, которая на основе загруженных в нее логов могла бы выдавать хотя бы базовый минимум — стату по IP (сортировку по частоте). Вижу платные варианты, но 90 фунтов у меня на это удовольствие нет, а еще нет иностранной карты. Мож есть какой бесплатный вариант, или платный, но местный, рублевый?

С ботами размер суточного лог-файла вырастает многократно, и сейчас этот размер — 200—400 МБ (это для оценки ограничений, если таковые есть у проги или сервиса). Если, вдруг, какие-то онлайн варианты есть, которые работают с такими (а еще лучше — с бОльшими объемами, чтобы не за сутки смотреть) — прекрасно. А уж если еще чего и подписывать умеют (по IP проверять, что да кто и прочий доп. фукнционал) — то и вовсе хорошо. Повторюсь, платный вариант тоже рассмотрю, но с оплатой обычной РФ картой.

Если не мало знаний в админке, заплати нормальному админу, он тебе настроит бан по странам или прикрутит к сервису траста - по ip.

Если они одни и те же, можно самому всех забанить,  логи для кого придумали ?

Капитан покидает корабль последним
Станислав
На сайте с 27.12.2009
Offline
258
#12
Asar :

Есть завал китайских ботов (и не только китайских), причем тех, что не вычисляются по User-Agent, а более злобных товарищей. Хочу вычислить и забанить хотя бы тупо по IP. Для этого ищу прогу, которая на основе загруженных в нее логов могла бы выдавать хотя бы базовый минимум — стату по IP (сортировку по частоте). Вижу платные варианты, но 90 фунтов у меня на это удовольствие нет, а еще нет иностранной карты. Мож есть какой бесплатный вариант, или платный, но местный, рублевый?

С ботами размер суточного лог-файла вырастает многократно, и сейчас этот размер — 200—400 МБ (это для оценки ограничений, если таковые есть у проги или сервиса). Если, вдруг, какие-то онлайн варианты есть, которые работают с такими (а еще лучше — с бОльшими объемами, чтобы не за сутки смотреть) — прекрасно. А уж если еще чего и подписывать умеют (по IP проверять, что да кто и прочий доп. фукнционал) — то и вовсе хорошо. Повторюсь, платный вариант тоже рассмотрю, но с оплатой обычной РФ картой.

Ставь лимитку в nginx на запросы без рефа.

Я еще плюсом айпишники которые были отброшены в базу заношу и прочекиваю их потихонечку по крону. За  менее чем пол года более 6 млн. айпишников, к пенсии думаю все прочекаю)))

Если у тебя такое же гомно ползает, то не думаю что какая то програма тебе поможет на лету отфильтровывать этот шлак, разве что она с базой спамных айпишников.

Мы там, где рады нас видеть.
PA
На сайте с 15.02.2018
Offline
127
#13
ChatGPT ) И даже инструкции даст. Кстати мне помогло.
Продаю ХОСТИНГ, VDS шикарные | Дедик, VDS, Бекап ( https://is.gd/vgd245 ) дешево | Мои VDS ( https://is.gd/vds100 ) быстрее твоих. Хочешь сервер с базовым администрированием в Европе? Пиши.
nomarketing
На сайте с 23.09.2009
Offline
193
#14
Станислав #:

Ставь лимитку в nginx на запросы без рефа.

Я еще плюсом айпишники которые были отброшены в базу заношу и прочекиваю их потихонечку по крону. За  менее чем пол года более 6 млн. айпишников, к пенсии думаю все прочекаю)))

Если у тебя такое же гомно ползает, то не думаю что какая то програма тебе поможет на лету отфильтровывать этот шлак, разве что она с базой спамных айпишников.

Отфильтровать это ещё не проблема, как будет справляться сервер с выборкой из блека , если база будет огромной ?

Asar
На сайте с 23.08.2004
Offline
334
#15

Для тех, кто в похожей ситуации. Покамест для ради скорости решения заделал просто ограничение для Китая и Сингапура через определение страны ip-api.com. Вроде пашет. Посмотрим, что будет в стате за сутки.

Но вообще, это, конечно, времянка и с горя. Бо китайцы мне нужны не менее остальных. Да и сингапурцев приличных нет-нет, да и зайдет кто.
Asar
На сайте с 23.08.2004
Offline
334
#16
Ну, что ж. Пару дней пахало более-менее (отсекало процентов 85 примерно). Потом пахать перестало. Поставил покамест капчу (одной самодельной картинкой, цифры на которой вообще не меняются). Теперь отсекает с запасом. Правда, и народу живого стало меньше заходить, не все проходят даже такое ограничение. Подумываю, не написать ли цифры на картинке прямо текстом...
Alex
На сайте с 06.12.2016
Online
66
#17
Vladimir K #:

Тут бы не о ботах, а о уровне жизни задуматься.

Вот и задумайтесь, нам расскажите, что надумали то....
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий