всё это продуманная политика, закон о "суверенном" интернете был принят задолго до так называемой сво ещё в 2019 году, а сейчас просто удобный повод под видом заботы о безопасности поотключать всем проклятый нескрепоносный интернет
особенно издевательски сейчас ретроспективно видится цель введения "суверенного" интернета: Законопроект предполагает создание независимой инфраструктуры для бесперебойного функционирования интернета в России.
Сами бызы весят не много. Для себя написал приложение на Python, это не сложно. Данные из лог-фала считываются построчно, парсятся, по IP определяются страны и провайдерам и все пишется в базу данных. Через веб интерфейс удобно анализировать, фильтровать данные логов.
это геолайт, они бесплатные просто зайти можно и скачать только по логину через максмайнд, но их скачивают и выкладывают вполне законно на гитхабе, они ведь бесплатные
я просто поинтересовался какой объём лога может обработать
очевидно, не большой, js в браузере не тот инструмент, которым можно обработать много данных
ну от компа зависит, но опять таки, последние сто тысяч записей лога запросто в браузере обработается и не захлебнётся, а этого достаточно, чтобы выявить зловредов
Devvver#: GEO хотел подключить через live базу. Но там гигабайт данных в JSON. А апишки который может 100К выдать хотя бы флажков не нашел. Итого - надо переписывать, желательно на питоне, потому что браузер может упасть от 1 гига JSON файла.
это всё для мелких сайтиков с полутора посетителями в час, включая ботов 😊
иначе логи будут околобесполезным мусором, занимающим гигабайты даже в сжатом виде
глупости, и не надо обесценивать общественно полезный труд парней, которые бесплатно создают такие нужны тулзы, в ваших потугах вижу только желание это притормозить, видимо занимаетесь ботами
кроме того, сами себе противоречите - то надо модуль для нджинкса, который создаёт, бесспорно дополнительную нагрузку, то оказывается запись логов создаёт нагрузку
только литву и казахстан у них только для этого и берут )
если под обход блокировок, то бегемот не подходит, у них в правилах это запрещено:
8. Запрещено использовать ресурсы Исполнителя для предоставления массовых публичных почтовых сервисов, VPN-сервисов, прокси-сервисов.
https://beget.com/ru/pravila#pravila
Решил купить на 16 симкарт goip, осенью были по 18-20-25 тыс/руб на авито, теперь 100+ 😂
У народа крыша едет?)
всё это продуманная политика, закон о "суверенном" интернете был принят задолго до так называемой сво ещё в 2019 году, а сейчас просто удобный повод под видом заботы о безопасности поотключать всем проклятый нескрепоносный интернет
Использую mmdb - базы с GEO IP, по странам, ASN - провайдеров. Сами сервисы платные, но есть добрые люди, выкладывающие регулярные обновления.
Например вот тут: https://github.com/P3TERX/GeoLite.mmdb;
Сами бызы весят не много. Для себя написал приложение на Python, это не сложно. Данные из лог-фала считываются построчно, парсятся, по IP определяются страны и провайдерам и все пишется в базу данных. Через веб интерфейс удобно анализировать, фильтровать данные логов.
я просто поинтересовался какой объём лога может обработать
очевидно, не большой, js в браузере не тот инструмент, которым можно обработать много данных
GEO хотел подключить через live базу. Но там гигабайт данных в JSON. А апишки который может 100К выдать хотя бы флажков не нашел.
Итого - надо переписывать, желательно на питоне, потому что браузер может упасть от 1 гига JSON файла.
mmdb весят десятки мегабайт, не более, посмотрите например: https://github.com/sapics/ip-location-db/tree/main/asn-country-mmdb это по asn, а вот это по странам https://github.com/sapics/ip-location-db/tree/main/geolite2-geo-whois-asn-country-mmdb
правда тут сложность именнно обработки самого mmdb средствами javascript, но вот тут есть уже готовая либа https://github.com/runk/mmdb-lib/tree/master
это всё для мелких сайтиков с полутора посетителями в час, включая ботов 😊
иначе логи будут околобесполезным мусором, занимающим гигабайты даже в сжатом виде
глупости, и не надо обесценивать общественно полезный труд парней, которые бесплатно создают такие нужны тулзы, в ваших потугах вижу только желание это притормозить, видимо занимаетесь ботами
кроме того, сами себе противоречите - то надо модуль для нджинкса, который создаёт, бесспорно дополнительную нагрузку, то оказывается запись логов создаёт нагрузку
сервак будет больше грузится записью логов, когда валится сотни-тысячи запросов в секунду
если не настроено кэширвание дескрипторов открытых файлов с логами то да, а так нет, к тому же логи надо разбивать по времени, чтобы не много весили:
ну и кэшировать дескрипторы открытых файлов с логами: