- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Ограничения на количество файлов на хостинге.
Можно же и много строк в одном файле хранить.
когда накопится порядка 100К файлов в папке
в базе за счет того что оно в оперативе это будет быстрее. Или я не прав?
Если данные однородны, то следует их писать в базу, разбирая JSON на объекты. Тогда будет экономия по времени извлечения и по объёму данных. Если же там неоднородное месиво, тогда, на мой взгляд, можно рассмотреть и вариант с хранением в файлах.
Собственно вопрос:
Имеются данные, которые собираются в браузере с помощью JS в виде огромного JSON.
Но у меня большие сомнения по поводу такого метода. Ведь по идее можно подделать JS и сгенерировать JSON с вредоносным кодом. B php скрипт добавит его в базу.
У меня паранойя или это возможно? Если можно добавить - может ли злоумышленник каким то образом его запустить в БД?
Еще вопрос - так как размер данных очень большой - сколько можно грузить в базу без проблем? Можно будет ли работать с БД если ее размер будет 5-10 Гигов? Не будет ли тормозить в будущем при попытке импорта данных?
Спешу подогреть вашу паранойю, так как многие кодеры активно интересуются, как сделать перехват и изменение строки JSON https://myht.ru/question/34654139-perehvat-i-izmenenie-stroki-json-do-togo-kak-jque Соответственно это можно реализовать, да любую БД можно хакнуть. Если переживать об этом постоянно, то с ума сойти можно.
Вообще вы как-то поверхностно описали проект и проблему в целом. Почему вы считаете. что в обязательном порядке кому-то понадобится подделать JS и генерировать JSON с вредоносным кодом? Были предпосылки?
OkoloIneta, Вот оно и видно что вы Около Нета! Не несите ахинею вместе со ссылками непонятно про что
Можно же и много строк в одном файле хранить.
Можно. Но мне потом надо экспортировать данные, делать по ним поиск.
Если данные однородны, то следует их писать в базу, разбирая JSON на объекты.
Что имеется под однородностью?
Что имеется под однородностью?
То, что JSON содержит объекты из известного набора с известными свойствами, а не случайные данные, формируемые пользователями из их собственных соображений.
Ограничения на количество файлов на хостинге.
Ну и опыт подсказывает что когда накопится порядка 100К файлов в папке - будет лагать.
Эти данные в будущем нужно будет экспортировать. Я всегда считал что в базе за счет того что оно в оперативе это будет быстрее. Или я не прав?
Мой опыт показывает, что 100к вполне рабоче, правда не на хостинге конечно, а внутри VPS.
Ну и конечно, лучше не в 1 папку сувать, а в несколько, это обычно не проблема.
Вот более 100к уже больше проблем. Более 1 млн надо уже думать серьезно.
Экспорт зависит "какой". Если вы не планируете пользоваться индексами от базы один вред.
Если планируете, то предстоит вначале верифицировать ваши данные, затем уже в базу загонять в нормальном виде с разбивкой по полям итп.
Сувать туда просто текст смысла ноль.
ЗЫ. Файловая система - это такая база данных с доступом по имени-пути... вероятность того, что sql субд будут работать в этом применении быстрее стремится к нулю. Для большого кол-ва фалов есть кстати какие-то отдельно типы файловых систем... вроде бы еще быстрее.
Все верно, размер списка файлов в каталоге -4к по умолчанию. Если список файлов больше - повод раскидывать по суб-каталогам, так как начинает падать производительность.
То, что JSON содержит объекты из известного набора с известными свойствами
Набор свойств известен. Но я не хотел записывать каждое свойство в отдельную ячейку mysql именно по причине того что большой шанс что при попытке взлома мне могут залить левые данные. А значит нужно дополнительно делать проверку всех свойств JSON.
Я предполагал таблицу, в которой есть 2 значения = id и JSON в 2 ячейке.
Если вы не планируете пользоваться индексами от базы один вред.
Погуглил за индексы - нет я не планировал их использовать, так как данные хотел хранить в 1 ячейке.
вероятность того, что sql субд будут работать в этом применении быстрее стремится к нулю
Ну почему? данные то будут в оперативе, а при чтении с диска будет медленее.
Набор свойств известен. Но я не хотел записывать каждое свойство в отдельную ячейку mysql именно по причине того что большой шанс что при попытке взлома мне могут залить левые данные. А значит нужно дополнительно делать проверку всех свойств JSON.
Если бы вопрос стоял именно так, то никто не пользовался бы MySQL, потому что эта проблема была бы у всех. Однако весь мир как-то хранит данные в БД.
Я предполагал таблицу, в которой есть 2 значения = id и JSON в 2 ячейке.
---------- Добавлено 23.12.2019 в 14:17 ----------
Ну почему? данные то будут в оперативе, а при чтении с диска будет медленее.
Ну почему? данные то будут в оперативе, а при чтении с диска будет медленее.
С чего вы взяли, что кеширование в памяти для базы будет лучше, чем для диска ?
В любой нормальной ОС ВСЯ свободная память кеширует операции с диском.
Если хотите работать "быстро и много", то есть такая штука как ram drive...
Создаете из памяти, копируете туда "что надо", работаете.
Идея хранить в БД в одной ячейке текст - ущербна.
Но это несколько проще, чем хранить в файлах.
---------- Добавлено 23.12.2019 в 14:31 ----------
ЗЫ. Ощущение такое, что вы хотите какой-то "хайлоад" сделать без опыта вообще и без понимания как работают простейшие вещи.
Если хотите результатов - придется кого-то нанять, либо полгода-год разбираться самому.
В первом случае вам "как надо" скажет тот, кого наймете. Во втором случае делайте в файлах и не морочьте людям голову.