Как организовать сбор, обработку и хранение данных

КД
На сайте с 03.02.2014
Offline
24
404

Коллеги, подскажите как лучше всего организовать такую систему:

1. Есть данные (адреса магазинов), которые собираются в открытых источниках и должны где-то храниться.

2. Данные обрабатываются копирайтером - добавляются описания, корректируются названия и т.п.

3. Данные загружаются на сайт.

Последующие загрузки из открытых источников не должны перетирать уже обработанные данные, а должны сравниваться с ними (грубо говоря, не нужно загружать то, что уже было загружено, только новое).

В данный момент данные хранятся в Google Docs и загружаются из него на сайт (это в принципе устраивает). Но новые данные добавляются вручную.

Есть какое-то простое и надежное решение?

knezevolk
На сайте с 18.08.2008
Offline
279
#1

Любая CRM, допиленная под себя.

Контекст окупается - создание Директа и Гугл Рекламы (Adwords) ( https://searchengines.guru/ru/forum/964055 ) ||| Ютуб-канал "Директ для собственников бизнеса" ( https://www.youtube.com/channel/UCjzF4_iuZQc3Avbngb_xsjg/ )
КД
На сайте с 03.02.2014
Offline
24
#2
knezevolk:
Любая CRM, допиленная под себя.

А какую проблему решит CRM? Я открыл Bitrix24, там есть интеграция с Гугл доксом. Он может помочь с хранением и сбором данных?

Мне кажется получается какое-то лишнее звено. Или я что-то неправильно понимаю?

knezevolk
На сайте с 18.08.2008
Offline
279
#3

Коготь дракона, смысл в том, чтобы все работали в CRM - тогда там все будет видно.

КД
На сайте с 03.02.2014
Offline
24
#4
knezevolk:
Коготь дракона, смысл в том, чтобы все работали в CRM - тогда там все будет видно.

Такой проблемы как раз нет. Над текущей версией в Google Docs работают 2 человека (один из них я), у обоих есть Гугл-почта, и видно кто какие изменения делал.

Проблема в том, что данные в таблице сейчас обновляются вручную, и надо как-то автоматизировать этот процесс (не обязательно на основе Гугл таблиц, как раз ищу возможные решения).

TA
На сайте с 12.06.2009
Offline
116
TiA
#5
Коготь дракона:
Такой проблемы как раз нет. Над текущей версией в Google Docs работают 2 человека (один из них я), у обоих есть Гугл-почта, и видно кто какие изменения делал.
Проблема в том, что данные в таблице сейчас обновляются вручную, и надо как-то автоматизировать этот процесс (не обязательно на основе Гугл таблиц, как раз ищу возможные решения).

Здравствуйте.

Подобного рода задачи зачастую решаются вручную и зависят в первую очередь от системы, куда выглужаются данные. В рамках WP, например, можно создать новый тип записии, указать для него дополнительное поле "Адрес сайта" и написать фильтр, который будет проверять уникальность этого поля при сохранении. Функционал ревизий у WP есть.

Также можно написать скрипт, который будет автоматически собирать данные, проверять URL и добавлять их в качестве отдельных записей. После проверки редактор их будет просто публиковать.

Профессиональная верстка и разработка сайтов на WordPress (http://www.maultalk.com/topic139110s0.html)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий