Импорт товаров на сайт

12
cblcg
На сайте с 28.06.2012
Offline
233
1958

Есть ИМ и необходимо загружать каталоги товаров с сайтов поставщиков. У нас есть возможность грузить товары из файла xml для яндекс-маркета. Проблема, что не все поставщики имеют нужный формат выгрузки либо вообще не имеют выгрузку но имеют виджеты по выгрузке типа турбопарсера или sliza с которых можно получить только открытый каталог и толкьо в формате CSV.

Есть ли среды типа https://scrapinghub.com/portia и ей подобные, но толкьо способные на выходе выгружать данные в нужном нам формате? Или можно както конвертить одно в другое и есть универсальное решение давно.

Просто думаю многих интересует быстрый импорт товаров и обновление наличия и цен. Может кто сталкивался с данной проблемой и нашел решение

_
На сайте с 24.03.2008
Offline
353
#1

Как-то можно конвертить.

Но поскольку тараканы разные у всех поставщиков, и у всех владельцев ИМ, то это "как-то" обычно довольно узко заточено под конкретный ИМ.

И как правило это существенная часть "внедрения" этого самого ИМ.

На самом деле остро зависит от раздолбайства конкретных поставщиков....

cblcg
На сайте с 28.06.2012
Offline
233
#2

я представляю какоето универсально решение в виде сопоставление столбцов и параметров обного с другим и так конверить. Может такое есть уже в видео онлайн конвертера?

_
На сайте с 24.03.2008
Offline
353
#3

Для экселя ищите.... или если всё так просто - напишите простенькое на VB скрипте.

Но обычно... обычно недетские заморочки бывают.

То что вы хотите получить "готовое", не стоит того, чтобы его искать, разбираться как оно работает, какие глюки, итд итп.

vimpel77
На сайте с 27.03.2012
Offline
107
#4

Это наверное, наша главная проблема в автоматизации. Все делается через ж****у, я серьезно задавался вопросом автоматизации года полтора назад... пока результата нет, потому как много поставщиков не нацелены на ИМ

------------------------- Стратегические просчеты невозможно компенсировать тактическими успехами
DM
На сайте с 13.09.2008
Offline
75
#5

Вряд ли вы найдете готовое на 100% устраивающее вас решение. Какие-то сервисы есть, но все засады с которыми я встречался не позволили ими пользоваться.

Расскажу про свой путь. Долгое время мы пытались делать загрузчики всех возможных форматов в 1с (и уже оттуда выгружать в интернет-магазин), но потом эволюционно пришли к тому, что поддерживать весь зоопарк форматов и исправлять всю возможную кривизну файлов лучше до передачи их 1с, а 1с уже пусть работает только с одним форматом.

В итоге я запилил свое решение на дешевой linux VPS, этакий ацкий комбайн-конвертер, работающий в автопилоте и снимающий море проблем с автоматизацией.

В чем суть - все возможные форматы данных от поставщиков конвертируются комбайном в csv, далее обрабатываются и выдаются на загрузку в 1с.

Комбайн работает с csv, xls, xml, yml, txt. Пока не работает с xls с объединенными ячейками (поставщики и в таком изврате отдают), но это временно.

Какие-то скрипты сделаны на bash, что-то на php, есть python для конверсии xls to csv.

В отдаленном будущем планирую переписать все на php или python.

Что дает свое кастомное решение? Скорость + невероятную гибкость при разборе даже самых кривых файлов от поставщиков.

Добавил поставщик новую колонку или элемент? Не вопрос, 10 мин. и вы уже разбираете новый формат. В результате в 1с попадает корректный файл.

Несмотря на то, что даже на элементарный CSV есть свой RFC, отдельно одаренные программеры поставщиков ухитряются выдавать некорректные файлы.

Переделывать это зачастую никто не хочет, но в нашем случае это и не страшно. Вычищаем, модифицируем и имеем нормальный файл.

По функционалу:

1. Скачивает файлы поставщиков и картинки товаров.

2. Автоматически отправляет письма на эл почту тем поставщикам, которые не умеют выкладывать файлы на ftp или http.

3. Получает письма от поставщиков с файлами, скачивает аттачи.

4. Конвертирует все входящие форматы в CSV, вычищая все файлы от всевозможной кривизны и ошибок.

5. Конвертирует и сжимает картинки товаров, линки на которые есть в файлах поставщиков.

6. Упаковывает файлы и выкладывает их на фтп для забора роботом 1с.

В итоге имеем готовый csv + сжатые картинки товаров, которые автоматически цепляются к элементам номенклатуры. Работа контент-менеджера упростилась многократно.

Но опять же это мой путь и возможно не самый правильный.

_
На сайте с 24.03.2008
Offline
353
#6

Да нет, правильная схема абсолютно.

Где это всё держать дело 10е, но да, нужен какой-то "комбайн" по конвертации из кучи форматов в один.

Форму он любую может принимать. Может быть девочка со скриптами на экселе, но лучше, конечно, целиком автоматическое решение.

---------- Добавлено 06.06.2018 в 12:54 ----------

vimpel77:
Это наверное, наша главная проблема в автоматизации. Все делается через ж****у, я серьезно задавался вопросом автоматизации года полтора назад... пока результата нет, потому как много поставщиков не нацелены на ИМ

Просто нет общих стандартов, обычная история.

Каждый строит свой велосипед в результате. Увы.

cblcg
На сайте с 28.06.2012
Offline
233
#7

Просто некоторые поставщики имеют сайты с подключенными виджетами турборсера или слизы, но при этом не имеют выгрузок xml - вот что напрягает и выходит надо либо их долбить, чтобы сделали, либо парсер писать, либо както этими виджетами получать данные и уже эти данные преобразовывать в нужный формат.

Но то, что мы стремимся до этапа загрузки привести файл в нужным нам формат это правильно? Просто чтобы не городить кучу плагинов на стороне сервера.

---------- Добавлено 06.06.2018 в 16:53 ----------

D_M_K:


В итоге я запилил свое решение на дешевой linux VPS, этакий ацкий комбайн-конвертер, работающий в автопилоте и снимающий море проблем с автоматизацией.
.

Какова стоимости данного решения и поделитесь контактами исполнителя?

C
На сайте с 13.02.2009
Offline
94
#8

Мы пришли к решению, что всё что есть на сайте надо грузить из 1с. Цены и номенклатуру стали грузить с помощью модулей для 1с.

Никого рекламировать не хочу, но есть https://infostart.ru/public/all/?st=t&public-filter%5Bsearch%5D=%E8%EC%EF%EE%F0%F2

В целом норм получилось и быстро и не дорого.

Что касается обновление из почты, то такие тоже есть.

cblcg
На сайте с 28.06.2012
Offline
233
#9

Собрав кучу выгрузок от поставщиков видно уже закономерность. Не хватает прямо малость. Жаль, что автор сообщения про конвертор не отписался.

Сейчас приходится под каждого php скрипт обработчик делать.

По поводу 1с - мы изначально ушли от загрузки из 1с на загрузку с сайта в 1с, т.к. стоимость человекочаса при наполнении на сайте в разы дешевле.

humbert
На сайте с 16.03.2006
Offline
514
#10

cblcg, а так и будет - под каждый новый прайс делать отдельный скрипт разбора прайса.

Точнее не так - под каждый новый шаблон прайса делать новую функцию разбора:)

Мне предстоит ближе к осени такое дело, для себя решил делать так - из прайсов поставщиков мне нужны только цены, товарные остатки и артикул, возможно наименование товара.

А дальше ручками или полуавтоматом собирать с инета описания товаров, фотки и другие материалы, например, характеристики.

Иного пути не вижу.

Парсинг прайс-листов, наполнение интернет-магазина товаром. (https://humbert.ru) Любая CMS (Битрикс, OpenCart, Prestashop и даже Woo Commerce )
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий