Вебмастер - умирающая профессия

D
На сайте с 06.01.2022
Offline
26
#91
Sly32 #:

Так а кто же такой этот data Engineer? У вас какие обязанности на нем?  и что такое

Ладно, объясню на пальцах. К примеру, у тебя есть crm , erp и ещё куча сервисов в компании. Чтобы из этого всего слепить нормальную аналитику , нужно это всё собрать в одном месте , очистить,  объединить , посчитать атрибуты, сделать модели с агрегацией  и разной степени детализации, с разной частотой обновления,  которые просят аналитики, бизнес  и ТД и доставить  потребителям. То есть сделать data warehouse и разработать дата пайплайны. Дата инженер этим и занимается. Если очень кратко и без подробностей. На текущем месте у меня больше 40 источников , хранилище на несколько  петабайт и 8 дата инженеров. 

M3
На сайте с 09.02.2022
Offline
89
#92
Devstory #:

Ладно, объясню на пальцах. К примеру, у тебя есть crm , erp и ещё куча сервисов в компании. Чтобы из этого всего слепить нормальную аналитику , нужно это всё собрать в одном месте , очистить,  объединить , посчитать атрибуты, сделать модели с агрегацией  и разной степени детализации, с разной частотой обновления,  которые просят аналитики, бизнес  и ТД и доставить  потребителям. То есть сделать data warehouse и разработать дата пайплайны. Дата инженер этим и занимается. Если очень кратко и без подробностей. На текущем месте у меня больше 40 источников , хранилище на несколько  петабайт и 8 дата инженеров. 

интересно, а сколько денег предлагают за эту должность?)

D
На сайте с 06.01.2022
Offline
26
#93
master32 #:

интересно, а сколько денег предлагают за эту должность?)

У меня Джуниоры 100к , миддл 200-300, сеньоры 370-400к net

S5
На сайте с 06.12.2010
Offline
122
#94
Говорят с ChatGPT уже и миддлы не нужны, достаточно в штате фулл-стак промпт инженера)))
M3
На сайте с 09.02.2022
Offline
89
#95
serg5777 #:
Говорят с ChatGPT уже и миддлы не нужны, достаточно в штате фулл-стак промпт инженера)))

уже не нужны промпт инженеры, чтоб ставить задачи, сейчас домохозяйки с отрицательными знаниями кодинга вкатываются в ИТ)

D
На сайте с 06.01.2022
Offline
26
#96
master32 #:

уже не нужны промпт инженеры, чтоб ставить задачи, сейчас домохозяйки с отрицательными знаниями кодинга вкатываются в ИТ)

В теории да, на практике в сложном бизнесе с кучей систем и интеграциями - нет . Даже адекватно разобраться в бизнес экспертизе мало у кого выходит на приемлемом уровне. Сам код писать можно и макаку научить, а вот системно мыслить, учитывать стопиицот нюансов и зависимостей  и ИИ не умеет. 

M3
На сайте с 09.02.2022
Offline
89
#97
Devstory #:

В теории да, на практике в сложном бизнесе с кучей систем и интеграциями - нет . Даже адекватно разобраться в бизнес экспертизе мало у кого выходит на приемлемом уровне. Сам код писать можно и макаку научить, а вот системно мыслить, учитывать стопиицот нюансов и зависимостей  и ИИ не умеет. 

в действительности, домохозяйки уже не в теории, а именно на практике делают успешные кейсы)

Artisan
На сайте с 04.03.2005
Offline
374
#98
Devstory #:
На текущем месте у меня больше 40 источников , хранилище на несколько  петабайт и 8 дата инженеров.

Почему ищете другое место?

Сказка в тему.

Что такое рай?

Когда есть много разного железа, разных сетей, и разных пользователей.

А что такое ад?

Быть в этом раю системным администратором.

www.leak.info / ДАРОМ линки конкурентов и забытых доменов
D
На сайте с 06.01.2022
Offline
26
#99
Artisan #:

Почему ищете другое место?


Больше денег хочется ) 

S3
На сайте с 29.03.2012
Offline
348
#100
Devstory #:
А я не могу серьезно говорить с человеком , который не знает что такое BI (business intelligence), дата инжениринг. Ну хоть бы загуглил. Зачем мне объяснять элементарные вещи ?

Я не только знаю, что это такое, я и дорабатываю инструменты для него. Ну точнее как раз подготавливаю данные для использования. У нас используется PowerBI. Но тут да, мой косяк, забыл про него.

Devstory #:

Спарк и вообще все что связано с хадуп. Устаревают технологии и выходит новые. Например сейчас в тренде  apache iceberg, хотя как по мне , ещё довольно сыроват..


Ну вот только начинаешь думать что может быть ты что-то знаешь и тут такие перлы))) Ничего что это разные инструменты и iceberg  может быть подсистемой спарка???

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий