Я не только знаю, что это такое, я и дорабатываю инструменты для него. Ну точнее как раз подготавливаю данные для использования. У нас используется PowerBI. Но тут да, мой косяк, забыл про него.
Спарк и вообще все что связано с хадуп. Устаревают технологии и выходит новые. Например сейчас в тренде apache iceberg, хотя как по мне , ещё довольно сыроват..
Ну вот только начинаешь думать что может быть ты что-то знаешь и тут такие перлы))) Ничего что это разные инструменты и iceberg может быть подсистемой спарка???
Так а кто же такой этот data Engineer? У вас какие обязанности на нем? и что такое
Я это не могу ни на русский ни на англицкий перевести?Ты имеешь ввиду Feature в Джира? Или хранилище для ML?А bi - это что? Сексуальная ориентация или все таки BA - бизнес-аналитика???Вот поэтому я не могу серьезно относиться к тому что ты говоришь, потому что выглядит как тупое копирование из поиска, без понимания, что это значит. Так не бывает, чтоб руководитель не мог все это написать сам и внятно обьяснить, о чем речь.
Круто, а я чем больше разбираюсь, тем больше вопросов. Например вот уже неделю бьюсь с тем как составить векторные индексы корректно.
GPT генерирует ответы на основе имеющихся знаний, а не выдает готовые. Но да, использует готовык при генерации, а как иначе?
Конечно. Достаточно правильно спрашивать. Это называется Sequence Diagram - диаграмма последовательности. Но мне кажется, проще проверить это в ГПТ, чем спрашивать тут. Мне прекрасно рисует.
Показалась жутко неудобной, но я "щупал" еще до того, как Cisco купил их.Сейчас в РФ - не работает, а потребность на русегмент - есть.
Спланк это не про "быстро прикрутить", его еще нужно грамотно настроить, это большая система с кучей возможностей. Тогда получаешь удовольствие от работы с ним. Про ру-сегмент не подскажу, сам понимаешь, понятия не имею, что там актуально сегодня.
этим вы нанесли вред не только себе и своему вдс, но и всем соседям, которые на одном диске с вами.
Поддерживаю. СВОП это про "Караул, у нас ничего не работает" и оперативк забита на 99%. Тогда стоит подумать и попробовать, рискуя перегрузом диска. Если же (вдруг) железо не быстрый ССД - вообще забыть про такую опцию.
Splunk умеет это все и немного больше. Но для моих нужд мне хватает и CloudWatch for AWS.
Согласен, хотя девопсов ещё разбирают нормально, все знакомые ушли на хорошие офферы недавно.
Но от дата инженеров требую dataops , ну и scala пригождается для spark, хотя многие его уже считают рудиментом.
Что рудимент - Скала или Спарк?Ты намешал совершенно разные специальности тут, с тем же успехом можно и про курьеров тут рассуждать. Software Engineer - Data Engineer - Devops Engineer, это все совершенно разные специальности, при переходе на любую из них нужно переучиваться, часто довольно серьезно. Мне как разработчику не очень надо знать глубоко что-то из ML(хоть и совершенно не помешает) Мне нужно знать, как это реализовать. Devops может написать деплой-скрипт на пайтон, но он не умеет писать полноценное приложение на нем, и не должен.
Чего из этого нет в России?? деньги по курсу 104000 рублей за доллар сами себя не напечатают))
В первую очередь это дорого обходиться самим русским, но история не учит ничему, к сожалению.
Вот ты как раз живой пример для сомнений. Причем даже твой вопрос
Звучит забавно с учетом того что США основаны в 1776 году. Но история не ваша сильная сторона, поэтому напомню, что в мире очень много ученых, которые стали таковыми после эмиграции. И сила США в том, что они умеют привлекать такие таланты. Почему то Брин Гугл основал именно в Америке. Марков описал свои цепи, которые лежат в основе LLM в 1909 году. Только вот почему-то OpenAI нифига не в России основана. Попробуй задуматься - как так вышло.
