Construindo um Data Vault no Data Lakehouse com Databricks e Delta Lake na prática
Aprenda as melhores práticas e técnicas na criação de um Data Vault e compreenda a sua superioridade sobre o Modelo Star Schema.
- Repositório de Código
- Desenhos no Excalidraw
- Certificado
- 1 ano de acesso à gravação
- 07 horas de conteúdo gravado
4x de R$24,25
ou R$97,00 à vista
TRABALHE COM O QUE HÁ DE MAIS MODERNO
Este Workshop é um evento prático sobre o Data Vault, uma abordagem moderna e ágil de modelagem de dados, especialmente desenvolvida para atender às exigências evolutivas do universo Big Data.
Em um cenário onde a modelagem Star Schema ainda domina a maior parte dos projetos de Analytics e Engenharia de Dados, a consequência para times de dados tem sido o enfrentamento de limitações significativas, desafios e ineficiências, no armazenamento, processamento e realização de ETL em ambientes modernos de dados.
Quando analisamos projetos com Data Lakehouse, a arquitetura que surgiu como uma solução promissora para oferecer uma base para projetos de dados escaláveis e inteligentes, vemos que mais de 80% desses projetos ainda recorrem ao modelo Star Schema. Resultado: ineficácia em conseguir atender plenamente às complexas demandas atuais de dados, criando empecilhos significativos no processo de ETL.
E isso ocorre porque, apesar de consolidada, a modelagem Star Schema, foi desenhada para atender um cenário considerado pré-Big Data.
Desafiando todas as limitações impostas pela modelagem Star Schema, surge uma solução revolucionária: Data Vault.
Data Vault é um sistema completo que fornece uma metodologia, arquitetura e modelo para implementar com sucesso e eficiência um data warehouse altamente focado nos negócios.
Com o Data Vault, os times de dados podem integrar diferentes sistemas de forma harmoniosa, armazenar volumes massivos de dados históricos e, o mais importante, fornecer uma visão unificada e consistente dos dados, em vez de depender de uma “única fonte da verdade”.
Neste workshop, você terá a oportunidade de aprender diretamente com o Big Data Engineer e Senior Cloud Consultant, Luan Moreno, as melhores práticas e técnicas na criação de um Data Vault e irá compreender sua superioridade sobre o Modelo Star Schema para criar soluções de dados mais robustas, ágeis e adaptáveis.
Prepare-se para aprender a criar projetos superiores, capazes de atender qualquer desafio do universo Big Data moderno.
Veja uma comparação entre as 3 principais modelagens de dados:
EMENTA DO WORKSHOP
01
Compreendendo a Diferença entre Data Vault e Star Schema
Explore as diferenças fundamentais e os impactos práticos de cada abordagem na modelagem de dados.
02
Pilares do Data Vault
Aprenda os conceitos básicos e princípios do Data Vault, incluindo sua estrutura, vantagens e como ele revoluciona a gestão de dados.
03
Implementação Prática de uma Arquitetura Multi-Hop com Data Vault no Data Lakehouse
Coloque a mão na massa criando uma arquitetura Multi-Hop utilizando Data Vault, adaptada para ambientes de Data Lakehouse.
04
Técnicas Avançadas de ETL e ELT
Domine diversas técnicas de ETL (Extract, Transform, Load) e ELT (Extract, Load, Transform), compreendendo suas aplicações e eficiências em diferentes cenários.
05
Recursos do Databricks a Serem Explorados:
- Structured Streaming & CloudFiles
- Delta Universal Format {UniForm}
- Delta Live Tables
- Change Data Feed
- Liquid Clustering
- Databricks SQL
- Unity Catalog
Entenda como o uso da Arquitetura Medalhão, também conhecida como Multi-Hop, é capaz de revolucionar a velocidade e a precisão dos dados vindos de diferentes fontes de dados:
- Bronze
A base, onde os dados são recebidos das diversas fontes.
- Silver
O coração da modelagem, onde o Data Vault atua como o principal modelo de integração.
- Gold
A entrega, apresentando as One-Big-Tables (OBT), que oferecem insights valiosos e específicos para diferentes setores e equipes.
Descubra como entregar Data Analytics de alto nível
e construir um projeto de dados eficiente fim a fim para sua empresa
Data Vault: o coração do seu projeto
As integrações de dados são o coração de um sistema de Analytics, por isso, é necessário uma arquitetura que contemple todos os diferentes requisitos.
Aqui vemos o Data Vault, não apenas nos ajudando a entender como devemos modelar nossos dados com eficiência, mas também fornecendo uma arquitetura multicamada que é altamente escalável e flexível.
Delta Lake: a engine de armazenamento open source de alta performance e confiança
Além da sua capacidade de entregar dados em grande escala de forma altamente performática, este é o formato para Analytics de maior confiança, que já foi adotado, inclusive, por 80% das empresas da Fortune 500.
Data Vault + OBT: a mais recente atualização do mercado de dados
A modelagem de dados que une Data Vault + OBT vêm para transformar a forma com que times de dados entregam resultados.
Luan Moreno
Luan é Big Data Engineer e Cloud Architect e, há 9 anos, trabalha como Sr. Cloud Consultant na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvendo projetos com Apache Spark, Apache Kafka, Apache Airflow e Kubernetes nas principais provedoras de nuvem do mercado: AWS, Azure e GCP.
Com 9 premiações Microsoft MVP em Data Platform e Big Data Specialist em Microsoft Azure, certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect Associate, ele também é membro StarTree All-Stars e recentemente recebeu um novo reconhecimento: o Confluent Community Catalyst, de Apache Kafka, tornando-se um dos poucos brasileiros a fazer parte desse seleto grupo.
Palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit, Luan está constantemente se aperfeiçoando e ocupando posições de vanguarda na área de dados.
Há 2 anos, em 2021, idealizou e implementou um grande sonho: fundar a maior academia de ensino online para profissionais de dados com conteúdos que acompanham os mercados de Big Data nacional e internacional, TOTALMENTE EM PORTUGUÊS.
Assim nasceu a Engenharia de Dados Academy, que hoje já soma mais de 2 mil alunos.
Logo em seguida, veio a Comunidade de Dados The Plumbers, uma confraria que reúne mais de 300 profissionais da área de dados espalhados pelo mundo e conectados todos os dias trocando experiências e conhecimento em uma comunidade secreta no Slack.
Para o futuro?
“Vamos construir a maior comunidade da área de dados, não só do Brasil. Vamos reunir todos os profissionais que querem conquistar uma carreira de sucesso, e todas essas pessoas terão as suas carreiras impulsionadas pelo aprendizado que a academia proporciona. Profissionalmente, eu já cheguei aonde muitos querem, e ainda tem mais. Mas, enquanto eu percorro o meu caminho quero ajudar a maioria de pessoas que eu puder a também ter sucesso na área de dados. É por isso que eu ensino Big Data com tanta paixão.”
Luan Moreno
CONTEÚDO COMPLETO
Pra você aprender a usar as melhores tecnologias open source e multi-cloud para criar poderosas pipelines modernas.
METODOLOGIA DE ENSINO COMPROVADA
Entenda conceitos complexos com facilidade e aplique suas habilidades imediatamente.
INSTRUTOR CERTIFICADO
CARGA HORÁRIA
7 horas de conteúdo e hands-on divididos em três sessões.
ACESSE À GRAVAÇÃO COMPLETA POR 1 ANO
Assista quantas vezes quiser e aprenda no seu próprio ritmo.
Agregue valor ao seu currículo e ao seu perfil profissional.
Termos de uso
Políticas de privacidade
Engenharia de Dados Academy 2023 © Todos os direitos reservados.
Dúvidas?
Fale Conosco