Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL
Aprenda o passo a passo de como criar do zero uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables, uma solução poderosa que otimiza e simplifica o desenvolvimento e a manutenção de infraestruturas de dados complexas.
-
LUAN MORENO_
→ Sr. Cloud Consultant e Big Data Engineer
→ CEO e Fundador da Engenharia de Dados Academy
Repositório de Código
Desenhos no Excalidraw
Certificado de Conclusão
07 horas de hands-on
01 ano de acesso à gravação
100% Online
- ~ Conteúdo passo a passo_
O que você verá no Workshop
Durante o workshop você percorrerá, junto com o instrutor, o passo a passo para que você aprenda a criar do zero uma Modelagem Data Vault no Databricks, capaz de integrar diversos sistemas em um modelo muito mais escalável e eficiente para lidar com ambientes de Data Lakehouse.
- ~ Prático e direto ao ponto_
Você verá um conteúdo exclusivo, completo, prático e direto ao ponto do que você realmente precisa saber para dominar o processo de criação de uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables.
Domine as estratégias mais eficientes e tecnologias mais avançadas capazes de simplificar e reduzir custos, processos de implementação e complexidade de códigos, na construção de pipelines de dados.
Inscreva-se no WORKSHOP Data Vault e Databricks: Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL
3 Problemas que você irá resolver
1
ALTOS CUSTOS DE IMPLEMENTAÇÃO
Você aprenderá como desenvolver pipelines com custo reduzido de implementação.
2
PROCESSOS LONGOS
Você saberá como reduzir o processo de implementação de novas fontes de dados e funcionalidades
3
CONSTRUÇÃO COMPLEXA DE CÓDIGOS
Você conseguirá reduzir a complexidade na construção dos códigos para pipeline de dados
- ~ Confira_
Ementa do Workshop
Seu professor
Luan Moreno
Big Data Engineer e Cloud Architect
UMA EXPERIÊNCIA HANDS-ON COM CONTEÚDO EXCLUSIVO PARA TIMES DE DADOS.
Introdução a Data Lakehouse e Delta Lake
Explore os conceitos fundamentais e as vantagens das arquiteturas de Data Lakehouse, juntamente com uma visão aprofundada sobre a tecnologia Delta Lake e suas aplicações práticas em ambientes de dados modernos.
Modelagem de Dados para Data Vault
Técnicas e estratégias para a construção de modelos Data Vault dentro da plataforma Databricks, no contexto de armazenamento de dados empresariais, focando na escalabilidade, flexibilidade e na integração eficaz de fontes de dados diversas.
Explorando a Plataforma Databricks
Uma visão essencial da plataforma Databricks, incluindo suas principais funcionalidades, vantagens e como ela pode ser utilizada para aprimorar o desenvolvimento e a gestão de projetos de dados.
Dominando Delta Live Tables (DLT)
Instruções passo a passo sobre como utilizar Delta Live Tables para criar, gerenciar e otimizar pipelines de dados, abordando desde a escrita de código em Python e SQL até a automatização de processos de dados.
Modelando e Desenvolvendo Pipeline de Dados
Métodos e práticas para a modelagem eficaz de pipelines de dados, ensinando como estruturar, desenvolver e manter fluxos de dados complexos dentro do ambiente Databricks.
Otimização de Pipeline com Liquid Clustering
Estratégias avançadas para a otimização de pipelines de dados, utilizando a tecnologia Liquid Clustering para melhorar a performance, reduzir custos e aumentar a eficiência de processamentos de dados.
- Recursos do Databricks que serão utilizados:
- → Delta Lake
- → Delta Live Tables
- → Liquid Clustering
Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL
Aprenda o passo a passo de como criar do zero uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables, uma solução poderosa que otimiza e simplifica o desenvolvimento e a manutenção de infraestruturas de dados complexas.
4x de R$24,25
ou R$97,00 à vista
Spoilers sobre o que você irá aprender:
- ~ AGILIDADE, INTELIGÊNCIA, EFICIÊNCIA E INOVAÇÃO_
Utilizando a Plataforma de Dados da Databricks para Construir Projetos de Analytics.
Abrace a era do analytics avançado
Aprenda a construir projetos dinâmicos e adaptativos que respondem não apenas às demandas do presente mas também antecipam as necessidades futuras.
Resposta Ágil
Domine a arte de reagir a eventos complexos, seja em batch ou em tempo-real, com precisão e eficácia.
Processamento de Eventos
uma abordagem que é tão reativa quanto inteligente, garantindo que sua análise esteja sempre um passo à frente.
Armazenamento mais eficiente
prepare-se para uma exploração sem limites, garantindo uma fundação sólida para análises complexas e escalabilidade.
Lógica de Negócio Inovadora com Delta Live Tables
Eleve seus projetos com a criação de lógicas de negócio que não só atendem mas superam as expectativas de entrega de dados.
- ~ INTEGRAÇÃO, ESCALABILIDADE, CONSISTÊNCIA, INTEGRIDADE, CONFIABILIDADE, PRECISÃO, AUTOMATIZAÇÃO E OTIMIZAÇÃO_
Databricks e Data Vault: A combinação perfeita para entregas escaláveis de Projetos de Analytics
Interação com Principais Object-Storages do Mercado
Adquira conhecimento prático sobre como conectar-se e interagir com as principais plataformas de Object-Storage (Data Lakes), explorando estratégias eficazes para acesso e manipulação de grandes volumes de dados.
Modelagem Precisa com Data Vault
Domine a estruturação de modelos Data Vault, compreendendo a implementação de Hubs, Satellites e Links. Você aprenderá como estruturar dados de maneira que suporte escalabilidade e flexibilidade, mantendo a consistência e integridade.
Incorporação Data Quality no Processamento
Aprenda a integrar controles de qualidade de dados durante o processamento, garantindo a confiabilidade e precisão para análise. Este componente é essencial para estabelecer um pipeline de dados robusto e confiável.
Desenvolvimento e Orquestração de Pipelines com DLT
Domine o uso de Delta Live Tables para o desenvolvimento e gerenciamento eficiente de pipelines de dados. Saiba como criar lógicas de negócio e automação de fluxos de trabalho para otimizar a entrega e o processamento de dados.
- ~ FLEXIBILIDADE, MONITORAMENTO, ECONOMIA, TRANSPARÊNCIA_
Potencialize seus projetos desenvolvendo regras de negócios avançadas com o framework mais poderoso da Databricks: O Delta Live Tables (DLT).
Através do DLT você tem:
Flexibilidade na Escolha da Linguagem
Domine a habilidade de implementar regras de negócios complexas usando tanto Python quanto SQL dentro do DLT. Tenha a liberdade de escolher a linguagem com a qual você se sente mais confortável.
Monitoramento Avançado com DAGs
Aprenda a construir e gerenciar uma DAG para monitoramento eficaz do seu pipeline de dados. Este conhecimento te proporciona uma visão muito mais clara da sequência e dependência entre as tarefas de processamento de dados, facilitando a identificação e resolução de problemas.
Garantia de Qualidade de Dados Integrada
Saiba como incorporar Data Quality em cada etapa do seu processo para ter verificações automáticas que asseguram a integridade e a precisão dos dados através do pipeline.
Processamento de Dados Incremental e Econômico:
Domine técnicas para processar dados de maneira incremental, otimizando recursos e reduzindo custos. Este enfoque em processamento inteligente permite que você maneje volumes crescentes de dados de forma mais eficiente.
Integração Fluida com Databricks SQL
Descubra como integrar suas regras de negócios e pipelines de dados de forma transparente com Databricks SQL, facilitando o acesso e a análise de dados, além de ampliar as possibilidades de exploração de insights valiosos.
Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL
O passo a passo para você aprender a criar, do zero, uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables.
4x de R$24,25
ou R$97,00 à vista
CONTEÚDO COMPLETO
Pra você aprender a usar as melhores tecnologias open source e multi-cloud para criar poderosas pipelines modernas.
METODOLOGIA DE ENSINO EFICAZ
Nossos métodos comprovados facilitam o entendimento de conceitos complexos e permitem a aplicação prática imediata de suas novas habilidades.
INSTRUTOR CERTIFICADO
Estude com especialistas que estão na linha de frente do setor, trazendo resultados reais para empresas de ponta.
CARGA HORÁRIA
7 horas de conteúdo e hands-on
ACESSO ILIMITADO ÀS GRAVAÇÕES POR 1 ANO
Revise as aulas e consolide seu aprendizado assistindo aos vídeos quantas vezes precisar, no seu próprio ritmo.
CERTIFICADO DE CONCLUSÃO
Ao finalizar o curso, receba um certificado que valorizará tanto o seu currículo quanto o seu perfil profissional.
- ~ SEU PROFESSOR_
Luan Moreno 🇧🇷🇨🇦
Luan é Big Data Engineer e Cloud Architect e, há 10 anos, trabalha como Sr. Cloud Consultant na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvendo projetos com Apache Spark, Apache Kafka, Apache Airflow e Kubernetes nas principais provedoras de nuvem do mercado: AWS, Azure e GCP.
Com 9 premiações Microsoft MVP em Data Platform e Big Data Specialist em Microsoft Azure, certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect Associate, ele também é membro StarTree All-Stars e recentemente recebeu um novo reconhecimento: o Confluent Community Catalyst, de Apache Kafka, tornando-se um dos poucos brasileiros a fazer parte desse seleto grupo.
No dia 19 de março de 2024, Luan se tornou o primeiro brasileiro a receber o reconhecimento "Astronomer Champions Program for Apache Airflow", inspirando cada vez mais o crescimento e desenvolvimento de profissionais de dados em todo o país.
Palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit, Luan está constantemente se aperfeiçoando e ocupando posições de vanguarda na área de dados.
Em 2021, idealizou e implementou um grande sonho: fundar a maior academia de ensino online para profissionais de dados com conteúdos que acompanham os mercados de Big Data nacional e internacional, TOTALMENTE EM PORTUGUÊS.
Assim nasceu a Engenharia de Dados Academy, que hoje já soma mais de 3 mil alunos.
Logo em seguida, veio a Comunidade de Dados The Plumbers, uma confraria que reúne profissionais da área de dados espalhados pelo mundo e conectados todos os dias trocando experiências e conhecimento em uma comunidade secreta no Slack.
Para o futuro?
“Vamos construir a maior comunidade da área de dados, não só do Brasil. Vamos reunir todos os profissionais que querem conquistar uma carreira de sucesso, e todas essas pessoas terão as suas carreiras impulsionadas pelo aprendizado que a academia proporciona. Profissionalmente, eu já cheguei aonde muitos querem, e ainda tem mais. Mas, enquanto eu percorro o meu caminho quero ajudar a maioria de pessoas que eu puder a também ter sucesso na área de dados. É por isso que eu ensino Data Analytics com tanta paixão.”
LUAN MORENO
Aprenda a criar do zero uma Modelagem Data Vault no Databricks capaz de integrar diversos sistemas em um modelo muito mais escalável e eficiente para lidar com ambientes de Data Lakehouse.
Inscreva-se no WORKSHOP Data Vault e Databricks: Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL
4x de R$24,25
ou R$97,00 à vista