Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL

Aprenda o passo a passo de como criar do zero uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables, uma solução poderosa que otimiza e simplifica o desenvolvimento e a manutenção de infraestruturas de dados complexas.

Reproduzir vídeo

Repositório de Código

Desenhos no Excalidraw

Certificado de Conclusão

07 horas de hands-on

01 ano de acesso à gravação

100% Online

Garanta a sua vaga!

4x de R$24,25

ou R$97,00 à vista

O que você verá no Workshop

Durante o workshop você percorrerá, junto com o instrutor, o passo a passo para que você aprenda a criar do zero uma Modelagem Data Vault no Databricks, capaz de integrar diversos sistemas em um modelo muito mais escalável e eficiente para lidar com ambientes de Data Lakehouse.

Você verá um conteúdo exclusivo, completo, prático e direto ao ponto do que você realmente precisa saber para dominar o processo de criação de uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables.

No final deste Workshop, você terá acesso a todos os materiais e scripts para criar a sua modelagem Data Vault no Databricks com Delta Live Tables usando Python e SQL.

Domine as estratégias mais eficientes e tecnologias mais avançadas capazes de simplificar e reduzir custos, processos de implementação e complexidade de códigos, na construção de pipelines de dados.

Inscreva-se no WORKSHOP Data Vault e Databricks: Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL

4x de R$24,25

ou R$97,00 à vista

3 Problemas que você irá resolver

1

ALTOS CUSTOS DE IMPLEMENTAÇÃO

Você aprenderá como desenvolver pipelines com custo reduzido de implementação.

2

PROCESSOS LONGOS

Você saberá como reduzir o processo de implementação de novas fontes de dados e funcionalidades

3

CONSTRUÇÃO COMPLEXA DE CÓDIGOS

Você conseguirá reduzir a complexidade na construção dos códigos para pipeline de dados

Ementa do Workshop

Seu professor

Luan Moreno

Big Data Engineer e Cloud Architect

UMA EXPERIÊNCIA HANDS-ON COM CONTEÚDO EXCLUSIVO PARA TIMES DE DADOS.

Introdução a Data Lakehouse e Delta Lake

Explore os conceitos fundamentais e as vantagens das arquiteturas de Data Lakehouse, juntamente com uma visão aprofundada sobre a tecnologia Delta Lake e suas aplicações práticas em ambientes de dados modernos.

Modelagem de Dados para Data Vault

Técnicas e estratégias para a construção de modelos Data Vault dentro da plataforma Databricks, no contexto de armazenamento de dados empresariais, focando na escalabilidade, flexibilidade e na integração eficaz de fontes de dados diversas.

Explorando a Plataforma Databricks

Uma visão essencial da plataforma Databricks, incluindo suas principais funcionalidades, vantagens e como ela pode ser utilizada para aprimorar o desenvolvimento e a gestão de projetos de dados.

Dominando Delta Live Tables (DLT)

Instruções passo a passo sobre como utilizar Delta Live Tables para criar, gerenciar e otimizar pipelines de dados, abordando desde a escrita de código em Python e SQL até a automatização de processos de dados.

Modelando e Desenvolvendo Pipeline de Dados

Métodos e práticas para a modelagem eficaz de pipelines de dados, ensinando como estruturar, desenvolver e manter fluxos de dados complexos dentro do ambiente Databricks.

Otimização de Pipeline com Liquid Clustering

Estratégias avançadas para a otimização de pipelines de dados, utilizando a tecnologia Liquid Clustering para melhorar a performance, reduzir custos e aumentar a eficiência de processamentos de dados.

Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL

Aprenda o passo a passo de como criar do zero uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables, uma solução poderosa que otimiza e simplifica o desenvolvimento e a manutenção de infraestruturas de dados complexas.

4x de R$24,25

ou R$97,00 à vista

Spoilers sobre o que você irá aprender:

Utilizando a Plataforma de Dados da Databricks para Construir Projetos de Analytics.

Abrace a era do analytics avançado

Aprenda a construir projetos dinâmicos e adaptativos que respondem não apenas às demandas do presente mas também antecipam as necessidades futuras.

Resposta Ágil

Domine a arte de reagir a eventos complexos, seja em batch ou em tempo-real, com precisão e eficácia.

Processamento de Eventos

uma abordagem que é tão reativa quanto inteligente, garantindo que sua análise esteja sempre um passo à frente.

Armazenamento mais eficiente

prepare-se para uma exploração sem limites, garantindo uma fundação sólida para análises complexas e escalabilidade.

Lógica de Negócio Inovadora com Delta Live Tables

Eleve seus projetos com a criação de lógicas de negócio que não só atendem mas superam as expectativas de entrega de dados.

Databricks e Data Vault: A combinação perfeita para entregas escaláveis de Projetos de Analytics

Interação com Principais Object-Storages do Mercado

Adquira conhecimento prático sobre como conectar-se e interagir com as principais plataformas de Object-Storage (Data Lakes), explorando estratégias eficazes para acesso e manipulação de grandes volumes de dados.

Modelagem Precisa com Data Vault

Domine a estruturação de modelos Data Vault, compreendendo a implementação de Hubs, Satellites e Links. Você aprenderá como estruturar dados de maneira que suporte escalabilidade e flexibilidade, mantendo a consistência e integridade.

Incorporação Data Quality no Processamento

Aprenda a integrar controles de qualidade de dados durante o processamento, garantindo a confiabilidade e precisão para análise. Este componente é essencial para estabelecer um pipeline de dados robusto e confiável.

Desenvolvimento e Orquestração de Pipelines com DLT

Domine o uso de Delta Live Tables para o desenvolvimento e gerenciamento eficiente de pipelines de dados. Saiba como criar lógicas de negócio e automação de fluxos de trabalho para otimizar a entrega e o processamento de dados.

Potencialize seus projetos desenvolvendo regras de negócios avançadas com o framework mais poderoso da Databricks: O Delta Live Tables (DLT).

Através do DLT você tem:

Flexibilidade na Escolha da Linguagem

Domine a habilidade de implementar regras de negócios complexas usando tanto Python quanto SQL dentro do DLT. Tenha a liberdade de escolher a linguagem com a qual você se sente mais confortável.

Monitoramento Avançado com DAGs

Aprenda a construir e gerenciar uma DAG para monitoramento eficaz do seu pipeline de dados. Este conhecimento te proporciona uma visão muito mais clara da sequência e dependência entre as tarefas de processamento de dados, facilitando a identificação e resolução de problemas.

Garantia de Qualidade de Dados Integrada

Saiba como incorporar Data Quality em cada etapa do seu processo para ter verificações automáticas que asseguram a integridade e a precisão dos dados através do pipeline.

Processamento de Dados Incremental e Econômico:

Domine técnicas para processar dados de maneira incremental, otimizando recursos e reduzindo custos. Este enfoque em processamento inteligente permite que você maneje volumes crescentes de dados de forma mais eficiente.

Integração Fluida com Databricks SQL

Descubra como integrar suas regras de negócios e pipelines de dados de forma transparente com Databricks SQL, facilitando o acesso e a análise de dados, além de ampliar as possibilidades de exploração de insights valiosos.

Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL

O passo a passo para você aprender a criar, do zero, uma Modelagem Data Vault no Databricks utilizando o Delta Live Tables.

4x de R$24,25

ou R$97,00 à vista

CONTEÚDO COMPLETO

Pra você aprender a usar as melhores tecnologias open source e multi-cloud para criar poderosas pipelines modernas.

METODOLOGIA DE ENSINO EFICAZ

Nossos métodos comprovados facilitam o entendimento de conceitos complexos e permitem a aplicação prática imediata de suas novas habilidades.

INSTRUTOR CERTIFICADO

Estude com especialistas que estão na linha de frente do setor, trazendo resultados reais para empresas de ponta.

CARGA HORÁRIA

7 horas de conteúdo e hands-on

ACESSO ILIMITADO ÀS GRAVAÇÕES POR 1 ANO

Revise as aulas e consolide seu aprendizado assistindo aos vídeos quantas vezes precisar, no seu próprio ritmo.

CERTIFICADO DE CONCLUSÃO

Ao finalizar o curso, receba um certificado que valorizará tanto o seu currículo quanto o seu perfil profissional.

Luan Moreno 🇧🇷🇨🇦

Luan é Big Data Engineer e Cloud Architect e, há 10 anos, trabalha como Sr. Cloud Consultant na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvendo projetos com Apache Spark, Apache Kafka, Apache Airflow e Kubernetes nas principais provedoras de nuvem do mercado: AWS, Azure e GCP.

Com 9 premiações Microsoft MVP em Data Platform e Big Data Specialist em Microsoft Azure, certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect Associate, ele também é membro StarTree All-Stars e recentemente recebeu um novo reconhecimento: o Confluent Community Catalyst, de Apache Kafka, tornando-se um dos poucos brasileiros a fazer parte desse seleto grupo.

No dia 19 de março de 2024, Luan se tornou o primeiro brasileiro a receber o reconhecimento "Astronomer Champions Program for Apache Airflow", inspirando cada vez mais o crescimento e desenvolvimento de profissionais de dados em todo o país.

Palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit, Luan está constantemente se aperfeiçoando e ocupando posições de vanguarda na área de dados.

Em 2021, idealizou e implementou um grande sonho: fundar a maior academia de ensino online para profissionais de dados com conteúdos que acompanham os mercados de Big Data nacional e internacional, TOTALMENTE EM PORTUGUÊS.

Assim nasceu a Engenharia de Dados Academy, que hoje já soma mais de 3 mil alunos.

Logo em seguida, veio a Comunidade de Dados The Plumbers, uma confraria que reúne profissionais da área de dados espalhados pelo mundo e conectados todos os dias trocando experiências e conhecimento em uma comunidade secreta no Slack.

Para o futuro?

“Vamos construir a maior comunidade da área de dados, não só do Brasil. Vamos reunir todos os profissionais que querem conquistar uma carreira de sucesso, e todas essas pessoas terão as suas carreiras impulsionadas pelo aprendizado que a academia proporciona. Profissionalmente, eu já cheguei aonde muitos querem, e ainda tem mais. Mas, enquanto eu percorro o meu caminho quero ajudar a maioria de pessoas que eu puder a também ter sucesso na área de dados. É por isso que eu ensino Data Analytics com tanta paixão.”

LUAN MORENO

Aprenda a criar do zero uma Modelagem Data Vault no Databricks capaz de integrar diversos sistemas em um modelo muito mais escalável e eficiente para lidar com ambientes de Data Lakehouse.

Inscreva-se no WORKSHOP Data Vault e Databricks: Modelando e Construindo Pipelines de Dados com Delta Live Tables usando Python e SQL

4x de R$24,25

ou R$97,00 à vista

Engenharia de Dados Academy 2024 © Todos os direitos reservados

Adicione seus dados para continuar

Preencha seus dados: nome, e-mail e telefone abaixo: