Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
Eleve o nível das suas entregas de dados para diferentes consumidores de forma open e sem lock-in, através do mais novo conceito criado pela Databricks.
-
LUAN MORENO
→ Sr. Cloud Consultant e Big Data Engineer
→ CEO e Fundador da Engenharia de Dados Academy
Repositório de Código
Desenhos no Excalidraw
Certificado de Conclusão
07 horas de hands-on
01 ano de acesso à gravação
100% Online
Descubra o que há por trás do mais novo conceito criado pela Databricks
UM NOVO FORMATO DE DATA WAREHOUSE
Que considera um ambiente de armazenamento desacoplado, com a capacidade de utilizar um formato de arquivo Delta Lake para um Data Lakehouse, o que permite consultar dados de forma rápida e ágil.
UMA NOVA FORMA DE PENSAR A ENTREGA DE DADOS FIM A FIM
Através de uma estratégia modernizada para a gestão de dados de ponta a ponta, viabilizada por uma plataforma de dados integrada. Esta abordagem oferece conexões diretas com as principais provedoras de nuvem do mercado, simplificando o acesso e a análise de dados em uma escala global.
- > até 3.3x mais velocidade_
Aprenda como ter Ultra-Performance através da Engine Photon
Descubra como a engine Photon do Databricks SQL turbo alimenta suas consultas de dados no Delta Lake, proporcionando uma velocidade até três vezes superior às soluções tradicionais. Nesta sessão do workshop você aprenderá como essa poderosa engine transforma a análise de dados, oferecendo respostas mais rápidas e insights em tempo real.
Além do Spark
Superando Limitações de Arquitetura
- Enquanto o acesso a dados com a engine Spark já é conhecido por sua eficiência, vamos explorar por que ela pode não ser a opção mais otimizada devido às limitações inerentes à sua arquitetura baseada em Java. Prepare-se para entender as distinções cruciais e como elas impactam a performance das suas consultas.
A Revolução Photon
Quebrando barreiras e estabelecendo novos padrões de desempenho
- Em análise de dados, a engine Photon, construída em C++, oferece muito mais eficiência. Descubra, nesta sessão do workshop, como sua concepção oferece controle e otimização na hora de acessar os dados.
Databricks SQL
X
Os mais utilizados Modern Data Warehouses do mercado de dados
Databricks SQL:
- Superioridade em velocidade
- Superioridade em economia
- Armazenamento Open-Source com Delta Lake
Velocidade e Economia Redefinidas
Aprenda como o Databricks SQL redefine o que esperamos de uma solução de data warehouse, combinando processamento ágil com uma gestão de custos otimizada.
O Poder do Open-Source com Delta Lake
Entenda como essa combinação não só melhora a acessibilidade e a governança dos dados, mas também potencializa análises mais profundas e ricas.
Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
Um novo formato de data warehouse e uma nova forma de pensar a entrega de dados fim a fim em um Workshop exclusivo da Engenharia de Dados Academy.
3 Problemas que você irá resolver
ALTOS CUSTOS DE UTILIZAÇÃO
Você aprenderá como reduzir custos associados ao uso de Modern Data Warehouse
DIFICULDADE DE INTEGRAÇÃO
Você saberá como utilizar Databricks SQL para uma integração entre pipeline de dados e Data Warehouse
LOCK-IN
Você conseguirá oferecer dados de forma open, evitando o lock-in de fornecedores.
SESSÃO 01
Modern Data Warehouses & Arquitetura Medallion
Explore os conceitos fundamentais e as vantagens das arquiteturas de Data Lakehouse, juntamente com uma visão aprofundada sobre a tecnologia Delta Lake e suas aplicações práticas em ambientes de dados modernos.
SESSÃO 02
Databricks SQL & Photon Engine: O Coração da Análise de Dados
Aprofunde-se no Databricks SQL e descubra como o Photon Engine potencializa consultas ultra-rápidas em larga escala, transformando sua capacidade de extrair insights valiosos de vastos conjuntos de dados em um ambiente de Data Lakehouse.
SESSÃO 03
Ingestão e Transformação de Dados com Fivetran e dbt Core
Domine as técnicas de ingestão e transformação de dados utilizando o Fivetran para captura e o dbt Core para processamento e modelagem de dados, estabelecendo um pipeline eficaz que prepara os dados para análise avançada.
SESSÃO 04
Unity Catalog para Governança de Dados: Estratégias Essenciais
Implemente práticas robustas de governança de dados com o Unity Catalog, garantindo que os dados sejam não apenas acessíveis e seguros, mas também conformes com as regulamentações e padrões da indústria, mantendo a qualidade e a confiabilidade.
SESSÃO 05
Entregando One Big Tables (OBTs) para Consumidores de Dados
Saiba como organizar e disponibilizar One Big Tables, facilitando o acesso e a análise de dados por consumidores finais. Este módulo cobre a criação de tabelas otimizadas para desempenho, que servem como uma fonte de verdade unificada para a organização.
SESSÃO 06
Técnicas Avançadas e Otimizações: Além do Básico
Eleve suas habilidades analíticas com técnicas avançadas e estratégias de otimização específicas para o Databricks SQL. Descubra como melhorar a performance de suas consultas e a eficiência de seus pipelines de dados, reduzindo custos e acelerando a entrega de insights.
- Recursos do Databricks que serão utilizados:
- → Databricks SQL
- → Fivetran
- → dbt
- → Unity Catalog
Ementa do Workshop
Seu professor
Luan Moreno
Big Data Engineer e Cloud Architect
- > novo formato_
Descubra como o mais novo conceito criado pela Databricks irá elevar o nível das suas entregas de dados para diferentes consumidores de forma open e sem lock-in.
Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
Spoilers sobre o que você irá aprender:
Acesso e Análise Simplificados com Databricks SQL
TRANSPARÊNCIA
Equipes de dados agora podem executar consultas SQL de forma transparente, explorando dados armazenados com facilidade e precisão.
ACESSIBILIDADE E SEGURANÇA
Os dados são armazenados em Delta Lake, um formato de armazenamento open-source que combina flexibilidade com robustez. Isso garante não apenas a segurança dos dados, mas também sua pronta disponibilidade para análise.
RESULTADO
Criação e desenvolvimento de relatórios e dashboards para tomadas de decisões muito mais assertivas
Domine as Estratégias de Carga e Federação de Dados com Databricks SQL
INGESTÃO AVANÇADA COM PHOTON
Acesse o poder da engine Photon para a ingestão de dados, uma plataforma de processamento distribuído que redefine a eficiência. Aprenda a importar dados de forma rápida e segura, preparando o terreno para uma análise abrangente.
ACESSO UNIFICADO A MÚLTIPLAS FONTES DE DADOS
Descubra como o Databricks SQL facilita a consulta a diversas fontes de dados, permitindo uma visão integrada e completa. Com esta habilidade, você poderá unir informações dispersas, criando um panorama rico e detalhado para suas análises.
INTEGRAÇÃO E INSIGHTS EM TEMPO REAL
Este módulo irá equipá-lo com as estratégias necessárias para carregar e federar dados de maneira eficiente, aproveitando o Databricks SQL para acessar e consultar dados de diferentes fontes em um ambiente unificado. Prepare-se para transformar a maneira como sua organização acessa e utiliza informações.
Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
Descubra como o mais novo conceito criado pela Databricks irá elevar o nível das suas entregas de dados para diferentes consumidores de forma open e sem lock-in.
4x de R$24,25
ou R$97,00 à vista
CONTEÚDO COMPLETO
Pra você aprender a usar as melhores tecnologias open source e multi-cloud para criar poderosas pipelines modernas.
METODOLOGIA DE ENSINO EFICAZ
Nossos métodos comprovados facilitam o entendimento de conceitos complexos e permitem a aplicação prática imediata de suas novas habilidades.
INSTRUTOR CERTIFICADO
Estude com especialistas que estão na linha de frente do setor, trazendo resultados reais para empresas de ponta.
CARGA HORÁRIA
7 horas de conteúdo e hands-on
ACESSO ILIMITADO ÀS GRAVAÇÕES POR 1 ANO
Revise as aulas e consolide seu aprendizado assistindo aos vídeos quantas vezes precisar, no seu próprio ritmo.
CERTIFICADO DE CONCLUSÃO
Ao finalizar o curso, receba um certificado que valorizará tanto o seu currículo quanto o seu perfil profissional.
- > SEU PROFESSOR_
Luan Moreno 🇧🇷🇨🇦
Luan é Big Data Engineer e Cloud Architect e, há 10 anos, trabalha como Sr. Cloud Consultant na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvendo projetos com Apache Spark, Apache Kafka, Apache Airflow e Kubernetes nas principais provedoras de nuvem do mercado: AWS, Azure e GCP.
Com 9 premiações Microsoft MVP em Data Platform e Big Data Specialist em Microsoft Azure, certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect Associate, ele também é membro StarTree All-Stars e recentemente recebeu um novo reconhecimento: o Confluent Community Catalyst, de Apache Kafka, tornando-se um dos poucos brasileiros a fazer parte desse seleto grupo.
No dia 19 de março de 2024, Luan se tornou o primeiro brasileiro a receber o reconhecimento "Astronomer Champions Program for Apache Airflow", inspirando cada vez mais o crescimento e desenvolvimento de profissionais de dados em todo o país.
Palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit, Luan está constantemente se aperfeiçoando e ocupando posições de vanguarda na área de dados.
Em 2021, idealizou e implementou um grande sonho: fundar a maior academia de ensino online para profissionais de dados com conteúdos que acompanham os mercados de Big Data nacional e internacional, TOTALMENTE EM PORTUGUÊS.
Assim nasceu a Engenharia de Dados Academy, que hoje já soma mais de 3 mil alunos.
Logo em seguida, veio a Comunidade de Dados The Plumbers, uma confraria que reúne profissionais da área de dados espalhados pelo mundo e conectados todos os dias trocando experiências e conhecimento em uma comunidade secreta no Slack.
Para o futuro?
“Vamos construir a maior comunidade da área de dados, não só do Brasil. Vamos reunir todos os profissionais que querem conquistar uma carreira de sucesso, e todas essas pessoas terão as suas carreiras impulsionadas pelo aprendizado que a academia proporciona. Profissionalmente, eu já cheguei aonde muitos querem, e ainda tem mais. Mas, enquanto eu percorro o meu caminho quero ajudar a maioria de pessoas que eu puder a também ter sucesso na área de dados. É por isso que eu ensino Data Analytics com tanta paixão.”
LUAN MORENO
Um novo conceito criado pela Databricks,
um novo formato de data warehouse,
uma nova forma de pensar a entrega de dados fim a fim,
um novo nível para as suas entregas de dados
- > tudo isso em um Workshop exclusivo da Engenharia de Dados Academy._
Databricks SQL como Query Engine de Data Lakehouse para Entrega de um Data Vault e OBTs
Garanta sua vaga
4x de R$24,25
ou R$97,00 à vista