EDIÇÃO COMEMORATIVA
🎉 10 ANOS de APACHE AIRFLOW

Uma Jornada Completa desde os pilares, que vai te tornar capaz de escrever e desenvolver pipelines escaláveis que podem processar de GBs a TBs de dados sem comprometer a arquitetura geral do seu pipeline.

SAIBA MAIS

Seu mentor: LUAN MORENO 🇧🇷🇨🇦

• Sr. Cloud Consultant e Big Data Engineer
• CEO e Fundador da Engenharia de Dados Academy

PALESTRANTE DO

SUMMIT 2024 10 YEARS OF AIRFLOW

Sua jornada para se tornar um especialista em Apache Airflow começa aqui.

Aperte o play e entenda todos os passos

Reproduzir vídeo

~ io. _

intelligent orchestration

A grande quantidade de tecnologias e produtos que precisam ser integrados para satisfazer os requisitos do seu negócio, não serão mais um problema pra você:

Neste treinamento, você irá dominar a orquestração inteligente de pipelines de dados.

Ementa

Prepare-se para uma jornada que vai transformar as suas habilidades com Apache Airflow.

→ MÓDULO 01

Fundamentos

Comece sua jornada dominando os conceitos fundamentais do Apache Airflow e o desenvolvimento de pipelines de dados:
  • Entenda a arquitetura do Airflow
  • Escreva sua primeira DAG em Python
  • Explore as diferentes formas de instalação e recursos disponíveis entre as versões do Airflow

Principais Tópicos:

  • Orquestradores Modernos para Área de Dados
  • História e Conceitos Básicos
  • Casos de Uso
  • Arquitetura e Componentes
  • Tipos de Executores
  • DAG {Directed Acyclic Graph}
  • Python Básico
  • Instalação e Configuração
  • UI {Interface Gráfica}
  • Recursos e Versões
  • Apache Airflow como Produto {Airflow-as-a-Service}

→ MÓDULO 02

Desenvolvendo DAGs no Airflow com Python

Aprofunde-se nas melhores práticas para desenvolver DAGs com Python no Apache Airflow.
  • Domine técnicas de desenvolvimento avançadas que aumentam a eficiência, flexibilidade e escalabilidade dos seus pipelines de dados.

Principais Tópicos:

  • Modos de Desenvolvimento: Tradicional vs. TaskFlow API
  • DAG Skeleton: ELT Básico e Organização
  • TaskFlow API e Task Groups
  • Básico de Decoradores {Decorators}
  • Hooks, Operadores e Dependências
  • Astronomer Registry, Provedores e Módulos
  • Conexões, Variáveis, Sensores & XComs
  • Agendamento: Cron, Timetables & Data-Aware
  • Documentação: DAG Docs
  • Melhores Práticas em Escrita de DAGs

→ MÓDULO 03

Pipelines de Dados Modernos

Aprenda a forma mais eficiente de desenvolver pipelines inteligentes e escaláveis com as práticas mais atuais.
  • Você também aprenderá como criar DAGs dinâmicas e orientadas por eventos, aproveitando os mais recentes recursos do Apache Airflow.

Principais Tópicos:

  • DAG Skaffold: Ingestão, Processamento, Qualidade e Entrega de Dados
  • Astronomer Registry e Providers
  • Deferrable Operators
  • Astro Python SDK
  • SQL Operators {Operadores}
  • Data Quality
  • Dynamic Task Mapping
  • DAGs Dinâmicas & DAG Factory {Fábrica}
  • Event-Driven com Data-Aware Scheduler {DataSets}

→ MÓDULO 04

Integrações

Descubra como integrar o Apache Airflow com diversas ferramentas e plataformas para otimizar o fluxo de dados em sua organização.
  • Explore soluções para ingestão, processamento, análise e entrega de dados.

Principais Tópicos:

  • Airflow e DuckDB
  • Airflow e PyAirbyte
  • Airflow e S3, Blob Storage e GCS
  • Airflow e Databricks
  • Airflow e Snowflake
  • Airflow e Google BigQuery
  • Airflow e Kafka
  • Airflow e Postgres
  • Airflow e dbt Core
  • Airflow e Soda Core
  • Airflow e Kubernetes
  • Airflow e OpenAI

→ MÓDULO 05

Melhores Práticas

Aprimore seu conhecimento em Apache Airflow aplicando as melhores práticas de desenvolvimento para criar pipelines robustos e escaláveis.
  • prenda a estruturar projetos, otimizar o desempenho e garantir a qualidade do seu código.

Principais Tópicos:

  • Estruturação e Organização de Projetos
  • Reutilização de Código
  • CI/CD
  • Airflow & Logging
  • Airflow & MLOps
  • Airflow & Listeners
  • Branching & Trigger Rules
  • XCom BackEnds
  • Integração com OpenLineage
  • Cross-DAG Dependencies {Dependências}
  • Custom Hooks & Operators {Operadores}
  • Notificações, Parâmetros & Debugging
  • Jinja Templates
  • Políticas de Cluster
  • AOK: Airflow on Kubernetes e KPO
  • Isolamento & Pools
  • Setup & Teardown Tasks

Metodologia de Ensino desenvolvida exclusivamente para Profissionais de Dados

Está a seu alcance, agora, o que existe de mais recente quando o assunto é Apache Airflow em um formato de aprendizado extremamente didático, capaz de ser compreendido, assimilado e aplicado até mesmo por quem tem muita dificuldade para visualizar determinados conceitos e processos.

Nosso método de ensino tornará muito mais fácil para você visualizar, compreender e assimilar todo o conteúdo, tornando a aplicação no seu dia a dia e em seus jobs mais ágil e intuitiva.

Isso mesmo

Logo abaixo você verá alguns recortes do material exclusivo deste treinamento e, através deles, você vai perceber como será fácil a sua compreensão do conteúdo:

Orquestrando Arquiteturas de Dados Modernas com Apache Airflow

Descubra como o Apache Airflow é o componente central em arquiteturas de dados modernas, como o Lakehouse e o Modern Data Stack, garantindo a orquestração eficiente de todas as tarefas e fluxos de dados.

Apache Airflow: O Centro de Controle dos Seus Pipelines de Dados

Utilize o Apache Airflow como seu painel único ("Single Pane of Glass") para gerenciar e monitorar seus pipelines de dados, assegurando visibilidade total sobre o que está sendo executado e quando.

Otimização de Pipelines com Deferrable Operators

Aprenda a utilizar Deferrable Operators no Apache Airflow para otimizar a execução dos seus pipelines, economizando recursos e melhorando a eficiência operacional.

Muito mais fácil para você!

Entenda conceitos e processos complexos com mais facilidade e aumente exponencialmente sua taxa de assimilação do conteúdo, para que você consiga aplicar com muito mais segurança os conhecimentos adquiridos neste treinamento!

Astro Python SDK: Simplificando o Desenvolvimento de Pipelines Modernos

Facilite a criação e o desenvolvimento de pipelines de dados modernos com o Astro Python SDK, uma ferramenta que traz agilidade e simplicidade para seus workflows.

Pipeline de Dados Moderno de Ponta a Ponta: Melhores Práticas Arquiteturas de Dados Modernas com Apache Airflow

Aprenda a desenvolver um pipeline de dados moderno, desde a ingestão até a entrega, aplicando as melhores práticas para alcançar escalabilidade, eficiência e robustez.

Instalação e Arquitetura do Apache Airflow: Flexibilidade para Todas as Necessidades

Entenda os diferentes métodos de instalação do Apache Airflow e aprofunde-se na sua arquitetura, escolhendo a abordagem mais adequada para o seu ambiente.

Uma abordagem clara e prática

Para que você aprenda como escrever e desenvolver pipelines escaláveis que podem processar de GBs a TBs de dados sem comprometer a arquitetura geral do seu pipeline.

As melhores colocações e salários

100% das maiores e melhores empresas que oferecem AS MELHORES COLOCAÇÕES E SALÁRIOS buscam profissionais que se mantém constantemente atualizados com as mais inovadoras práticas do mercado.

E, para todas essas empresas, você, como profissional de dados, pode estar em apenas duas posições:

OU você está acompanhando em real-time as constantes inovações do mercado, das tecnologias e boas práticas;

OU você está ficando pra trás.

Você deseja ocupar os melhores cargos e ganhar os melhores salários?

ELEVE O NÍVEL DO SEU CURRÍCULO

E comunique muito mais valor e autoridade profissional.

Bônus Exclusivo

🎉 10 ANOS de Apache Airflow

Nossa formação completa em Apache Airflow, que totaliza mais de 80 HORAS de conteúdo, será liberada como bônus pra você, imediatamente após a sua matrícula na Especialização Engenharia de Dados com Apache Airflow – THE COMPLETE JOURNEY.

Assim, você cobrirá todo o conteúdo necessário para realmente dominar de ponta a ponta a tecnologia de orquestração open-source mais utilizada do mercado de dados.

08 CURSOS BÔNUS

80 horas de conteúdo

1

Fundamentos para Engenharia de Dados

"Toda falta de sucesso revela um alicerce mal construído"

Em 10 HORAS de muito conteúdo você vai descobrir que uma base completa e forte é o que você precisa para desenvolver projetos com muito mais sucesso.

2

Fundamentos de Apache Airflow

Da criação e configuração de DAGs até o monitoramento e debugging de fluxos de trabalho

Uma abordagem clara e prática para você entender os conceitos essenciais do Airflow e garantir que seus pipelines de dados rodem de forma suave, eficiente e escalável, sem medo de falhas, mesmo em ambientes críticos

3

Desenvolvendo seu Primeiro Pipeline no Apache Airflow

Aprenda a construir e orquestrar seu primeiro pipeline de dados no Apache Airflow, desde a configuração inicial até a automação completa, dominando os conceitos e práticas essenciais para desenvolver fluxos de trabalho eficientes e escaláveis.

4

Construindo uma Stack de Dados Moderna com Airbyte, Airflow, DBT e Snowflake

Aprenda a criar e orquestrar um pipeline de dados completo e eficiente, utilizando Airbyte, Airflow, DBT e Snowflake, aplicando técnicas avançadas de modelagem e monitoramento com DBT e Elementary. Domine o fluxo de dados fim a fim e adquira habilidades práticas para otimizar a integração, transformação e observabilidade dos seus dados

5

Astro Python SDK: Desenvolvendo ETL no Airflow para Pipelines de Dados Modernos

Aprenda a desenvolver pipelines de ETL modernos e eficientes no Apache Airflow utilizando o Astro Python SDK. Explore técnicas avançadas para orquestração de dados, dominando a construção de fluxos escaláveis com menos código e alinhados às melhores práticas do mercado.

6

The Airflow Series

A modalidade de treinamentos da Engenharia de Dados Academy que vai além de cursos que têm início, meio e fim.

The Series nunca acaba.

Enquanto houver um novo recurso, uma nova atualização, uma estratégia inovadora e mais eficaz de implementação ou um estudo de caso intrigante, estaremos lançando novos episódios em The Series na sua área de membros.

Esteja sempre atualizado e acompanhando o mercado.

7

Fundamentos de Apache Spark

Saiba o que acontece por debaixo dos panos.

100% dos alunos concordam que este curso mudou tudo o que entendiam sobre fundamentos de Apache Spark. Você está prestes a fazer parte deste grupo.

Um curso completo e direto ao ponto feito para você compreender tudo o que fundamenta a tecnologia Apache Spark, como ela funciona, e quais são as principais formas de uso.

8

Fundamentos de Kubernetes

Neste workshop, você irá dominar os conceitos fundamentais do Kubernetes e entender como utilizar seus principais componentes para construir, gerenciar e escalar ambientes de contêineres de forma eficiente.

Aprenda a aplicar práticas de orquestração de contêineres para otimizar recursos, reduzir custos operacionais e aumentar a flexibilidade de suas soluções, seja em ambientes multi-cloud ou on-premises.

Prepare-se para integrar Kubernetes de forma estratégica em sua infraestrutura, aproveitando ao máximo os serviços gerenciados das principais plataformas de nuvem.

Comece agora

A se tornar um especialista completo em Apache Airflow.

QUERO ACESSAR A OFERTA

Aprenda Apache Airflow

com quem entende do assunto.

  • Seu Professor

Luan Moreno 🇧🇷🇨🇦

Luan Moreno é o primeiro brasileiro que conquistou o reconhecimento "Astronomer Champions Program for Apache Airflow", inspirando cada vez mais o crescimento e desenvolvimento de profissionais de dados em todo o país.

Airflow Summit: 10 years of Airflow

📍San Francisco, Califórnia 🇺🇸

Este mês, no evento comemorativo de 10 anos de Apache Airflow, Luan palestro sobre o tema: dbt-Core & Airflow 101: Construindo pipelines de dados desmistificados

  • ~ SAIBA MAIS SOBRE SEU PROFESSOR_

Luan é Big Data Engineer e Cloud Architect e, há 10 anos, trabalha como Sr. Cloud Consultant na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvendo projetos com Apache Spark, Apache Kafka, Apache Airflow e Kubernetes nas principais provedoras de nuvem do mercado: AWS, Azure e GCP.

Com 9 premiações Microsoft MVP em Data Platform e Big Data Specialist em Microsoft Azure, certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect Associate, ele também é membro StarTree All-Stars e recentemente recebeu um novo reconhecimento: o Confluent Community Catalyst, de Apache Kafka, tornando-se um dos poucos brasileiros a fazer parte desse seleto grupo.

No dia 19 de março de 2024, Luan se tornou o primeiro brasileiro a receber o reconhecimento "Astronomer Champions Program for Apache Airflow", inspirando cada vez mais o crescimento e desenvolvimento de profissionais de dados em todo o país.

Palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit, Luan está constantemente se aperfeiçoando e ocupando posições de vanguarda na área de dados.

Em 2021, idealizou e implementou um grande sonho: fundar a maior academia de ensino online para profissionais de dados com conteúdos que acompanham os mercados de Big Data nacional e internacional, TOTALMENTE EM PORTUGUÊS.

Assim nasceu a Engenharia de Dados Academy, que hoje já soma mais de 3 mil alunos.

Logo em seguida, veio a Comunidade de Dados The Plumbers, uma confraria que reúne profissionais da área de dados espalhados pelo mundo e conectados todos os dias trocando experiências e conhecimento em uma comunidade secreta no Slack.

Para o futuro?

“Vamos construir a maior comunidade da área de dados, não só do Brasil. Vamos reunir todos os profissionais que querem conquistar uma carreira de sucesso, e todas essas pessoas terão as suas carreiras impulsionadas pelo aprendizado que a academia proporciona. Profissionalmente, eu já cheguei aonde muitos querem, e ainda tem mais. Mas, enquanto eu percorro o meu caminho quero ajudar a maioria de pessoas que eu puder a também ter sucesso na área de dados. É por isso que eu ensino Data Analytics com tanta paixão.”

LUAN MORENO

Nós garantimos a você acesso completo a todos os treinamentos que fazem parte desta oferta por 7 dias sem compromisso!

Você poderá assistir a tudo, quantas vezes quiser, acessar todos os materiais complementares e, se dentro de 7 dias após a compra, você desistir do seu investimento, nós devolveremos, NA HORA E SEM PEDIR EXPLICAÇÕES, 100% DO SEU DINHEIRO.

Comece agora

QUERO FAZER MINHA INSCRIÇÃO

Ainda tem dúvidas?

Nosso time de suporte está online agora! Toque no botão abaixo e converse conosco:
TIRAR DÚVIDAS

Engenharia de Dados Academy 2024 © Todos os direitos reservados