Adquira domínio sobre a engine de processamento de dados mais utilizada do mercado e abra novas oportunidades para sua carreira.
Um curso completo e direto ao ponto feito para você compreender tudo o que fundamenta a tecnologia Apache Spark, como ela funciona, e quais são as principais formas de uso.
Seu mentor: LUAN MORENO
• Sr. Cloud Consultant e Big Data Engineer
• CEO e Fundador da Engenharia de Dados Academy
- Aviso: Este curso foi elaborado para dois grupos de pessoas:
-
Grupo 01
Você se enquadra no Grupo 01 se você quer começar a trabalhar com Apache Spark.
-
Grupo 02
Você se enquadra no Grupo 02 se você já trabalha com Apache Spark, mas na hora H as coisas não saem como deveriam.
Aperte o play e veja tudo o que você vai aprender:_
Receba:
Repositório de Código
Desenhos no Excalidraw
Certificado de Conclusão
20 horas de Conteúdo
01 ano de acesso à gravação
100% Online
Somente Nesta Página
Você tem acesso a um cupom de desconto no valor de R$200,00 para iniciar sua jornada com Apache Spark na Engenharia de Dados Academy.
- ~ Conteúdo exclusivo_
Spoilers sobre o que você irá aprender:
Maximize o seu conhecimento e entendimento sobre Apache Spark com este conteúdo exclusivo!
Explorando a Computação Distribuída com Apache Spark
Descubra como o Apache Spark transforma a maneira de resolver problemas complexos ao permitir o processamento de gigabytes e até terabytes de dados. Veja no desenho uma ilustração da arquitetura robusta do Spark e como sua compreensão pode capacitar você a desvendar e enfrentar desafios de dados complexos de forma eficiente e escalável.
As APIs de Nível Baixo e Alto do Spark
Entenda a dualidade das APIs do Spark, projetadas para abranger tanto desenvolvedores experientes quanto analistas de dados que preferem linguagens como Python e SQL.
No desenho você pode ver como as APIs de alto nível (DataFrames) e de baixo nível (RDDs) do Spark trabalham juntas para fornecer uma plataforma unificada e poderosa, facilitando o desenvolvimento e a execução de projetos analíticos complexos.
Escalabilidade com Spark em Plataformas Gerenciadas
Visualize como seu código desenvolvido localmente pode ser escalado para processar terabytes de dados através de plataformas de Spark gerenciadas disponíveis no mercado. Este desenho destaca a facilidade e a eficiência com que o Spark permite a expansão de projetos de dados, garantindo performance e adaptabilidade em ambientes de cloud.
Inovação em Armazenamento com Data Lakehouse
Este desenho demonstra como as modernas aplicações Spark estão adotando o conceito de Data Lakehouse, integrando tecnologias como Delta Lake e Apache Iceberg.
Aprenda sobre o impacto dessas tecnologias no aprimoramento das suas entregas com Spark, transformando o armazenamento de dados em uma ferramenta estratégica para análises avançadas e governança de dados.
Um curso completo para você compreender tudo o que fundamenta a tecnologia Apache Spark, como ela funciona, e quais são as principais formas de uso.
Ementa do Curso
Instrutor
Luan Moreno
Sr. Cloud Consultant e Big Data Engineer CEO e Fundador da Engenharia de Dados Academy
SESSÃO 01
Processamento Distribuído, Apache Hadoop & Apache Tez
Explore os conceitos fundamentais e as vantagens das arquiteturas de Data Lakehouse, juntamente com uma visão aprofundada sobre a tecnologia Delta Lake e suas aplicações práticas em ambientes de dados modernos.
SESSÃO 02
Operações Distribuídas com a Engine do Spark
Mergulhe nas operações distribuídas que são possíveis com a engine do Spark. Aprenda como o Spark otimiza e distribui computação em larga escala, transformando teoria em prática com exemplos de sistemas distribuídos em ação.
SESSÃO 03
Partições e Paralelismo como Conceito Principal de Processamento de Dados
Aprenda um dos conceitos vitais de como trabalhar com partições: Esse entendimento irá mudar a forma como você escreve suas pipelines. Nesta sessão você entenderá como a eficácia do processamento é maximizada através dessas técnicas, e como aplicá-las para melhorar significativamente a performance dos seus pipelines de dados.
SESSÃO 04
Instalação e Configuração do Seu Ambiente de Desenvolvimento
Veja como iniciar no Spark: aprenda, passo a passo, como configurar o seu ambiente local de desenvolvimento.
SESSÃO 05
As Diferentes APIs do Spark: PySpark e SQL para Dados
Domine as APIs do Spark através de uma imersão em PySpark e Spark SQL, além de integrações com Pandas e Structured Streaming. Esta sessão oferece uma visão detalhada das diferentes interfaces de programação disponíveis, permitindo-lhe escolher a melhor ferramenta para cada tarefa.
SESSÃO 06
Apache Spark com Serviço Gerenciado de Nuvem
Ganhe experiência prática no deployment de aplicações Spark em ambientes de nuvem gerenciados. Esta sessão abrange desde a preparação do seu código até a execução eficiente em clusters gerenciados pelos principais provedores de serviços de nuvem do mercado.
SESSÃO 07
Data Lakehouse, Delta Lake e Apache Iceberg para Armazenamento Eficiente
Entenda porque o Spark e Delta Lake são componentes cruciais para o desenvolvimento de seus pipelines assim como a implementação de um Data Lakehouse. Você compreenderá, nesta sessão, o papel crítico do Spark no desenvolvimento de soluções de armazenamento modernas como Data Lakehouses, Delta Lake e Apache Iceberg e aprenderá como estas tecnologias transformam o armazenamento e a gestão de dados em larga escala, proporcionando eficiência e escalabilidade.
Domine a engine de processamento de dados mais utilizada do mercado e abra novas oportunidades para sua carreira.
O curso que vai maximizar o seu conhecimento e entendimento sobre Apache Spark.
20h de Conteúdo
Certificado de Conclusão
Problemas que você irá resolver
Falta de habilidade no manejo do Apache Spark
Você irá descobrir que dominar os fundamentos e conceitos essenciais sobre sistemas distribuídos é uma das principais chaves para o sucesso do desenvolvimento com Apache Spark.
Dificuldade de unir teoria e prática
Veja como utilizar o Apache Spark rotineiramente, integrando teoria e prática sem perder tempo.
Falta de conhecimento das (reais) Melhores Práticas de Mercado
Conhecer as melhores práticas, além de aprimorar as suas habilidades com a engine Spark, te ajudarão a criar aplicações robustas e eficientes.
Erros frequentes
Reduza erros básicos por falta de compreensão de como o Apache Spark opera por debaixo dos panos.
Limite de Escala
Saiba como desenvolver aplicações de alto volume, capazes de processar milhões de registros, seguindo as melhores práticas do mercado.
Dificuldade de Integração com Ecossistemas de Data Analytics
Aprenda como maximizar a qualidade de suas entregas integrando o Apache Spark a sistemas de análise de dados, melhorando a eficiência e a eficácia.
Prepare-se para dominar a engine de processamento de dados mais utilizada do mercado.
Abra novas oportunidades para sua carreira.
CONTEÚDO COMPLETO
Pra você aprender a usar as melhores tecnologias open source e multi-cloud para criar poderosas pipelines modernas.
METODOLOGIA DE ENSINO EFICAZ
Nossos métodos comprovados facilitam o entendimento de conceitos complexos e permitem a aplicação prática imediata de suas novas habilidades.
INSTRUTOR CERTIFICADO
Estude com especialistas que estão na linha de frente do setor, trazendo resultados reais para empresas de ponta.
ACESSO ILIMITADO ÀS GRAVAÇÕES POR 1 ANO
Revise as aulas e consolide seu aprendizado assistindo aos vídeos quantas vezes precisar, no seu próprio ritmo.
CARGA HORÁRIA
20 horas de conteúdo e hands-on
CERTIFICADO DE CONCLUSÃO
Ao finalizar o curso, receba um certificado que valorizará tanto o seu currículo quanto o seu perfil profissional.
- > SEU PROFESSOR_
Luan Moreno 🇧🇷🇨🇦
Luan é Big Data Engineer e Cloud Architect e, há 10 anos, trabalha como Sr. Cloud Consultant na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvendo projetos com Apache Spark, Apache Kafka, Apache Airflow e Kubernetes nas principais provedoras de nuvem do mercado: AWS, Azure e GCP.
Com 9 premiações Microsoft MVP em Data Platform e Big Data Specialist em Microsoft Azure, certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect Associate, ele também é membro StarTree All-Stars e recentemente recebeu um novo reconhecimento: o Confluent Community Catalyst, de Apache Kafka, tornando-se um dos poucos brasileiros a fazer parte desse seleto grupo.
No dia 19 de março de 2024, Luan se tornou o primeiro brasileiro a receber o reconhecimento "Astronomer Champions Program for Apache Airflow", inspirando cada vez mais o crescimento e desenvolvimento de profissionais de dados em todo o país.
Palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit, Luan está constantemente se aperfeiçoando e ocupando posições de vanguarda na área de dados.
Em 2021, idealizou e implementou um grande sonho: fundar a maior academia de ensino online para profissionais de dados com conteúdos que acompanham os mercados de Big Data nacional e internacional, TOTALMENTE EM PORTUGUÊS.
Assim nasceu a Engenharia de Dados Academy, que hoje já soma mais de 3 mil alunos.
Logo em seguida, veio a Comunidade de Dados The Plumbers, uma confraria que reúne profissionais da área de dados espalhados pelo mundo e conectados todos os dias trocando experiências e conhecimento em uma comunidade secreta no Slack.
Para o futuro?
“Vamos construir a maior comunidade da área de dados, não só do Brasil. Vamos reunir todos os profissionais que querem conquistar uma carreira de sucesso, e todas essas pessoas terão as suas carreiras impulsionadas pelo aprendizado que a academia proporciona. Profissionalmente, eu já cheguei aonde muitos querem, e ainda tem mais. Mas, enquanto eu percorro o meu caminho quero ajudar a maioria de pessoas que eu puder a também ter sucesso na área de dados. É por isso que eu ensino Data Analytics com tanta paixão.”
LUAN MORENO
Nós garantimos a você acesso completo ao curso desta oferta por 7 dias, sem compromisso!
Estamos tão seguros da qualidade do conteúdo entregue que você poderá assistir a tudo, quantas vezes quiser, e acessar todos os materiais complementares. Se, dentro de 7 dias após a compra, você decidir desistir do seu investimento, devolveremos 100% do seu dinheiro na hora e sem pedir explicações.
Somente Nesta Página
Você tem acesso a um cupom de desconto no valor de R$200,00 para iniciar sua jornada com Apache Spark na Engenharia de Dados Academy.
20h de Conteúdo
Certificado de Conclusão