- Uma experiência hands-on com conteúdo exclusivo para Times de Dados
Workshop: Construindo na Prática um Data Lakehouse com Delta e Iceberg, utilizando Apache Spark
Acompanhe ao vivo a criação de pipelines com o conceito latente no mercado de dados, o Open Data Lakehouse, utilizando a principal ferramenta de processamento do mercado mundial, o Apache Spark.
Aprenda conceitos de Data Lakehouse e realize a criação de dois pipelines práticos, tanto em batch, como em stream, utilizando Python e SQL.
No final deste Workshop, você será capaz de utilizar o Delta e o Iceberg (formatos de Open Data Lakehouse) da melhor forma com o Spark, além de ter acesso a todo o material exclusivo.
Garanta agora seu ingresso pelo valor promocional
Apenas R$97,00
Repositório no GitHub
Documentação fim a fim
Duração:
7 Horas de conteúdo.
1 Ano de Acesso à Gravação:
Assista quantas vezes quiser e aprenda no seu próprio ritmo.
Certificado de Participação:
Permaneça atualizado e à frente do mercado.
Utilize as melhores e mais recentes práticas para o desenvolvimento do seu pipeline de dados.
Conteúdo Programático:
Introdução ao Apache Spark e Data Lakehouse
- - Introdução aos conceitos de Spark, Lakehouse e features do Delta e Iceberg como formatos de tabela para Lakehouse
- - Introdução Apache Spark
- - Introdução Data Lakehouse & Medallion Architecture
- - Delta como Framework de Armazenamento
- - Iceberg como Formato de Tabela para Analytics
Construindo Pipeline em Stream com Spark & Delta
- - Desenvolvimento de um pipeline em stream com Structured Streaming e Delta para tempo-real utilizando técnicas e recursos avançados.
- - Caso de Uso: Pipeline de Dados em Stream
- - Configurando Spark & Delta
- - Desenvolvendo ETL em Tempo-Real
Pipeline em Produção com Catálogo Transacional para Data Lakes (Bônus)
- - A revolução na criação de pipelines de dados com Spark e Nessie: habilite a possibilidade de utilizar o Lakehouse como Git e entregue para seus times ambientes seguros para se trabalhar com dados.
- - Apache Nessie
- - Caso de Uso: Pipeline em Batch com MinIO, Iceberg, Nessie & Spark no Kubernetes
- - Desenvolvendo Aplicações com Controle de Versão (Git-Like) para Dados
Construindo Pipeline em Batch com Spark & Iceberg
- - Iremos construir e configurar um pipeline em PySpark & Spark SQL que irá utilizar tabelas Iceberg como Lakehouse em uma arquitetura medallion.
- - Caso de Uso: Pipeline de Dados em Batch
- - Configurando Spark & Iceberg
- - Desenvolvendo ETL em Batch
Utilize as melhores e mais recentes práticas para o desenvolvimento do seu pipeline de dados.
Conteúdo Programático:
Introdução Apache Spark e Data Lakehouse
- - Introdução aos conceitos de Spark, Lakehouse e features do Delta e Iceberg como formatos de tabela para Lakehouse
- - Introdução Apache Spark
- - Introdução Data Lakehouse & Medallion Architecture
- - Delta como Framework de Armazenamento
- - Iceberg como Formato de Tabela para Analytics
Construindo Pipeline em Batch com Spark & Iceberg
- - Iremos construir e configurar um pipeline em PySpark & Spark SQL que irá utilizar tabelas Iceberg como Lakehouse em uma arquitetura medallion.
- - Caso de Uso: Pipeline de Dados em Batch
- - Configurando Spark & Iceberg
- - Desenvolvendo ETL em Batch
Construindo Pipeline em Stream com Spark & Delta
- - Desenvolvimento de um pipeline em stream com Structured Streaming e Delta para tempo-real utilizando técnicas e recursos avançados.
- - Caso de Uso: Pipeline de Dados em Stream
- - Configurando Spark & Delta
- - Desenvolvendo ETL em Tempo-Real
Pipeline em Produção com Catálogo Transacional para Data Lakes (Bônus)
- - A revolução na criação de pipelines de dados com Spark e Nessie: habilite a possibilidade de utilizar o Lakehouse como Git e entregue para seus times ambientes seguros para se trabalhar com dados.
- - Apache Nessie
- - Caso de Uso: Pipeline em Batch com MinIO, Iceberg, Nessie & Spark no Kubernetes
- - Desenvolvendo Aplicações com Controle de Versão (Git-Like) para Dados
Bônus
Os fundamentos
Um presente exclusivo da Comunidade de Engenharia de Dados "The Plumbers" para você: uma série de vídeos criada para desenvolver e solidificar conhecimentos fundamentais para um Engenheiro de Dados.
Com estes vídeos você poderá se preparar antecipadamente para o nosso Workshop e extrair o potencial máximo do conteúdo.
Alguns dos Episódios disponíveis:
- OLAP
- OLTP
- Data Warehouse
- Data Lake
- Data Governance
- Computação distribuída
- Teorema CAP & Base
- Arquitetura Kappa
Aprenda com quem é referência no mercado
Professor: Luan Moreno
Luan Moreno atua há 9 anos como Big Data Engineer na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvimento de projetos com Apache Spark, Apache Kafka, Apache Airflow, Kubernetes, entre outros, nas principais provedoras de Nuvem do mercado: AWS, Azure e GCP.
Com 9 premiações Microsoft MVP e Big Data Specialist em Microsoft Azure, Luan está constantemente se aperfeiçoando e ocupando posição de vanguarda em sua área. Foi palestrante em grandes conferências como TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit. Preocupado com a formação e atualização de qualidade, focadas no mercado de trabalho, idealizou o programa pioneiro de desenvolvimento profissional, Engenharia de Dados Academy.
Garanta agora seu ingresso pelo valor promocional
Apenas R$97,00
Newsletter: Engenharia de Dados Academy
- ©️ COPYRIGHT 2023 - ENGENHARIA DE DADOS ACADEMY - TODOS OS DIREITOS RESERVADOS.
- Política de Privacidade
