logo-engenharia-de-dados-academy

Workshop: Construindo na Prática um Data Lakehouse com Delta e Iceberg, utilizando Apache Spark

Acompanhe ao vivo a criação de pipelines com o conceito latente no mercado de dados, o Open Data Lakehouse, utilizando a principal ferramenta de processamento do mercado mundial, o Apache Spark.

Aprenda conceitos de Data Lakehouse e realize a criação de dois pipelines práticos, tanto em batch, como em stream, utilizando Python e SQL.

No final deste Workshop, você será capaz de utilizar o Delta e o Iceberg (formatos de Open Data Lakehouse) da melhor forma com o Spark, além de ter acesso a todo o material exclusivo.

Garanta agora seu ingresso pelo valor promocional

Apenas R$97,00

Repositório no GitHub

Documentação fim a fim

Duração:

7 Horas de conteúdo.

1 Ano de Acesso à Gravação:

Assista quantas vezes quiser e aprenda no seu próprio ritmo.

Certificado de Participação:

Permaneça atualizado e à frente do mercado.

Utilize as melhores e mais recentes práticas para o desenvolvimento do seu pipeline de dados.

Conteúdo Programático:

Introdução ao Apache Spark e Data Lakehouse

Construindo Pipeline em Stream com Spark & Delta

Pipeline em Produção com Catálogo Transacional para Data Lakes (Bônus)

Construindo Pipeline em Batch com Spark & Iceberg

Utilize as melhores e mais recentes práticas para o desenvolvimento do seu pipeline de dados.

Conteúdo Programático:

Introdução Apache Spark e Data Lakehouse

Construindo Pipeline em Batch com Spark & Iceberg

Construindo Pipeline em Stream com Spark & Delta

Pipeline em Produção com Catálogo Transacional para Data Lakes (Bônus)

Bônus

Os fundamentos

Um presente exclusivo da Comunidade de Engenharia de Dados "The Plumbers" para você: uma série de vídeos criada para desenvolver e solidificar conhecimentos fundamentais para um Engenheiro de Dados.

Com estes vídeos você poderá se preparar antecipadamente para o nosso Workshop e extrair o potencial máximo do conteúdo.

Alguns dos Episódios disponíveis:

Aprenda com quem é referência no mercado

Professor: Luan Moreno

Luan Moreno atua há 9 anos como Big Data Engineer na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvimento de projetos com Apache Spark, Apache Kafka, Apache Airflow, Kubernetes, entre outros, nas principais provedoras de Nuvem do mercado: AWS, Azure e GCP.

Com 9 premiações Microsoft MVP e Big Data Specialist em Microsoft Azure, Luan está constantemente se aperfeiçoando e ocupando posição de vanguarda em sua área. Foi palestrante em grandes conferências como TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit. Preocupado com a formação e atualização de qualidade, focadas no mercado de trabalho, idealizou o programa pioneiro de desenvolvimento profissional, Engenharia de Dados Academy.

Garanta agora seu ingresso pelo valor promocional

Apenas R$97,00

Newsletter: Engenharia de Dados Academy

plugins premium WordPress