Workshop 06 – Engenharia de Dados Academy | Comunidade de Dados The Plumbers

WORKSHOP

Astro Python SDK: Desenvolvendo ETL no Airflow para Pipelines de Dados Modernos

Este workshop tem como principal objetivo demonstrar aos profissionais como o Apache Airflow, juntamente com o Astro Python SDK, pode não só orquestrar pipelines de dados, mas também efetuar processos de ETL de forma escalável e performática.

Durante o workshop, você aprenderá como criar pipelines de forma fácil no Apache Airflow com o Astro Python SDK, que é totalmente open-source e acelerado pela empresa Astronomer.

Com as habilidades adquiridas neste workshop, você será capaz de implementar pipelines de dados com poucas linhas de código, utilizando as melhores práticas e recomendações do mercado. Torne-se um especialista em ETL e crie pipelines de dados eficientes e escaláveis com o Workshop Astro Python SDK: Desenvolvendo ETL no Airflow para Pipelines de Dados Modernos.

Inscreva-se agora pelo valor promocional

Apenas R$97,00

Repositório no GitHub:

Documentação fim a fim

Duração:

7 Horas de conteúdo.

1 Ano de Acesso à Gravação:

Assista quantas vezes quiser e aprenda no seu próprio ritmo.

Certificado de Participação:

Permaneça atualizado e à frente do mercado.

Aprenda a orquestrar pipelines de dados de forma eficiente e escalável utilizando Apache Airflow e Astro Python SDK.

Conteúdo Programático:

Introdução a ETL & Pipeline de Dados

Nesta parte do workshop, você irá aprender sobre o conceito de ETL (Extract, Transform, Load) e pipeline de dados. Também será apresentado o Apache Airflow como orquestrador e processador para esse tipo de tarefa.

Conceitos do Astro Python SDK

Nesta sessão, serão apresentados os conceitos fundamentais do Astro Python SDK, uma ferramenta open-source acelerada pela empresa Astronomer. Será discutido como o Astro Python SDK pode ser utilizado para criar pipelines de dados eficientes e escaláveis, bem como compará-lo com a TaskFlow API.

Criando Pipelines de Dados

Na terceira parte, você irá colocar em prática o que aprendeu nas partes anteriores, criando seus próprios pipelines de dados utilizando o Astro Python SDK. Serão abordadas as melhores práticas para esse tipo de tarefa e também será apresentado como provisionar um ambiente de desenvolvimento local para trabalhar com a ferramenta.

Técnicas Avançadas para Pipeline de Dados

Na parte final, serão apresentadas técnicas avançadas para o desenvolvimento de pipelines de dados. Será discutida a integração com o Databricks e o Azure Data Factory Managed Airflow, ampliando ainda mais as possibilidades de implementação desses processos.

Criando Pipelines de Dados

Na terceira parte, você irá colocar em prática o que aprendeu nas partes anteriores, criando seus próprios pipelines de dados utilizando o Astro Python SDK. Serão abordadas as melhores práticas para esse tipo de tarefa e também será apresentado como provisionar um ambiente de desenvolvimento local para trabalhar com a ferramenta.

Técnicas Avançadas para Pipeline de Dados

Na parte final, serão apresentadas técnicas avançadas para o desenvolvimento de pipelines de dados. Será discutida a integração com o Databricks e o Azure Data Factory Managed Airflow, ampliando ainda mais as possibilidades de implementação desses processos.

Bônus Exclusivo:

The Fundamentals Series

Como um presente exclusivo da Comunidade de Dados The Plumbers, você receberá acesso a uma série de vídeos que foram criados para desenvolver e solidificar os conhecimentos fundamentais de um Engenheiro de Dados.

Com esses vídeos, você poderá se preparar antecipadamente para o nosso Workshop e extrair o máximo potencial do conteúdo apresentado. Alguns dos episódios disponíveis incluem OLAP, OLTP, Data Warehouse, Data Lake, Data Governance, Computação Distribuída, Teorema CAP & Base, e Arquitetura Kappa.

Não perca a oportunidade de aprimorar ainda mais seus conhecimentos em Engenharia de Dados com este bônus exclusivo da Comunidade de Dados The Plumbers.

Aprenda com quem é referência no mercado

Instrutor: Luan Moreno

Luan Moreno é um Big Data Engineer e Cloud Architect com mais de 9 anos de experiência na implementação de soluções de Big Data e Analytics. Trabalhando para a multinacional canadense Pythian, ele tem liderado projetos em provedores de nuvem de renome, como AWS, Azure e GCP, com tecnologias como Apache Spark, Apache Kafka, Apache Airflow e Kubernetes.

Luan é um Microsoft MVP em Data Platform e tem mais de 8 anos de experiência como consultor de banco de dados em SQL Server. Ele também é certificado como Microsoft Certified Trainer (MCT), GCP Professional Data Engineer e AWS Solutions Architect: Associate.

É um palestrante frequente em conferências globais, incluindo TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit. Ele também é o fundador da "Engenharia de Dados Academy", um programa pioneiro de desenvolvimento profissional em Big Data no Brasil. Além disso, ele criou a "Comunidade de Dados The Plumber", onde os Engenheiros de Dados podem aprofundar seus conhecimentos em Big Data e Analytics por meio de prática e teoria para entregarem as melhores soluções para seus projetos.

Altamente valorizado por sua capacidade de resolver problemas complexos em ambientes de Big Data e Analytics. Luan é um eterno aprendiz que se concentra em entregar soluções em uma modelagem IaaS/PaaS/SaaS e se esforça para fornecer a melhor solução de dados baseada nas necessidades do cliente.

Garanta agora seu ingresso pelo valor promocional de

Apenas R$97,00

Newsletter: Engenharia de Dados Academy