- Uma experiência hands-on com conteúdo exclusivo para Times de Dados
Workshop: Desenvolvendo uma Aplicação na Prática em PySpark e Spark SQL: Apache Spark no Kubernetes
Acompanhe ao vivo a construção de um ambiente para processamento de dados começando do absoluto zero, utilizando uma das ferramentas mais consolidadas no mundo do software e que vem ganhando bastante força em projetos de big data, o Kubernetes.
Neste Workshop, você aprenderá quais boas práticas utilizar, como reduzir custos, ter disponibilidade, escalabilidade e ainda orquestrar execuções com o Apache Airflow.
Inscreva-se agora pelo valor promocional de
Apenas R$97,00
Repositório no GitHub
Documentação fim a fim
Duração:
4,5 Horas de conteúdo.
1 Ano de Acesso à Gravação:
Assista quantas vezes quiser e aprenda no seu próprio ritmo.
Certificado de Participação:
Permaneça atualizado e à frente do mercado.
Utilize as melhores e mais recentes práticas para criar uma plataforma de processamento de dados utilizando Spark e Kubernetes.
Conteúdo Programático:
Introdução ao Apache Spark e Kubernetes
- - Introdução ao Apache Spark
- - Introdução ao Kubernetes e Amazon Elastic Kubernetes Service (EKS)
Deployment e Tuning de Aplicações no Spark
- - Deployment de uma Aplicação de Spark no Kubernetes usando o spark-on-k8s Operator
- - Criando imagem do Apache Spark
- - Orquestrando job Spark no Kubernetes com Apache Airflow
- - Monitoramento com Prometheus e Grafana
- - Performance, Escalabilidade, Tuning e Melhores Práticas para Deployment no Kubernetes
Construindo um ETL na Prática
- - Design Patterns para Criação de Aplicações no Apache Spark
- - Criando um Processo de ETL com PySpark e Spark SQL
Utilize as melhores e mais recentes práticas para criar uma plataforma de processamento de dados utilizando Spark e Kubernetes.
Conteúdo Programático:
Introdução ao Apache Spark e Kubernetes
- - Introdução ao Apache Spark
- - Introdução ao Kubernetes e Amazon Elastic Kubernetes Service (EKS)
Construindo um ETL na Prática
- - Design Patterns para Criação de Aplicações no Apache Spark
- - Criando um Processo de ETL com PySpark e Spark SQL
Deployment e Tuning de Aplicações no Spark
- - Deployment de uma Aplicação de Spark no Kubernetes usando o spark-on-k8s Operator
- - Criando imagem do Apache Spark
- - Orquestrando job Spark no Kubernetes com Apache Airflow
- - Monitoramento com Prometheus e Grafana
- - Performance, Escalabilidade, Tuning e Melhores Práticas para Deployment no Kubernetes
Bônus
Os fundamentos
Um presente exclusivo da Comunidade de Engenharia de Dados "The Plumbers" para você: uma série de vídeos criada para desenvolver e solidificar conhecimentos fundamentais para um Engenheiro de Dados.
Com estes vídeos você poderá se preparar antecipadamente para o nosso Workshop e extrair o potencial máximo do conteúdo.
Alguns dos Episódios disponíveis:
- OLAP
- OLTP
- Data Warehouse
- Data Lake
- Data Governance
- Computação distribuída
- Teorema CAP & Base
- Arquitetura Kappa
Aprenda com quem é referência no mercado
Professor: Tiago Xavier
Tiago Xavier iniciou sua carreira como programador Cobol, migrou para desenvolvimento Java onde teve o seu primeiro contato com a parte de Business Intelligence (BI) e se encantou pelo mundo de dados. Atuou como desenvolvedor BI em grandes empresas do setor financeiro, e hoje são 8 anos dedicados a soluções para dados, sendo 5 anos focados em Engenharia de Dados utilizando soluções on-premise e cloud.
Atualmente tem o papel focado em desenvolvimento de plataformas de dados, atuando como facilitador para outros times de dados, utilizando Airflow, Databricks, Spark, Kubernetes, Linux e AWS.
Inscreva-se agora pelo valor promocional de
Apenas R$97,00
Newsletter: Engenharia de Dados Academy
- ©️ COPYRIGHT 2023 - ENGENHARIA DE DADOS ACADEMY - TODOS OS DIREITOS RESERVADOS.
- Política de Privacidade
