Confluent Cloud | Crash-Course – Engenharia de Dados Academy

Crash-Course

Big Data com Confluent Cloud: Sistema Nervoso Central para Eventos

O Confluent Cloud é o serviço gerenciado definitivo para Apache Kafka, utilizando área de dados para entregas em tempo real e atuando como sistema nervoso central de toda a organização. Aprenda como utilizar o Confluent Cloud com maestria, entendendo os principais conceitos e features para criação de um ambiente em streaming escalável e seguro.

Neste treinamento você aprenderá a criar soluções em tempo real utilizando a Plataforma de Streaming Confluent Cloud, seguindo as melhores e mais atuais práticas de mercado, para extrair o máximo desta íncrivel plataforma. Descubra que pode ser fácil ter uma Plataforma de Streaming de Dados, pois sabemos que manter uma infraestrutura de Apache Kafka não é algo simples devido a sua complexidade. Veja também:

Reproduzir vídeo

Aprender Big Data com Confluent Cloud pode oferecer várias vantagens, incluindo:

Facilidade de uso: Confluent Cloud é uma plataforma baseada em nuvem que fornece serviços gerenciados de streaming de dados em tempo real, o que significa que você pode começar a usá-lo rapidamente, sem a necessidade de gerenciar uma infraestrutura complexa.

Escalabilidade: Confluent Cloud é projetado para escalar automaticamente de acordo com as suas necessidades, permitindo que você lidar com grandes volumes de dados de forma eficiente.

Integração: Confluent Cloud oferece integrações com outras ferramentas de análise de dados e de fluxo de trabalho de nuvem, como Apache Spark, Apache Avro e Apache Hive, o que facilita a integração de diferentes ferramentas e fluxos de trabalho em sua análise.

Segurança: Confluent Cloud oferece segurança de dados embutida, incluindo criptografia de dados em trânsito e repouso, autenticação e autorização, e monitoramento de segurança, o que garante a proteção de seus dados.

Suporte: Confluent Cloud é desenvolvido pela Confluent, a empresa por trás do projeto Apache Kafka, o que significa que você tem acesso a uma equipe de especialistas em streaming de dados e suporte ao cliente.

Participe da Gravação Ao Vivo do Crash-Course: Big Data com Confluent Cloud

Vagas limitadas para participação das aulas ao vivo!

Aulas Ao Vivo com Gravação:

06 a 09 de janeiro, (Segunda a Quinta), das 19h às 22h, 100% online.

Carga Horária:

12 horas.

1 ano de acesso:

Assista quantas vezes quiser e aprenda no seu próprio ritmo.

Certificado:

Permaneça atualizado e à frente do mercado.

Conteúdo Programático:

FASE 1

Confluent Cloud, A Plataforma de Streaming de Dados

No primeiro momento vamos entender alguns conceitos muito importantes, falaremos um pouco sobre Apache Kafka, o que é o Confluente Cloud e suas características marcantes como plataforma gerenciada, alguns use-cases e modelos de sistemas distruibuidos para mensageria.

Fundamentos de Apache Kafka & Conceitos da Área de dados
Produtos Open-source & Confluent Cloud
Overview dos Recursos do Confluent Cloud
Casos de uso e Personas
Criação e Provisionamento do Confluent Cloud

Caso de Uso: Não só vamos provisionar o ambiente, mas também desenvolver a arquitetura que será usada durante todo o treinamento, assim fica mais fácil entender o motivo da escolha e como seria uma entrega fim-a-fim de um projeto de Real-time Analytics com Confluent Cloud.

FASE 2

Construindo um Enterprise Data Hub como Sistema Nervoso Central

Agora vamos entender como criar um hub de dados dentro da nossa organização usando Confluent Cloud, como realizar a ingestão de dados, processamento e como fazer o output dos dados.

Caso de Uso: Vamos criar um pipelines de dados fim a fim. Ingerindo dados de bancos de dados externos, processamento de streams usando SQL e entrega do dados enriquecidos para data stores otimizados para consulta colunar para analytics.

FASE 3

Desenvolvimento de Sistemas de Streaming com Confluent Cloud

Existem muitos casos na Engenharia de Dados que precisamos codificar, neste momento do treinamento vamos criar produtores e consumidores usando as melhores práticas para escrever e ler dados no Confluent Cloud, além de usar Schema Registry para gestão de Schemas integrado ao Confluent Cloud.

Melhores práticas de desenvolvimento de Aplicação Producer com autenticação do Confluent Cloud
Desenvolvimento de Aplicação Consumer com autenticação do Confluent Cloud
Utilizando Schema Registry no Confluent Cloud
Implementando colaboração e qualidade com Stream Catalog & Stream Quality em nosso pipeline de dados

Caso de Uso: Criando um pipeline de dados fim a fim utilizando os recursos do Confluent Cloud para tornar a experiência ainda mais fácil e com alto grau de gestão.

FASE 4

Data Mesh Pathway

Depois que você entender como funciona o Confluent Cloud, vamos implementar um caso real de Data Mesh, entendendo inicialmente como funciona essa arquitetura, desenhando o nosso processo e implementando utilizando Confluent Cloud como o coração do nosso projeto.

Caso de Uso: Criação uma arquitetura de Data Mesh usando os principio básico, além de implementar o Data Plane usando o Confluent Cloud como solução central de integração de produtos de dados.

Acesso a Comunidade do Curso

O Ambiente ideal para você tirar as suas dúvidas e ainda criar networking.

Repositório no GitHub

Documentação fim a fim.

Aprenda a escalar e gerenciar fluxos de dados em tempo real com Confluent Cloud

Bônus

Os fundamentos

Um presente exclusivo da Comunidade de Engenharia de Dados "The Plumbers" para você: uma série de vídeos criada para desenvolver e solidificar conhecimentos fundamentais para um Engenheiro de Dados.

Com estes vídeos você poderá se preparar antecipadamente para o nosso Workshop e extrair o potencial máximo do conteúdo.

Alguns dos Episódios disponíveis:

Confluent Cloud: a maneira mais fácil de executar o Apache Kafka

Crash-Course

Big Data com Confluent Cloud: Sistema Nervoso Central para Eventos

Por apenas

12x R$ 89,70

ou R$897,00 à vista.

Crash-Course

Big Data com Confluent Cloud: Sistema Nervoso Central para Eventos

Por apenas

12x de R$ 89,70

ou R$897,00 à vista.

Aprenda com um especialista certificado em Kafka e membro da Confluent Community Catalyst

Professor: Mateus Oliveira

Profissional com mais de 8 anos de experiência trabalhando com dados, somado a mais de 6 anos dedicado ao mercado financeiro, na parte de administração de dados. Destes, passou 3 anos atuando junto com Lead Data Engineer especializado Apache Kafka e foi encarregado de projetos com diferentes portes, buscando soluções de Big Data para clientes, tanto em ambientes de nuvem Azure, GCP e AWS, quanto ambientes conteinerizados - Big Data no Kubernetes.

Possui certificação em Apache Kafka e Apache Airflow. Também já foi palestrante em diferentes eventos regionais, como SQL BH, MPV Conf, além do evento internacional, Kafka Summit.

Recentemente, recebeu um novo reconhecimento de Apache Kafka, fornecido pela Confluent, tornando-se um dos poucos brasileiros membros do Confluent Community Catalyst.

Roadmap Crash-Course: Big Data com Confluent Cloud

Newsletter: Engenharia de Dados Academy