Big Data com Databricks: Plataforma Unificada de Dados
Crie e desenvolva soluções dentro da plataforma mais robusta e completa na área de dados.
Domine o Databricks e remova totalmente a dificuldade de instalar, configurar e administrar clusters de Apache Spark, a engine de processamento de dados mais utilizada no mercado de dados que está presente nas maiores empresas do globo como Uber, Waze, Spotify, Netflix, New York Times, Nasa.
Para os seus desafios na área de dados:
Escreva e implemente pipelines altamente eficientes e robustos seguindo as melhores práticas do mercado;
Aprenda o passo a passo de como ingerir, processar, servir e governar seus dados de forma eficiente e inteligente com seus serviços integrados e unificados.
Aprender Big Data com Databricks pode ser uma boa escolha se você estiver interessado em trabalhar com dados em grande escala e deseja ter a capacidade de colaborar e gerenciar esses dados de maneira eficiente. Algumas das principais razões para aprender Big Data com Databricks incluem:
1 - Velocidade e Escalabilidade: O Databricks é baseado no Apache Spark, o que significa que é uma plataforma altamente escalável e eficiente para processamento de Big Data. Isso significa que você poderá trabalhar com grandes conjuntos de dados sem comprometer a velocidade ou a precisão.
2 - Facilidade de uso:
Interface intuitiva e fácil de usar, permitindo que equipes de dados de todos os níveis de habilidade técnica colaborem e analisem dados com eficiência.
3 - Análise colaborativa - Colaboração em equipe: Ferramentas para colaboração em equipe, incluindo compartilhamento de código, análise de dados e relatórios.
facilitando o trabalho em equipe e a tomada de decisões baseadas em dados.
4 - Integração de fontes de dados heterogêneas: Incluindo banco de dados, arquivos e sistemas em nuvem, em uma única plataforma.
Ele integra facilmente com outras ferramentas de análise de dados populares, como o Apache Kafka, o Amazon S3 e o Delta Lake, tornando o processo de análise de dados mais eficiente.
5 - Processamento de Machine Learning: Ampla gama de ferramentas e recursos para implementação e treinamento de modelos de machine learning em larga escala.
6 - Segurança de dados: Recursos de segurança robustos para proteger os dados confidenciais, incluindo criptografia, controle de acesso e conformidade com regulamentos
7 - Demanda de mercado: A análise de dados e o processamento de grande volume de dados estão se tornando cada vez mais populares à medida que as organizações buscam obter insights valiosos de seus dados. Aprender Big Data com Databricks pode ajudá-lo a se tornar um profissional altamente procurado no mercado de trabalho.
Conteúdo Programático:
FASE 1
Databricks como Plataforma de Dados
Entenda os componentes e serviços utilizados pela Databricks para atender todas as diferentes personas na área de dados. Iremos navegar em todos os seus recursos proprietários para entender como a ferramenta mais utilizada no mercado de dados pode simplificar e facilitar o desenvolvimento de pipeline de dados.
Fundamentos de Apache Spark & Conceitos na Área de Dados
Produtos Open-Source & Databricks
Overview dos Recursos Proprietários do Databricks
Casos de Uso e Personas
Criação e Provisionamento do Databricks
Caso de Uso: Iremos construir uma arquitetura para desenvolvimento de uma plataforma de Enterprise Data Lakehouse [EDL] com o Databricks. Essa arquitetura servirá para que possamos desenvolver pipelines de dados em batch e streaming de forma escalável e transparente.
FASE 2
Construindo Pipeline de Dados em Batch e Stream com Recursos do Databricks
Aprenda em detalhes como utilizar os recursos proprietários da Databricks de forma eficiente utilizando as melhores práticas do mercado. Desenvolva pipelines de dados completos com ingestão, processamento, entrega, governança e escalabilidade em um ambiente unificado para se trabalhar em equipe.
Databricks Lakehouse Platform
Recursos Proprietários do Databricks para Desenvolvimento de Pipelines
Fontes de Dados Externas e Técnicas de Ingestão de Dados
Apache Spark APIs & Framework para Processamento de Dados [Delta Live Tables]
Delta & The Medallion Architecture
Caso de Uso: Desenvolvimento de pipeline de dados em batch e stream utilizando Delta Live Tables, Auto Loader, Unity Catalog, Workflows como uma entrega de solução completa de dados dentro do Databricks.
FASE 3
Data Warehouse & Lakehouse no Databricks (DB SQL)
Entregue uma solução de Data Warehouse com a plataforma do Databricks utilizando a engine de Lakehouse mais disruptiva do mercado de dados. Aprenda os principais conceitos que times de dados precisam saber para utilizar o Lakehouse de forma otimizada.
Data Lake, Warehouse & Lakehouse
Recursos do Delta & Delta Sharing para Compartilhamento
Engine Photon para Aceleração de Queries no Lakehouse
Databricks SQL com Engine Escalável de Lakehouse
Caso de Uso: Como entregar uma solução de Data Warehousing, Analytics, e BI utilizando a plataforma de Dados do Databricks de forma efetiva, econômica e escalável.Entenda como times de dados podem se beneficiar da plataforma de dados do Databricks consumindo dados de forma eficiente e escalável.
FASE 4
Otimizações e Recomendações para Pipeline de Dados no Databricks
Aprenda como realizar o fine-tuning dos seus pipelines de dados para aumentar o aproveitamento e otimizar custos. Iremos navegar nos problemas reais relacionados à ingestão, processamento, entrega do dado e economia de custos para operacionalizar seus pipelines com as melhores práticas.
The Medallion Architecture para EDW no Databricks
Otimizações para Ingestão e Processamento de Dados
Aplicando Técnicas de Redução de Custo no Databricks
Técnicas de Otimização de Pipeline de Dados no Databricks
Caso de Uso: Resolva os problemas mais comuns durante o desenvolvimento das suas soluções com Apache Spark e Databricks. Aprenda a otimizar seus pipelines de dados e utilizar a plataforma de dados da Databricks para entregar uma solução de fim a fim.
Repositório no GitHub
Documentação fim a fim.
Aprenda a processar grandes volumes de dados de maneira eficiente, colaborar com equipes e gerenciar seus dados com o poderoso conjunto de ferramentas do Databricks
Confira o que os nossos alunos têm a dizer:
Bônus
Os fundamentos
Um presente exclusivo da Comunidade de Dados The Plumbers para você: uma série de vídeos criada para desenvolver e solidificar conhecimentos fundamentais para um Engenheiro de Dados.
Com estes vídeos você poderá se preparar antecipadamente para o nosso Crash-Course e extrair o potencial máximo dos serviços dentro das Clouds Providers.
Alguns dos Episódios disponíveis:
OLAP
OLTP
Data Warehouse
Data Lake
Data Governance
Computação distribuída
Teorema CAP & Base
Arquitetura Kappa
Message delivery guarantee
Entre outros, incluindo alguns de Cloud Computing e Provedoras de Cloud: um primeiro passo para a compreensão de como e porque utilizar a infraestrutura da Cloud e seus serviços.
Simplifique a ingestão e o gerenciamento de dados com Databricks
Crash-Course
Big Data com Databricks: Plataforma Unificada de Dados
1 ano de acesso ao Crash-Course: Big Data com Databricks
Big Data com Databricks: Plataforma Unificada de Dados
1 ano de acesso ao Crash-Course: Big Data com Databricks
1 ano de acesso Os Fundamentos
Comunidade de Alunos
Repositório Exclusivo GitHub
Certificado
Por apenas
12x deR$ 89,70
ou R$897,00 à vista.
Aprenda com quem é referência no mercado
Professor: Luan Moreno
Luan Moreno atua há 9 anos como Big Data Engineer na multinacional canadense Pythian, implementando soluções de Big Data e Analytics e desenvolvimento de projetos com Apache Spark, Apache Kafka, Apache Airflow, Kubernetes, entre outros, nas principais provedoras de Nuvem do mercado: AWS, Azure e GCP.
Com 9 premiações Microsoft MVP e Big Data Specialist em Microsoft Azure, Luan está constantemente se aperfeiçoando e ocupando posição de vanguarda em sua área. Foi palestrante em grandes conferências como TechEd, SQL Konferenz, SQL Nexus, TugaIT, DB Tech Showcase, Ignite e SQL Pass Summit.
Preocupado com a formação e atualização de qualidade, focadas no mercado de trabalho, idealizou o programa pioneiro de desenvolvimento profissional, Engenharia de Dados Academy.