Workshop 07 – Engenharia de Dados Academy | Comunidade de Dados The Plumbers

WORKSHOP: Construindo uma Solução de Data Warehouse Moderno na Prática usando Snowflake

Aprenda como trabalhar com os componentes-chave do Snowflake, Stages, Tables, Snowpipe e Tasks; para criar e otimizar soluções de Data Warehouse modernas, eficientes e escaláveis.
Descubra como através da automatização de tarefas com Snowpipe e Tasks você vai tornar tudo ainda mais fácil!
Concentre-se apenas em extrair valor dos dados! Deixe para o Snowflake o gerenciamento e operação dos aspectos complexos dedo data warehouse como:
INFRAESTRUTURA E ESCALABILIDADE: O gerenciamento de alocação e dimensionamento dos recursos de computação e armazenamento ocorre de forma automática e dinâmica, conforme as necessidades do usuário, sem exigir intervenção manual.
DESEMPENHO E OTIMIZAÇÃO: A otimização automática de consultas e execução de instruções SQL garante desempenho de alto nível e reduz o tempo necessário para obter insights a partir dos dados.

GERENCIAMENTO DE CUSTOS: Com um modelo de preços "pague pelo que você usa", o Snowflake permite que os usuários controlem e otimizem os custos relacionados ao armazenamento e processamento de dados, gerando economia em relação a soluções de data warehouse tradicionais.
Além disso, FLEXIBILIDADE E INTEGRAÇÃO: Compatível com uma ampla variedade de formatos de dados, Se integra facilmente a outras ferramentas e serviços de análise de dados Facilita a colaboração entre diferentes equipes e aplicativos.
SEGURANÇA E CONFORMIDADE: Recursos de segurança avançados, como criptografia de dados em repouso e em trânsito, autenticação multifator e controle de acesso granular. Garantia de conformidade com os principais padrões e regulamentações de privacidade e segurança de dados.
Prepare-se para levar sua carreira a novos patamares! Descubra como criar uma solução de Data Warehouse Moderno usando a plataforma Snowflake e se torne um especialista em demanda capaz de enfrentar os desafios do armazenamento e análise de dados na era da nuvem.

Plataforma Moderna de Dados: O que é, e como o Snowflake se encaixa nela.
Snowflake: Introdução e visão geral
Como o Snowflake, através de uma abordagem inovadora em sua arquitetura, nos entrega uma plataforma de dados poderosa, mas simples!
Introdução aos custos no Snowflake

Principais métodos de ingestão de dados no Snowflake
Passo a passo: Vamos fazer detalhadamente uma integração entre o Snowflake e o ambiente AWS via Integration Storage
SnowPipe: Vamos configurar o SnowPipe para ingestão de dados de arquivos em buckets S3 Dentro da AWS
Como copiar os dados do S3 com o comando COPY e carregar esses dados para uma tabela RAW através de um Stage e um File Format objects.

Trabalhando com dados Semi-Estruturados dentro do snowflake utilizando SQL.
Como criar Tasks simples e tasks com dependências para automatizar o processo de ingestão de dados no Snowflake.
Tipos de tabelas disponíveis e seus usos.
Como trabalhar com o Snowflake Streams para criar um processo CDC.