Pergunta 1: Para quem é este produto?
Resposta 1: Este produto é para profissionais que desejam aprender Engenharia de Dados e Big Data Lake Enterprise com Databricks, Data Factory e Purview para impulsionar suas carreiras.

Pergunta 2: O que será aprendido neste curso?
Resposta 2: Os alunos aprenderão as principais técnicas e linguagens da Engenharia de Dados, entenderão as diferenças entre a estruturação de dados tradicional até os conceitos de Data Warehouse e Big Data e aprenderão a construir um Data Lake de Sucesso com Databricks, Data Factory e Purview.

Pergunta 3: Como será construído o Data Lake?
Resposta 3: O Data Lake será construído com Camadas Landing, Raw, Dev, Work, Trusted e DW com governança e catalogação dos dados.

Rodolfo Moreira

Engenharia de Dados e Big Data Lake Enterprise Com Databricks, Data Factory e Purview - Vá além do Data Lake, construindo um oceano de dados. Impulsione a sua carreira

O que vamos aprender no curso?

Rodolfo Moreira - Apresentação e Currículo

Apresentação

Aula 1 - Maturidade de dados dentro das empresas

Aula 2 - Como uma empresa pode ser competitiva utilizando o conceito de oceano de dados?

Aula 3 - Perfis de dados dentro das equipes

Aula 4 - Atuação das equipes e realidade nas empresas

Transformação digital através dos dados

O que é Cloud e Plataformas Azure, AWS e GCP

IaaS, PaaS e SaaS

Criando um recurso PaaS na Azure

Regiões dos Servidores

Criando um recurso IaaS na Azure

Monitorando os custos e as despesas de seus recursos na Azure

Excluindo um grupo de Recursos na Azure

Engenharia de Cloud Básico

Banco de Dados, SGBDs, SQL vs NoSQL

Instalando o PostgreSQL

Criando Database e Schema no PostgreSQL

CRUD com PostgreSQL - Criar, Ler, Atualizar e Deletar Dados

Introdução a Banco de Dados

Aula 1 - Introdução a Big Data, Abordagem histórica do EIS, BI, DW até o Data Lake

Aula 2 - 5Vs do Big Data

Aula 3 - Hadoop vs Spark

Introdução à Big Data

Aula 1- O que é o Databricks?

Aula 2 - O que faz um Engenheiro(a) de Dados?

Databricks e Engenharia de Dados

[Download] Jupyter Notebook com as Aulas de SQL

[Download] Dados para as aulas de SQL e PySpark

Aula 1 - SQL, Select, Where, Order e Join 

Aula 2 - Cálculos Básicos e Agregações

Aula 3 - Tratamento de dados duplicados

Aula 4 - Detecção de Anomalias

Aula 5 - Tratamento de dados com CASE

Aula 6 - Casting

Aula 7 - Tratamento de dados Ausentes

Aula 8 - Tratamento final de tabela

SQL para Engenharia de Dados

[Download] Jupyter Notebook com as Aulas de PySpark

Aula 1 - Carregamento de dados

Aula 2 - Select, Filter e Join 

Aula 3 - Cálculos Básicos e Agregações

Aula 4 - Tratamento de Dados Duplicados

Aula 5 - Casting

Aula 6 - Detecção de Anomalias

Aula 7 - Tratamento de dados condicional

Aula 8 - Preenchimento de dados ausentes

Aula 9 - Criando Dataframe Tratado

PySpark para Engenharia de Dados

Aula 1 - Conhecendo os nossos dados

Aula 2 - AWS vs Azure vs GCP

Aula 3 - Diagrama de Arquitetura

[Download] Arquitetura Azure PDF

Dados e Diagrama de Arquitetura

[Download] Dados para ambientes simulado

[Download] Todos os notebooks Oficiais apresentados em aulas * Importante!

[Download] Todos os dados oficiais do curso. * Importante !

[Download] Mapeamento de colunas para tratamento

Downloads Importantes

[Download] Arquivos para ambiente simulado

Aula 1 - Criando uma Base SQL na Azure

Aula 2 - Criando uma Base MySQL na Azure

Aula 3 - Criando uma Base NoSQL na Azure

Aula 4 - Criando o Databricks

Aula 5 - Criando o cofre de senhas

Aula 6 - Conectando Databricks com o Cofre de Senhas

Aula 7 - Criando o Job Cluster

Aula 8 - Carregando dados para Base SQL com PySpark (Rede, Key Vault e Databricks) 

Aula 9 - Carregando dados para MySQL com PySpark (Rede, Key Vault e Databricks) 

Aula 10 - Carregando dados para NoSQL com Python (Instalação de Library no Cluster)

Aula 11 - Criando Job de Carregamento D-1 para SQL

Aula 12  - Criando o Data Factory 

Aula 13 - Criando o Blob Storage

Aula 14 - Gestão de contas do Storage

Data Architecture e Ambiente Simulado

Aula 1 - Camada Landing

Aula 2 - Key Vault + ADF

Aula 3 - Conexão Data Factory com SQL Server

Aula 4 - Conexão Data Factory com MySQL

Aula 5 - Conexão Data Factory com NoSQL

Aula 6 - Conexão Data Factory com Blob Storage

Aula 7 -  Indisponibilidade de SQL adicionando redundância (Retry)

Aula 8 - Resultado - Indisponibilidade de SQL adicionando redundância (Retry)

Data Lake - Landing Zone

Aula 1 - Camada Raw Zone

Aula 2 - DBFS vs Storage

Aula 3 - Criando Database RAW

Aula 4 - Ponto de Atenção - Tabelas não gerenciadas pelo Databricks

Aula 5 - Subindo dados do SQL Server para a RAW via ADF

Aula 6 - Montando Container e Copiando Dados para o Blob Storage

Aula 7 - Organizando pastas e Notebooks

Aula 8 - Criando tabela no Databricks

Aula 9 - Serviço Vinculado Data Factory + Databricks

Aula 10 - Programando o JOB (Gatilho) no Data Factory

Aula 11 - Subindo dados do MySQL para a RAW via ADF

Aula 12 - Subindo dados do NoSQL para a RAW via Job

Aula 13 - Subindo dados do Abastecimento para a RAW via Batch no Azure Storage Explorer

Aula 14 - Montando Container Batch

Aula 15 - Criando Tabela Posição Estoque

Aula 16 - Criando Tabela Pedidos Loja

Aula 17 - Criando Tabela Vendas

Aula 18 - Criando Tabela Produtos Finais

Aula 19 - Criando Tabela Lojas

Aula 20 - Criando Tabela Dados Externos

Data Lake - Raw Zone

Aula 1 - Introdução Dev Zone

Aula 2 - Aumentando o limite de quotas

Aula 3 - Criação de Cluster Work

Aula 4 - Problemas de Quota Azure

Aula 5 - Montando container e database DEV

Aula 6 - Análise Posição Estoque RAW

Aula 7 - Casting de colunas Posição Estoque com PySpark RAW

Aula 8 - Renomeando e Organizando colunas Posição Estoque com PySpark RAW

Aula 9 - Removendo dados duplicados

Aula 10 - Particionando dados da Posição Estoque com PySpark

Aula 11 - Otimizando Posição de Estoque

Aula 12 - Resultado Final Posição Estoque

Aula 13 - Mapeamento Tabela Dados Externos para Work

Aula 14 - Tratamento Tabela Dados Externos para Work

Aula 15 - Alterando tabelas existentes para tabelas não gerenciáveis pelo Databricks

Aula 16 - Plano de Recuperação de Desastres - Restore de Tabelas

Aula 17 - Atualização das Tabelas D-1

Data Lake - Dev Zone

Aula 1 - Trusted Zone (Work)

Aula 2 - Importante ! Utilize o LIMIT 100 nas Querys para poupar custos no cluster durante o curso

Aula 3 - Salvando Tabelas no Work Zone

Aula 4 - Passando Job do Dev Para Work

Aula 5 - Criação do Purview

Aula 6 - Overview do Purview

Aula 7 - Mapeando dados do SQL com Purview

Aula 8 - Mapeando dados do MySQL com Purview

Aula 9 - Mapeando dados do Cosmos DB com Purview

Aula 10 - Criando Integration Runtime Auto hospedado

Aula 11 - Mapeando dados do Databricks com Purview

Aula 12 - Estabelecendo a Linhagem E Catalogando Dados com Purview

Aula 13 - Criação de Cluster Work - Análises

Aula 14 - Liberando acesso no Purview e no Databricks (Editado)

Data Lake - Trusted Zone (Work)

Aula 1 - Sensitive Zone

Aula 2 - Identificação de dados sensíveis

Aula 3 - Criando base sensitive

Aula 4 - Criando tabela de margem e custo de mercadoria vendida

Aula 5 - Ajuste do cluster para permissionamento

Aula 6 - Removendo Permissões No Databricks

Aula 7 - Ajuste de Collections para permissionamento no Purview

Aula 8 - Adicionando permissões para sensitive

Aula 9 - Cuidado com os dados pessoais

Data Lake - Sensitive Zone

Aula 1 - Refined Zone

Aula 2 - Criando base Refined

Aula 3 - Tratamento de dados para Refined

Aula 4 - Cluster Refined

Aula 5 - Atualizando Permissões e Grupos de Usuários no Databricks

Aula 6 - Atualizando esquemas e linhagem no Purview e Permissões de Usuário

Data Lake - Refined Zone

Aula 1 - Processo de Data Quality - Trabalhando com “Great Expectations” 

Data Quality

Aula 1 - Dw Zone

Aula 2 - Salvando em Bases Relacionais

Aula 3 - Conexão com o Power BI

Data Lake - DW Zone

Aula 1 - Monitoramento no Databricks, Azure Data Factory e Azure Purview

Monitoramento

Aula 1 - Considerações Finais

Considerações Finais

Engenharia de Dados e Big Data Lake Enterprise Com Databricks, Data Factory e Purview - Vá além do Data Lake, construindo um oceano de dados. Impulsione a sua carreira

Perguntas Frequentes

Comece na Hotmart gratuitamente

Poucos passos, muitas possibilidades