Para quem é o curso de Big Data na Prática com o Apache Spark?
O curso é destinado a profissionais de TI que desejam desenvolver aplicações capazes de manipular volumes massivos de dados utilizando o Apache Spark.

O que será aprendido no curso de Big Data na Prática com o Apache Spark?
O curso ensinará técnicas avançadas para monitoramento e otimização de aplicações, além de treinar os alunos para desenvolverem aplicações capazes de manipular grandes volumes de dados utilizando o Apache Spark.

Quais são os pré-requisitos para fazer o curso de Big Data na Prática com o Apache Spark?
Os pré-requisitos para fazer o curso são saber programar em Python, ter noções de Linux e ser amante de dados.

Igor Uchôa

Big Data na Prática com o Apache Spark

Apresentação

Conceitos básicos - o que é big data

Conceitos básicos - Apache Spark

Conceitos básicos - Apache Spark vs Hadoop

Conceitos básicos - Aplicação em Spark

Teste seus conhecimentos

Introdução

Pré requisitos para a parte prática do curso

Parte 1 - Instalando e iniciando um cluster de Spark

Parte 2 - Interagindo com o cluster via Pyspark e Spark-shell

Parte 3 - Interagindo com o cluster via spark-submit

Parte 4 - Interagindo com o cluster via spark-sql

Parte 5 - Instalação e configuração do jupyter notebook

Parte 6 - Integrando o Jupyter com o cluster standalone

OPICIONAL - Script para iniciar e parar um cluster

Instalação e configuração do cluster

Nota introdutória - Notebooks do curso

Introdução as high-level APIs e Dataframes

Transformações em Dataframes - parte 1

Transformações em Dataframes - parte 2

Transformações em Dataframes - parte 3

Output dos Dataframes - parte 1

Output dos Dataframes - parte 2

Exercícios

High-level APIs

Introdução as Low-level APIs e RDDs

Transformações em RDDs - parte 1

Transformações em RDDs - parte 2

Output em RDDs

Distributed Shared Variables

Low-level APIs

Entendendo a Spark UI - parte 1

Entendendo a Spark UI - parte 2

Otimizando a aplicação - parte 1

Otimizando a aplicação - parte 2

Otimizando a aplicação - parte 3

Monitoramento e otimização de aplicações

Estruturando um projeto para produção

Apache Spark em produção

Vídeo de conclusão do curso

Conclusão

Big Data na Prática com o Apache Spark

Comece na Hotmart gratuitamente

Poucos passos, muitas possibilidades