No curso será apresentado de maneira prática a utilização do Spark com a utilização da linguagem R. Serão apresentados todas as funções disponíveis no Spark para processamento de big data e com isso conseguir extrair informações de grandes volumes de dados. Para isso serão utilizados datasets reais, como o do ENEM que possui dados de todos os participantes que fizeram a prova. Nesse dataset estão os dados sociais e econômicos de todos os alunos que realizaram a prova, totalizando mais de 5 milhões de alunos.

Além de gerar informações através das análises com o Spark no curso também será apresentado como mostrar essas informações com a utilização de gráficos. Para isso serão utilizadas diversas bibliotecas que permitem essa geração de gráficos, como a ggplot.

Por fim, será apresentado como realizar a criação e configuração de uma máquina virtual na Azure para executar o Spark. Com isso caso você tenha uma limitação de hardware no seu computador pessoal você poderá realizar essa execução na Azure e pagar somente pelo período de uso.

Segue alguns tópicos que serão abordados ao longo do curso:

• Leitura de arquivos;

• Filter - utilizada para filtrar os dados;

• Mutate - utilizada para realizar cálculos;

• summarise - utilizada para realizar cálculos a partir de agrupamentos;

• arrange - utilizada para ordenar os dados;

• select - utilizada para selecionar as colunas de dados;

• inner join - utilizada para unir dados que estão em tabelas diferentes;

• plotar gráficos - será apresentada uma biblioteca do R que auxilia na tarefa de plotar gráficos;

• exportar arquivos - como exportar as análises em arquivos csv e Excel;

• criar uma máquina virtual na Azure para executar o Spark.