Spark avec Scala - Pratique avec le Big Data pour Débutants

Rating 4.35 out of 5 (192 ratings in Udemy)

What you'll learn

Préparer un environnement de travail en créant une machine virtuelle avec les installations et les configurations.
Apprendre le langage de programmation Scala.
Se familiariser et comprendre le fonctionnement des RDDs avec des cas pratiques sous Spark Shell.
Découvrir les fonctions de transformation, d’action et comprendre le DAG.
Vous allez utiliser le Spark SQL avec les Dataframes en partant des entrées et produire des …

Rating 4.35 out of 5 (192 ratings in Udemy)

What you'll learn

Préparer un environnement de travail en créant une machine virtuelle avec les installations et les configurations.
Apprendre le langage de programmation Scala.
Se familiariser et comprendre le fonctionnement des RDDs avec des cas pratiques sous Spark Shell.
Découvrir les fonctions de transformation, d’action et comprendre le DAG.
Vous allez utiliser le Spark SQL avec les Dataframes en partant des entrées et produire des sorties dans chacun des formats Json, Parquet et csv.
Toujours avec les Dataframes vous allez apprendre à connecter Apache Spark avec une Base données postgreSQL que vous allez mettre en place avec une vidéo bien détaillée (aucun prérequis n'est nécessaire).
Créer les User-Defined Functions appelée aussi les fonctions UDF et des DataSets avec Spark Shell.
Effectuer des traitements avec le composant Spark Streaming afin de traiter des données en temps réel que vous allez générer vous-même.

Description

Sans aucun doute Apache Spark est le framework open source qui a montré sa réussite auprès de plusieurs géant de l’informatique et de l’industrie. Apache Spark nous permet d’analyser et traiter des données massives structurées, semi structurées et non structurées.

Apache Spark fonctionne avec de la programmation distribuée et en mémoire (in-memory) afin d’accélérer les traitements et en s’appuyant sur plusieurs machines d’un réseau ( Cluster ).

Dans cette formation vous aurez besoin uniquement d’un PC connecté à internet. Vous allez apprendre à mettre en place un environnement local avec une machine Virtuelle Linux (VM), télécharger Spark, télécharger Scala et la configuration de Spark en utilisant Scala.

Vous allez vous familiariser avec les principes fondamentaux de Spark en utilisant le langage Scala. Apache Spark est écrit en Scala. Il fonctionne en Java virtuel machines (JVM). Vous aurez une mise à niveau en douceur avec le langage de programmation Scala avec une initiation à la programmation fonctionnelle.

Manipuler un RDD (le cœur moteur de Apache Spark) avec des collections de données sera un jeux d’enfant.

Vous allez découvrir dans la partie Spark SQL les DataFrame à partir :

d’une collection de données,
des fichiers en entrée tel que csv, Json, Parquet
de base de données PostgreSQL

Surement vous avez entendu parler des traitements des données qui arrivent en temps réel, sous le nom Streaming. Une Partie de cette formation bien détaillée vous attend afin que vous puissiez monter en compétence rapidement avec Spark Streaming avec des cas pratiques.

Duration 8 Hours 58 Minutes

Paid

Self paced

Beginner Level

French (France)

1043

Rating 4.35 out of 5 (192 ratings in Udemy)

Go to the Course
We have partnered with providers to bring you collection of courses, When you buy through links on our site, we may earn an affiliate commission from provider.