Ce cours fait suite à ma première formation "Formation au deep learning avec Python (Keras / Tensorflow)" qui vous a permis de faire une initiation sur la prédiction des séries temporelles.

Pour aller plus loin, cette formation va vous permettre d'introduire des concepts d'attention utilisés pour réaliser différents modèles de prédiction. Vous allez découvrir en particulier le modèle DA-RNN. Nous utiliserons les librairies telles que Tensorflow, Keras, Pandas, Numpy, Scikit learn, ...

Les travaux sont accessibles et exploitables en ligne grâce à l'utilisation des carnets Jupyter avec Google Colab. Aucune installation de logiciel spécifique sur son ordinateur n'est requise car tout le travail se fait en ligne.

A chaque étape d'apprentissage de ce cours, de nouveaux concepts sont introduits. Des explications claires permettent de bien les comprendre à travers 6 thèmes d'étude :

• Quelques rappels sur les modèles basiques de prédictions de séries temporelles qui utilisent des couches récurrentes

• Comprendre et coder les concepts de base de l'attention dans les modèles basiques.

• Coder et mettre en œuvre le modèle End-to-End Memory Network

• Appliquer les modèles de type Séquence vers Séquence (Seq2Seq) à la prédiction de l'énergie produite par des panneaux photovoltaïques

• Comprendre et coder l'attention de Badhanau et de Luong aux modèles Séquence vers Séquence

• Comprendre et coder un modèle multivarié à attention spatio-temporelle : le modèle DA-RNN

Les activités en Python expliquent clairement comment les exploiter. D'une durée totale de 7h, ce cours vous permettra d'être à l'aise dans l'utilisation avancée de Keras et Tensorflow pour coder vos propres couches et modèles, à partir de classes héritées. Les thèmes d'étude s'appuient sur des documents issus de la recherche scientifique et proposent des concepts importants qui ont été développés ces dernières années.

=== Prérequis ===

Ce cours fait suite à ma première formation "Formation au deep learning avec Python (Keras / Tensorflow)".

Si vous avez déjà une expérience en Deep Learning, vous découvrirez certainement de nouveaux thèmes d'étude qui vous permettront d'élargir vos compétences.

== Aide en ligne ===

Quelque soit votre niveau, je suis disponible pour vous aider dans votre progression. Vous pourrez éventuellement rencontrer des difficultés en Mathématiques ou en programmation car il est bien évident que vous avez tous un bagage différent en fonction de votre parcours (études ou professionnel).

Dans ce sens, il ne faudra surtout pas hésiter à me poser vos questions et je m'engage à y répondre dans un délai raisonnable. Votre motivation est essentielle pour réussir cette formation.

=== Thèmes étudiés dans la formation ===

#1. Rappels sur les modèles basiques du deep learning utilisés pour la prédiction des séries temporelles

Quand on veut prédire ou juste analyser l’évolution d’une certaine quantité dans le temps, (le cours de la bourse par exemple) on est très vite confronté un type de données assez particulier : Les séries temporelles.

L’importance des séries temporelles vient de son omniprésence. En effet, dans presque tous les domaines on les retrouve. Que ce soit en finance, en marketing, en traitement du signal, en physiques, etc...

Nous reverrons rapidement dans cette première partie les résultats essentiels vus dans ma première formation sur le deep learning.

#2. Comprendre et coder les concepts de base de l'attention dans les modèles basiques

Dans sa forme la plus simple, telle que découverte et popularisée par Dzmitry Bahdanau, Kyunghyun Cho et Yoshua Bengio dès 2014, un mécanisme d’attention est défini comme étant un mini-réseau neuronal capable d’évaluer les proportions d’attention qu’il faut accorder à des éléments dans un ensemble ou une liste.

C'est ce concept d'attention qui a permis au domaine de traitement naturel du langage de faire un pas de géant dans les années 2015. Depuis, ce concept a été porté dans le domaine des modèles de prédiction des séries temporelles par différents chercheurs.

#3. Coder et mettre en œuvre le modèle End-to-End Memory Network

Un modèle de ce type est un modèle qui tente de modéliser le fonctionnement d'un cerveau animal. Ce type de model a été publié dans les documents de Sainbayar Sukhbaatar, Arthur Szlam, Jason Weston, Rob Fergus.

#4. Appliquer les modèles de type Séquence vers Séquence (Seq2Seq) à la prédiction de l'énergie produite par des panneaux photovoltaïques

Un modèle de type séquence vers séquence est un réseau de neurones récurrent qui convertit une séquence de données d'un domaine en entrée vers une nouvelle séquence de données dans un autre domaine en sortie.

Généralement, un modèle séquence à séquence est implémenté en utilisant deux réseaux de neurones récurrents, un premier réseau est un encodeur et le second est un décodeur. On parle aussi d'une architecture encodeur-décodeur. Dans ces modèles, l'entrée et la sortie ne sont pas nécessairement de la même longueur. Un bon exemple d'utilisation d'un modèle séquence à séquence est la traduction neuronale d'une phrase d'une langue d'origine vers une langue d'arrivée.

#5. Comprendre et coder l'attention de Badhanau et de Luong aux modèles Séquence vers Séquence

Ces deux attentions sont utilisées dans les modèles séquence vers séquence. Ce sont les deux principales méthodes qui introduisent le concept d'attention, très largement utilisé dans le domaine du traitement naturel du langage, de la vision artificielle, de la prédiction des séries temporelles ...

Ces deux méthodes sont très importantes ar ce sont sur elles que reposent les modèles de prédictions de séries temporelles à attentions spatio-temporelles les plus avancés de ces dernières années.

#6. Comprendre et coder un modèle multivarié à attention spatio-temporelle : le modèle DA-RNN

Le modèle DA-RNN est un modèle de référence dans le domaine. Très souvent, les modèles issus des recherches scientifiques actuelles comparent leurs résultats à ceux obtenus avec le modèle DA-RNN.

Il est donc essentiel de bien comprendre ce modèle afin de pouvoir approfondir ses connaissances et évoluer vers des modèles plus performants par la suite.