Formation Mise en oeuvre des traitements de flux de données avec Storm

Les volumes de données à gérer ne cessent de croitre. Les flux de données suivent et amplifient naturellement cette évolution. Les applications et solutions à disposition des utilisateurs se doivent donc d’exploiter dans des délais toujours plus courts des masses d’informations toujours plus importantes pour gagner en efficacité et en pertinence. (Exemple : sur une page web, l’affichage d’informations directement liées aux actions sur le ou les sites consultés quelques secondes auparavant). Storm est une solution qui permet de gérer en temps réel des flux massifs de données et qui répond en cela efficacement aux nouvelles problématiques liées au Big Data. Les participants à cette formation très pratique apprendront à mettre en oeuvre la solution.

PROGRAMME DE FORMATION

 

Introduction

  • Présentation de Storm : fonctionnalités, architecture, langages supportés
  • Définitions : spout, bolt, topology

Architecture

  • Étude des composants d’un cluster Storm : master node « nimbus » et worker nodes
  • Positionnement par rapport à un cluster Hadoop
  • Le modèle de données
  • Différents types de flux

Premiers pas

  • Configuration d’un environnement de développement
  • Installation d’un cluster Storm
  • Travaux pratiques sur le projet storm-starter

Flux de données

  • Définition du nombre de flux dans un noeud, création de topologies regroupant des flux entre différents noeuds,
  • Communication entre flux en JSON, lecture de flux d’origines diverses (JMS, Kafka, …)

Haute disponibilité

  • Tolérance aux pannes : principe de fiabilisation des master node, workers node, nimbus
  • Garantie de traitement des flux : principe, paramètres
  • TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS
  • Traitements temps réel avec Trident
  • Scalabilité : parallélisme dans un cluster storm, ajouts de noeuds, commande « storm rebalance »

Objectifs pédagogiques

  • Disposer des connaissances nécessaires pour configurer un environnement de développement
  • Savoir mettre en oeuvre Storm pour le traiter des flux de données
  • Comprendre comment traiter en temps réel des données stockées dans le Cloud

Participants

  • Chefs de projet, data scientists, développeurs
  • Architectes de bases de données

Prérequis

  • Connaissance d’un langage de programmation comme Java ou Python
Les cours ont lieu de 9h à 12h30 et de 14h à 17h30
Les participants sont accueillis à partir de 8h45
 
Durée : 2 jours
Réf : MTFS
Prix  2020 : 1050 € H.T.
Pauses et déjeuners offerts

Cette formation vous intéresse

Notre équipe est à votre écoute pour étudier vos besoins en formation et vous proposer les meilleures solutions.
Contactez-nous pour fixer un rendez-vous ou décrivez-nous votre projet. Nous prendrons contact avec vous rapidement.