Formation Hadoop, Cloudera pour développeurs

Initialement proposé par Google qui devait faire face à un volume croissant de données à analyser et fournir aux internautes des résultats de recherche pertinents, MapReduce , combiné à d’autres publications telles que Google File System et BigTables, est à l’origine de Hadoop. Confronté à des problèmes similaires à ceux rencontrés par la firme de Mountain View, Doug Cutting, alors chez Yahoo !, lance au milieu des années 2000, sous forme de projet de la fondation Apache, le Framework Hadoop. Devant le succès rencontré par sa solution, il rejoint Cloudera qui propose alors sa propre distribution d’Hadoop, la plus utilisée à ce jour. Outre un support sur le produit, la société propose également une suite d’outils permettant des traitements temps réel de très gros volumes de données.

PROGRAMME DE FORMATION

 

1er partie

  • Les technologies Hadoop
  • Comment fonctionne « Hadoop Distributed File System » et « MapReduce »
  • Comment développer des applications « MapReduce »

2ème partie

  • Comment réaliser des tests unitaires d’applications MapReduce
  • Comment utiliser des combinateurs MapReduce, des partitionners et des caches distribués
  • Les meilleures pratiques pour développer et débugger des applications MapReduce

3ème partie

  • Comment mettre en oeuvre l’entrée et la sortie des données dans les applications MapReduce
  • Les algorithmes pour les principales tâches « MapReduce »
  • Comment relier des ensembles de données dans MapReduce
  • Comment Hadoop s’intègre dans le Data Center
  • Comment utiliser les algorithmes d’apprentissage automatique de Mahout
  • Comment Hive et Pig peuvent être utilisés pour développer rapidement des applications
  • Comment créer des workflows importants avec Oozie

Objectifs pédagogiques

  • Connaître Hadoop 2.0 et Hadoop Distributed File System
  • Comprendre comment mettre en oeuvre le nouveau Framework YARN dans Hadoop 2.0
  • Apprendre à programmer avec « MapReduce »
  • Savoir optimiser une tache MapReduce en suivant les meilleures pratiques
  • Être en mesure de créer des workflows avec Oozie
  • Comprendre comment créer et éxécuter des requêtes Hive sur des données HDFS
  • Créer des tâches MapReduce permettant d’analyser des données avec Pig
  • Savoir débugger des programmes « MapReduce » pour les fiabiliser

Participants

  • Cette formation s’adresse aux développeurs qui développeront, maintiendront et optimiseront des applications MapReduce pour Hadoop 2.0

Prérequis

  • Il est important d’avoir une expérience dans le développement, si possible Java
  •  Une compréhension des algorithmes est un plus
Les cours ont lieu de 9h à 12h30 et de 14h à 17h30
Les participants sont accueillis à partir de 8h45
 
Durée : 3 jours
Réf : FHCD
Prix  2020 : 1600 € H.T.
Pauses et déjeuners offerts

Cette formation vous intéresse

Notre équipe est à votre écoute pour étudier vos besoins en formation et vous proposer les meilleures solutions.
Contactez-nous pour fixer un rendez-vous ou décrivez-nous votre projet. Nous prendrons contact avec vous rapidement.