DATA MANAGEMENT – TALEND BIG DATA

Talend fournit un environnement de développement qui permet une interaction avec de nombreuses sources et destinations Big Data sans avoir à apprendre et écrire du code compliqué.

Talend Big Data Basics présente les composants Talend embarqués avec différents produits et interagissant avec des systèmes Big Data.

• Objectifs pédagogiques
  • Créer des métadonnées de cluster manuellement à partir de fichiers de configuration.
  • ou automatiquement
  • Créer des métadonnées HDFS et Hive
  • Vous connecter à votre cluster pour utiliser
  • HDFS, HBase, Hive, Pig, Sqoop et Map Re-duce
  • Lire et écrire des données dans HDFS (HDFS,
  • HBase)
  • Lire et écrire des tables dans HDFS (Hive,
  • Sqoop 
  • Traiter des tables stockées dans HDFS avec Hive
  • Traiter des données stockées dans HDFS avec Pig
  • Traiter des données stockées dans HDFS avec des Jobs Big Data Batch (régression, ACP.)
• Objectifs opérationnels
  • Avoir acquis les connaissances de base
  • Lire et écrire des données dans HDFS
  • Savoir utiliser les tables et traiter les données
  • Travail en autonomie
  • Maîtriser le module

PLAN PEDAGOGIQUE 

Jour 1 – Matin de 9h30 à 12h30

• Connaissances de base
  • Ouverture d’un projet
  • Monitoring du duster Hadoop
  • Création d’une métadonnée de cluster
•  Lecture et écriture de données dans hofs
  • Stockage d’un fichier dans HDFS
  • Stockage de plusieurs fichiers dans HDFS
  • Lecture de données dans HDFS
  • Utilisation de HBase pour stocker des données creuses dans HDFS

Jour 1 – Après-midi de 13h30 à 17h00

• Utilisation des tables
  • Import de tables avec Sqoop 
  • Création de tables avec Hive
• Traitements des données et des tables HDFS
  • Traitement des tables Hive avec des Jobs 
  • Profiling de tables Hive
  • Traitement de données avec Pig
  • Traitement de données avec des Jobs Big Data Batch