DATA MANAGEMENT – Talend Big Data Advanced

Talend fournit un environnement de développement qui permet une interaction avec de nombreuses sources et destinations Big Data sans avoir à apprendre et écrire du code compliqué.

Cette formation traite des Job Big Data Batch utilisant le framework MapReduce ou Spark. Elle couvre ensuite les Jobs Big Data Streaming utilisant le framework Spark Streaming.

• Objectifs pédagogiques
  • Vous connecter à un duster Hadoop depuis un Job Talend
  • Utiliser des variables de contextes et des métadonnées
  • Lire et écrire des fichiers dans HDFS ou dans HBase, dans des lobs Big Data Batch ou Big Data Streaming
  • Utiliser l’API Twitter avec les composants Talend Lire et écrire des messages dans un topic Kafka en temps réel
  • Lire et écrire des messages dans un topic Kafka en temps réel
  • Configurer un Job Big Data Batch pour utiliser le framework Spark ou Map Reduce
  • Configurer un Job Big Data Streaming pour utiliser le framework Spark Streaming 
• Objectifs opérationnels
  • Savoir utiliser VARN
  • Connaître le fonctionnement de Spark
  • Être opérationnel sur le traitement des logs
  • Travail en autonomie
  • Maîtriser le module

PLAN PÉDAGOGIQUE

• Big Data Advanced YARN (1 jour)
  • Cas d’utilisation de flux de dics
  • Configuration de l’environnement de développement
  • Chargement des données dans HDFS
  • Enrichissement des logs
  • Calcul de statistiques
  • Conversion d’un Job standard en Job Big Data Batch
  • Compréhension d’un Job Map Reduce
  • Utilisation du Studio pour configurer les demandes de ressources à YARN

• Cas d’utilisation d’analyse des sentiments
  • Chargement des données de dictionnaire et de fuseaux horaires
  • Chargement des tweets dans HDFS
  • Traitement des tweets avec Map Reduce
  • Planification des exécutions de Jobs
    
• Big Data Advanced Spark (1 jour) Introduction à Kafka
  • Présentation des bases de Kafka
  • Publication de messages dans un topic Kafka
  • Consommation de messages 

• Introduction à Spark
  • Présentation des bases de Spark
  • Analyse des données clients
  • Production et consommation des messages en temps réel
• Scénario de traitements des logs – Génération de logs enrichis
  • Introduction au scénario de traitements des logs
  • Génération de logs bruts
  • Génération de logs enrichis
  • Scénario de traitements des logs – Monitoring
    • Monitoring des logs enrichis

• • Scénario de traitement des logs – Reporting
    • Reporting d’informations utilisateurs
  • Scénario de traitements des logs – Analyse
    • Ingestions de flux de données
    • Analyse des logs avec un Job Batch
• Scénario de classification (facultatif)
  • Présentation de l’apprentissage automatique
  • Création d’un modèle de classification de SMS
  • Test du modèle de classification de SMS

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués

À la fin de la formation tous les participants recevront une attestation de formation.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Prochaines dates : 26, 27 et 28 Avril 2024 

Cette formation peut être organisée en intra. Pour ce faire, merci d’utiliser le formulaire de contact afin que nos équipes organisent avec vous une formation sur mesure selon vos disponibilités et vos besoins.

Inscrivez-vous au moins 10 jours avant le début du cours pour garantir votre place. Ce délai permet une préparation optimale et un accueil de qualité.

Merci de nous contacter au 01 86 95 71 60 ou à l’adresse formation@adbi.fr