Caractéristique du cours
Durée
14 heures
Niveau de compétence
Profils
Développeurs
Type de formation
Inter-entreprise
Niveau de parternariat
TALEND
VAR / GOLD
VAR / GOLD
Prix
1200 € HT
Hors frais de déplacement
La note moyenne attribuée par les participants
8,2/10
La note moyenne de satisfaction
Présentation
Prérequis
Objectifs
Détail
Prochaines dates de formation
Présentation
Ce cours vous apprend à évaluer la qualité des données dans le système d’information en fonction d’un ensemble de métriques et de seuils basés sur une série d’indicateurs, de modèles et de règles pour chaque élément de données à analyser ou monitorer.
Prérequis
Connaissances de base en réseaux et architectures des systèmes
Objectifs
- Objectifs pédagogiques
- Vous connecter à un duster Hadoop depuis un
- Job Talend
- Utiliser des variables de contextes et des métadonnées
- Lire et écrire des fichiers dans HDFS ou dans HBase, dans des lobs Big Data Batch ou Big Data Streaming
- Utiliser l’API Twitter avec les composants Talend Lire et écrire des messages dans un topic Kafka en temps réel
- Configurer un Job Big Data Batch pour utiliser le
- framework Spark ou Map Reduce
- Configurer un Job Big Data Streaming pour uti-
- liser le framework Spark Streaming
- Objectifs opérationnels
- Savoir utiliser VARN
- Connaître le fonctionnement de Spark
- Être opérationnel sur le traitement des logs
- Travail en autonomie
- Maîtriser le module
Détail
PLAN PÉDAGOGIQUE
Jour 1 – Matin de 9h30 à 12h30
- Analyse structurelle
- Création d’une connexion à une base de données
- Effectuer des analyses structurelles
- Analyser de colonne
- Effectuer une analyse de colonne de base
- Ajout d’expressions régulières
- Définir des seuils d’indicateurs
- Application de statistiques avancées
- Générer des emplois à partir d’une analyse
Jour 1 – Après-midi de 13h30 à 17h00
- Analyse de table
- Utiliser une analyse de jeu de colonnes
- Utilisation d’une analyse de règles métier
- Analyse croisée
- Utilisation de l’analyse de redondance
- Correspondance avancée
- Se préparer pour l’analyse du match
- Revoir le processus d’analyse des correspondances
Jour 2 – Matin de 9h30 à 12h30
- Effectuer une analyse de match
- Configuration de paramètres supplémentaires pour l’analyse de correspondance de table
- Utilisation d’un job d’intégration correspondant
- La confidentialité des données
- Mélanger les données pour plus de confidentialité
- Masquage des données pour la vie privée
Jour 2 – Après-midi de 13h30 à 17h00
- Portail des rapports et de la qualité des données
- Configuration de la base de données Data Quality
- Créer un rapport
- Création d’un rapport d’évolution
- Configuration du portail Data Quality
- Exécution de rapports sur le portail de qualité des données
Prochaines dates de formation
Pour connaître nos prochaines dates, merci de nous contacter au 01 86 95 71 60 ou à l’adresse formation@adbi.fr