PRÉSENTATION DES PRODUITS DATASTAGE

Introduction

Historique de DataStage, positionnement du produit.
Présentation de la gamme IBM des produits d'intégration de données.

Les caractéristiques de DataStage Server

L'objectif : l'intégration de données.
Les fonctionnalités. La connectique.

Le module « Parallel Extender »

Parallélisation et partitionnement.
Les fonctions supplémentaires par rapport à la version « Server ».

L'architecture DataStage.

Les modules. Le référentiel « Repository ».
Le moteur.
Les protocoles et langages.

LES MODULES DE DATASTAGE SERVER

Module Administrator

Spécifier les paramètres serveur.
Gérer la sécurité.
Administrer les projets.

Module Manager

Exporter et importer les composants du projet.
Effectuer une analyse d'impact.
Créer et organiser les méta-données du projet.
Créer routines et Transform utilisateurs.

Module Director

Exécution des jobs.
Suivi de l'exécution des jobs.
Planification des jobs.
Génération de statistiques.

Module Designer

Modélisation des traitements. Sélection des sources, des cibles de données. Sélection des règles de transformation et de contrôles.
Modélisation des enchaînements.

DÉVELOPPER JOBS ET ROUTINES

Le stage OBDC

Utiliser le Stage ODBC pour :
Extraire des données source et charger des données cibles
Spécifier une jointure interne
Spécifier des agrégations
Créer une table cible à la volée

Le stage Aggregator

Utiliser le Stage Aggregator pour agréger les données.

Le Stage Sequential File

Utiliser le Stage Sequential File pour extraire des données sources et charger des données cibles d'un fichier plat.

Le Stage Hash File

Utiliser le Stage Hash File pour : Créer et charger des fichiers hash-codés Dédoublonner des données Les algorithmes de hashage.

Le Stage Transformer

Utiliser le Stage Transformer pour : Appliquer des fonctions de transformation sur les données sources Utiliser un Lookup avec des fichiers hash-codés Utiliser des contraintes afin d'aiguiller les données vers les liens cibles Utiliser les variables systèmes Utiliser l'éditeur d'expression Utiliser les opérateurs & fonctions DataStage Basic

Les Routines et Transform

Savoir produire et utiliser les routines, les tranforms.
Les fonctions de contrôle.

Le stage SQL SERVER LOAD

Chargement en masse d'une base de données par un loader : exemple de SQL SERVER LOAD

Les « jobs sequence »

Ordonnancer l'exécution des job Server grâce au Job Sequencer.
Conditions, boucles.
Commandes externes, notifications par email.
Attentes, déclenchements.

Partitionnement des flux

Traiter des flux en parallèle avec les stages :
Link partitionner
Link Collector