TalendOpenStudio DI UG 50b FR

Talend Open Studio
for Data Integration Guide utilisateur
5.0_b
Talend Open Studio
Talend Open Studio: Guide utilisateur

Convient pour lutilisation de Talend Open Studio for Data Integration v5.0.x. Annule et remplace toute version antrieure du Guide utilisateur.
Copyleft
Cette documentation est mise disposition selon les termes du Contrat Public Creative Commons (CPCC). Pour plus dinformations concernant votre utilisation de cette documentation en accord avec le Contrat CPCC, consultez : http:// creativecommons.org/licenses/by-nc-sa/2.0/
Notices
Tous les noms de marques, de produits, les noms de socits, les marques de commerce et de service sont la proprit de leurs dtenteurs respectifs.
Table des matires

Prface ............................................. ix
1. Informations gnrales ............... ix 1.1. Objectif .......................... ix 1.2. Public vis ...................... ix 1.3. Conventions typographiques ................................ ix 2. Historique des versions .............. ix 3. Remarques et Support ................ x
chapitre 1. Intgration de donnes et Studio Talend ...................... 1

1.1. Intgration dcisionnelle avec Talend Open Studio for Data Integration .......................................... 2 1.2. Intgration oprationnelle avec Talend Open Studio for Data Integration .................................... 2 1.3. Monitoring de lexcution .......... 3
chapitre 2. Prsentation du Studio Talend ........................................ 5

2.1. Concepts importants dans Talend Open Studio for Data Integration .......................................... 6 2.2. Lancement de Talend Open Studio for Data Integration .............. 7 2.2.1. Lancer le Studio pour la premire fois ....................... 7 2.2.2. Configurer un projet ....... 11 2.3. Travailler avec diffrents rpertoires workspace ..................... 11 2.3.1. Crer un nouveau rpertoire workspace ................. 12 2.4. Travailler avec les projets ........ 12 2.4.1. Crer un projet .............. 13 2.4.2. Importer le projet Dmo ...................................... 15 2.4.3. Importer un projet .......... 16 2.4.4. Ouvrir un projet ............ 18 2.4.5. Supprimer un projet ........ 19 2.4.6. Exporter un projet .......... 19 2.4.7. Tches de migration ....... 20 2.5. Configuration des prfrences de Talend Open Studio for Data Integration ........................... 21 2.5.1. Interprteur Java ............ 21 2.5.2. Composants externes ou utilisateur ........................ 22 2.5.3. Prfrence Exchange ...... 23 2.5.4. Prfrences de langue..... 23 2.5.5. Prfrences dexcution et de dbogage ...... 24 2.5.6. Prfrences du Designer .................................... 25 2.5.7. Ajouter du code par dfaut ..................................... 26
2.5.8. Prfrences de Performance ................................. 27 2.5.9. Prfrences de la documentation ............................. 28 2.5.10. Afficher des caractres spciaux dans les colonnes de schmas ................. 28 2.5.11. Prfrences du SQL Builder ................................ 29 2.5.12. Prfrences des schmas ..................................... 29 2.5.13. Prfrences des bibliothques ........................... 30 2.5.14. Prfrences des conversions de type ................ 31 2.5.15. Prfrences du collecteur de donnes d'utilisation..... 32 2.6. Personnalisation des paramtres du projet .......................... 33 2.6.1. Personnaliser la Palette ........................................... 34 2.6.2. Grer les versions .......... 36 2.6.3. Grer les statuts ............ 37 2.6.4. Personnaliser les paramtres du Job ....................... 38 2.6.5. Configurer les informations de logs ......................... 39 2.6.6. Dfinir les paramtres de contexte ........................... 40 2.6.7. Appliquer les paramtres du projet .................... 41 2.6.8. Dfinir les paramtres des Statuts ............................ 42 2.6.9. Paramtres de scurit ........................................... 44
chapitre 3. Conception dun Business Model ................................... 45

3.1. Objectifs ............................... 3.2. Cration ou ouverture dun Business Model ............................ 3.2.1. Ouvrir un Business Model ................................. 3.2.2. Crer un Business Model ...................................... 3.3. Modlisation dun Business Model ......................................... 3.3.1. Formes (Shapes) ............ 3.3.2. Connexions .................. 3.3.3. Commenter et rarranger un Business Model ............ 3.3.4. Proprits .................... 3.4. Affectation dlments du Repository un Business Model ................................................... 3.5. Modification dun Business Model ......................................... 46 46 47 47 48 49 50 51 53
55 56
Guide Utilisateur de Talend Open Studio for Data Integration
Talend Open Studio
3.5.1. Renommer un Business Model ................................. 3.5.2. Copier et coller un Business Model ........................ 3.5.3. Dplacer un Business Model ................................. 3.5.4. Supprimer un Business Model ................................. 3.6. Enregistrement dun Business Model ..................................
56 56 56 56 57
chapitre 4. Conception dun Job dintgration de donnes ............... 59

4.1. Objectifs ............................... 60 4.2. Utilisation dun Job Design simple ......................................... 60 4.2.1. Crer un Job ................. 60 4.2.2. Dposer des composants dans l'espace de modlisation graphique .................... 63 4.2.3. Chercher des composants dans la Palette ............... 65 4.2.4. Connecter des composants ................................... 66 4.2.5. Cliquer et dposer des composants au milieu dune connexion de type Row ........... 66 4.2.6. Dfinir les proprits dun composant ..................... 68 4.2.7. Excuter un Job ............ 74 4.2.8. Personnaliser lespace de travail ............................. 80 4.3. Utilisation des connexions ........ 85 4.3.1. Types de connexions ...... 85 4.3.2. Dfinir les paramtres des connexions ...................... 89 4.4. Utilisation du Metadata Manager .......................................... 91 4.4.1. Centraliser les mtadonnes ............................... 92 4.4.2. Centraliser les Contextes et les Variables ........ 92 4.4.3. Utiliser les SQL Templates ................................. 103 4.5. Gestion des Jobs : Utilisation avance ..................................... 104 4.5.1. Mapper des flux de donnes .............................. 104 4.5.2. Crer une requte laide de SQLBuilder ............ 104 4.5.3. Tlcharger/charger des composants de la communaut ................................. 108 4.5.4. Installer des modules externes ............................. 115 4.5.5. Lancer un Job priodiquement ............................. 116
4.5.6. Utiliser les composants tPrejob et tPostjob ................ 4.5.7. Utiliser la fonctionnalit Use Output Stream ............ 4.6. Gestion des Jobs : Autres fonctions ................................... 4.6.1. Partager une connexion une base de donnes ........... 4.6.2. Configurer un composant Start ............................ 4.6.3. Grer les icnes davertissement/derreur sur les composants .................... 4.6.4. Ajouter une Note au Job .................................... 4.6.5. Afficher les onglets Code ou Outline de votre Job ......................................... 4.6.6. Grer laffichage dun sous-job ............................. 4.6.7. Paramtrage des options dans la vue Job ............. 4.6.8. Chercher un Job utilisant un composant particulier ......................................... 4.6.9. Configurer les valeurs par dfaut dans le schma d'un composant ....................
118 119 119 120 121
121 123
124 125 127
129
130
chapitre 5. Gestion des Jobs dintgration de donnes ............. 133

5.1. Activation/Dsactivation dun Job ou dun sous-job ........... 134 5.1.1. Dsactiver un composant de dbut (Start) .............. 134 5.1.2. Dsactiver un composant intermdiaire ................. 134 5.2. Import/export dlments ou de Jobs ..................................... 135 5.2.1. Import dlments ........ 135 5.2.2. Export de Jobs vers une archive ............................... 137 5.2.3. Export dlments ........ 149 5.2.4. Changer les paramtres de contexte dun Job script ..... 151 5.3. Gestion des lments du Repository ..................................... 152 5.3.1. Grer les mises jour des lments du Repository .... 152 5.4. Recherche dun Job dans le rfrentiel .................................. 155 5.5. Gestion des versions dun Job ........................................... 156 5.6. Documentation du Job .......... 157 5.6.1. Gnrer la documentation HTML ......................... 157 5.6.2. Mettre la documentation jour .......................... 158
iv
Talend Open Studio
5.7. Gestion de lexcution des Jobs .......................................... 158 5.7.1. Dploiement dun Job sur un serveur SpagoBI ......... 158
chapitre 6. Mapping de flux de donnes ......................................... 163

6.1. Interface du tMap et du tXMLMap ................................. 164 6.2. Prsentation du fonctionnement du tMap ............................ 165 6.2.1. Configuration du flux dentre dans le Map Editor.... 166 6.2.2. Mapping de variables.... 174 6.2.3. Utilisation de lExpression editor ............... 175 6.2.4. Paramtres Output ........ 179 6.2.5. Configuration des schmas dans le Map Editor ......... 185 6.2.6. Rsolution des problmes de mmoire lors de lutilisation du tMap ............. 188 6.2.7. Gestion des rfrences ......................................... 191 6.3. Prsentation du fonctionnement du tXMLMap .................... 192 6.3.1. Utiliser le type Document pour crer l'arborescence XML .............. 193 6.3.2. Dfinir le mode de sortie ..................................... 203 6.3.3. Utiliser le Tree schema editor ................................. 207
chapitre 7. Gestion des mtadonnes ................................................ 209

7.1. Objectifs .............................. 210 7.2. Configurer une connexion DB ............................................ 211 7.2.1. Etape 1 : Proprits gnrales ............................... 211 7.2.2. Etape 2 : Connexion ..... 211 7.2.3. Etape 3 : Chargement de la table .......................... 213 7.2.4. Etape 4 : Dfinition du schma .............................. 216 7.3. Configurer une connexion JDBC ........................................ 217 7.3.1. Etape 1 : Proprits gnrales ............................... 217 7.3.2. Etape 2 : Connexion ..... 217 7.3.3. Etape 3 : Chargement de la table .......................... 219 7.3.4. Etape 4 : Dfinition du schma .............................. 219 7.4. Configurer une connexion SAS .......................................... 220 7.4.1. Conditions pralables .... 220
7.4.2. Etape 1 : Proprits gnrales ............................... 220 7.4.3. Etape 2 : Connexion ..... 220 7.5. Configurer un schma File Delimited ................................... 222 7.5.1. Etape 1 : Proprits gnrales ............................... 223 7.5.2. Etape 2 : Chargement du fichier ........................... 223 7.5.3. Etape 3 : Dfinition du schma .............................. 224 7.5.4. Etape 4 : Schma final ......................................... 225 7.6. Configurer un schma File Positional .................................. 226 7.6.1. Etape 1 : Proprits gnrales ............................... 227 7.6.2. Etape 2 : Connexion et chargement du fichier ........... 227 7.6.3. Etape 3 : Affinage du schma .............................. 228 7.6.4. Etape 4 : Schma final ......................................... 228 7.7. Configurer un schma File Regex ........................................ 229 7.7.1. tape 1 : Proprits gnrales ............................... 229 7.7.2. tape 2 : Chargement du fichier ........................... 229 7.7.3. tape 3 : Dfinition du schma .............................. 230 7.7.4. tape 4 : Schma final ......................................... 230 7.8. Configurer un Schma File XML ..................................... 230 7.8.1. Configurer un schma XML pour un fichier dentre (Input) ............................... 231 7.8.2. Configurer un schma XML pour un fichier de sortie (Output) ......................... 238 7.9. Configurer un schma File Excel ......................................... 247 7.9.1. tape 1 : Proprits gnrales ............................... 248 7.9.2. tape 2 : Chargement du fichier ........................... 248 7.9.3. tape 3 : Affinage du schma .............................. 249 7.9.4. tape 4 : Schma final ......................................... 250 7.10. Configurer un schma File LDIF ........................................ 251 7.10.1. tape 1 : Proprits gnrales ............................ 251 7.10.2. tape 2 : Chargement du fichier ........................... 251
Talend Open Studio
7.10.3. tape 3 : Dfinition du schma .......................... 252 7.10.4. tape 4 : Schma final ......................................... 253 7.11. Configurer un schma LDAP ....................................... 253 7.11.1. tape 1 : Proprits gnrales ............................ 254 7.11.2. tape 2 : Connexion au serveur .......................... 254 7.11.3. tape 3 : Authentification et acquisition du DN.... 254 7.11.4. tape 4 : Dfinition du schma .......................... 256 7.11.5. tape 5 : Schma final ......................................... 257 7.12. Configurer un schma Salesforce ..................................... 257 7.12.1. tape 1 : Proprits gnrales ............................ 258 7.12.2. tape 2 : Connexion au compte Salesforce ............ 258 7.12.3. tape 3 : Rcuprer les modules Salesforce .......... 258 7.12.4. tape 4 : Rcuprer les schmas Salesforce .......... 260 7.12.5. tape 5 : Schma final ......................................... 261 7.13. Configurer un schma gnrique ......................................... 262 7.13.1. Etape 1 : Proprits gnrales ............................ 262 7.13.2. Etape 2 : Dfinition du schma .......................... 262 7.14. Configurer une connexion MDM ........................................ 263 7.14.1. tape 1 : Dfinir la connexion ........................... 263 7.14.2. tape 2 : Dfinir un schma MDM ..................... 265 7.15. Configurer un schma Web Service ...................................... 279 7.15.1. Configurer un schma simple ................................ 279 7.16. Configurer une connexion FTP .......................................... 282 7.16.1. tape 1 : Proprits gnrales ............................ 282 7.16.2. tape 2 : Connexion.... 283 7.17. Exporter une mtadonne en tant que contexte .................... 285
8.4. Gestion des routines personnalises ..................................... 8.4.1. Crer des routines personnalises ......................... 8.4.2. diter des routines ....... 8.4.3. diter les bibliothques des routines utilisateur ........... 8.5. Appel dune routine partir dun Job ................................... 8.6. Cas dutilisation : crer un fichier la date du jour ................. 9.1. Quest-ce que lELT ? ........... 9.2. Dfinition des SQL Templates Talend ............................. 9.3. Grer les SQL Templates Talend .......................................... 9.3.1. Les types de SQL Templates systme ..................... 9.3.2. Accder aux SQL Templates systme ............... 9.3.3. Crer des SQL Templates personnaliss .............. 9.3.4. Exemple dutilisation des SQL Templates systme .........................................
290 290 292 292 294 294 298 298 299 299 300 302
chapitre 9. SQL Templates ......... 297
303
annexe A. Interface de Talend Open Studio for Data Integration ........................................................ 309
A.1. Fentre principale .................. A.2. Barre doutils et Menus ........... A.2.1. Barre de menu de Talend Open Studio for Data Integration ............................ A.2.2. Barre doutils de Talend Open Studio for Data Integration ............................ A.3. Repository ........................... A.4. Espace de modlisation graphique ....................................... A.5. Onglets de configuration ......... A.6. Panneau des onglets outline et code .......................................... A.7. Raccourcis clavier ................. 310 311
311
313 313 315 316 318 318
annexe B. De la thorie la pratique, exemple de Job .................. 321

B.1. Exemple de Job comprenant un tMap ..................................... B.1.1. Prsentation du scnario ..................................... B.1.2. Du scnario au Job ....... B.2. Utilisation de la fonctionnalit Output Stream ............................. B.2.1. Prsentation du scnario ..................................... B.2.2. Cration du Job ........... 322 322 323 330 330 331
chapitre 8. Gestion des routines ........................................................ 287

8.1. Dfinition des routines ........... 288 8.2. Accs aux routines systme..... 288 8.3. Personnalisation des routines systme ..................................... 289
vi
Talend Open Studio
annexe C. Rgles dcriture des SQL Templates ............................ 339

C.1. Instructions SQL ................... 340 C.2. Lignes de commentaire ........... 340 C.3. La syntaxe <%...%> ............. 340 C.4. La syntaxe <%=...%> ........... 341 C.5. La syntaxe </.../> ............. 341 C.6. Le code pour accder aux lments du schma des composants.... 342 C.7. Le code pour accder aux proprits de la matrice du composant ................................................. 343
D.6.2. Exemple de trimming dune chane ....................... 356 D.6.3. Exemple de dsaccentuation dune chane ............. 356
annexe D. Routines systme ........ 345

D.1. Routines de type Numeric ....... 346 D.1.1. Exemple de cration squentielle ......................... 346 D.1.2. Exemple de conversion dcimale implicite .......... 346 D.2. Routines de type Relational ...... 347 D.3. Routines de type StringHandling ........................................... 347 D.3.1. Exemple de vrification de tri alphabtique .......... 348 D.3.2. Exemple de vrification de type alphabtique ....... 349 D.3.3. Exemple de remplacement de chane .................... 349 D.3.4. Exemple de vrification de chane ...................... 349 D.3.5. Exemple de calcul de longueur de chane ............... 349 D.3.6. Exemple de nettoyage despaces inutiles ................. 350 D.4. Routines de type TalendDataGenerator ................................... 350 D.4.1. Exemple de gnration de donnes factices ............... 351 D.5. Routines de type TalendDate.... 351 D.5.1. Exemple de formatage dune Date .......................... 353 D.5.2. Exemple de vrification dune Date .................... 353 D.5.3. Exemple de comparaison de Dates ....................... 353 D.5.4. Exemple de configuration de Date ........................ 353 D.5.5. Exemple de parsage de Date .................................. 354 D.5.6. Exemple de rcupration dune partie dune Date... 354 D.5.7. Exemple de formatage de la Date courante ............... 355 D.6. Routines de type TalendString ................................................. 355 D.6.1. Exemple de formatage XML dune chane ............... 356
vii
Prface
1. Informations gnrales
1.1. Objectif
Le prsent Guide utilisateur explique comment utiliser les fonctions de Talend Open Studio for Data Integration dans un contexte oprationnel normal. Les informations contenues dans ce document sappliquent aux versions 5.0.x de Talend Open Studio for Data Integration.
1.2. Public vis

Ce guide sadresse aux utilisateurs et aux administrateurs de Talend Open Studio for Data Integration. Dans ce document, linterface prsente par le biais des captures dcran peut tre lgrement diffrente de la vtre.
1.3. Conventions typographiques

Ce guide utilise les conventions typographiques suivantes : texte en gras : boutons et champs dune fentre ou dune bote de dialogue, touches du clavier, menus et options des menus ; texte en [gras]: titre des fentres, assistants et botes de dialogue ; texte en courier : paramtres systme renseigns par lutilisateur ; texte en italique : nom des fichiers, schmas, colonnes, lignes ou variables dont il est question dans les exemples utiliss. Licne introduit un paragraphe apportant une information supplmentaire sur un point important. Elle introduit galement les commentaires relatifs un tableau ou une image. Licne introduit un message apportant une information relative aux modalits dexcution, ou des recommandations particulires. Elle est galement utilise pour attirer lattention de lutilisateur sur certaines informations ou situations particulirement importantes.
2. Historique des versions

Le tableau ci-dessous liste les modifications apportes au Guide utilisateur de Talend Open Studio for Data Integration.
Remarques et Support
Version v4.2_a
Date 19/05/2011
Historique Les mises jour du Guide utilisateur Talend Open Studio for Data Integration comprennent : - mise jour de la variable Copyright dans la couverture ; - mise jour du chapitre : Mapping de flux de donnes ; - mise jour de lannexe Routines systme ; - mise jour du chapitre : Gestion des mtadonnes ; - mise jour du chapitre : Conception dun Job dintgration de donnes ; - mise jour du chapitre : Gestion des Jobs dintgration de donnes.
v4.2_b
12/07/2011
Nouvelle gnration du Guide utilisateur Talend Open Studio for Data Integration. Les mises jour du Guide utilisateur Talend Open Studio for Data Integration comprennent : - la mise jour de la documentation pour reflter les nouveaux noms de produits : - Talend Open Studio devient Talend Open Studio for Data Integration, Pour plus d'informations sur ces changements, consultez le site Web de Talend. - la restructuration post-migration ; - la mise jour du chapitre Prsentation du Studio Talend ; - la mise jour du chapitre Conception dun Job dintgration de donnes ; - la mise jour du chapitre Mapping de flux de donnes ; - la mise jour du chapitre Gestion des mtadonnes ; - la mise jour de l'annexe De la thorie la pratique, exemple de Job.
v5.0_a
12/12/2011
v5.0b
13/02/2012
Les mises jour du Guide utilisateur Talend Open Studio for Data Integration comprennent : - L'ajout de mentions lgales.
3. Remarques et Support
Votre opinion nous intresse, nhsitez pas nous faire part de vos remarques, suggestions, requtes concernant la documentation ou le produit, et obtenez le support de notre quipe Talend, sur le Forum Talend (en anglais) disponible ladresse : http://talendforge.org/forum
Chapitre 1. Intgration de donnes et Studio Talend

Le fait que les systmes dinformation des entreprises deviennent de plus en plus complexes nest pas vraiment nouveau. Une premire raison cela tient au fait que les entreprises dploient gnralement de nouvelles applications tout en maintenant les anciennes solutions (empilage de couches). En outre les entreprises sont contraintes douvrir de plus en plus leur systmes dinformation leur fournisseurs, leurs partenaires et leurs clients. Enfin cette complexification sexplique aussi par la multiplication des formats de stockage de donnes (fichiers XML, plats positionnels, plats dlimits, multi-valus, etc.), des protocoles (FTP, HTTP, SOAP, SCP, etc.) et des technologies des bases de donnes. Une question ressort de ces trois constats : Comment russir son intgration de donnes lorsque ses donnes sont parpilles dans tous ces types de systmes dinformation ? Les fonctions qui se cachent derrire le principe dintgration de donnes sont varies : lintgration dcisionnelle (alimentation dentrepts de donnes) et lintgration oprationnelle (capture et migration de donnes, synchronisation de bases de donnes, changes inter-applicatifs, etc.). Talend Open Studio for Data Integration couvre tous ces besoins quil sagisse dintgration dcisionnelle ou oprationnelle.
Intgration dcisionnelle avec Talend Open Studio for Data Integration
1.1. Intgration dcisionnelle avec Talend Open Studio for Data Integration
Bien quils soient gnralement invisibles pour les utilisateurs de la plate-forme BI, les processus ETL reprennent les donnes de tous les systmes oprationnels et les pr-traitent pour les outils danalyse et de reporting.
Talend Open Studio for Data Integration offre une trs grande connectivit aux : Progiciels (ERP, CRM, etc.), bases de donnes, serveurs centraux, fichiers, Web Services, etc. pour couvrir la disparit grandissante des sources. Entrepts de donnes, magasins de donnes, applications OLAP (Online Analytical Processing) pour analyse, reporting, dashboarding, scorecarding, etc. Composants ETL avancs stocks localement, incluant des manipulations de chanes, Dimensions volution lente, traitement automatique des rfrences, support de charges en vrac, etc. La plupart des connecteurs dont il est question ci-dessus sont dtaills dans le Guide de Rfrence des Composants Talend Open Studio. Pour plus dinformations sur leur fonctionnement dans Talend Open Studio for Data Integration, consultez le Chapitre 7, Gestion des mtadonnes. Pour la modlisation de processus mtier, consultez le Chapitre 3, Conception dun Business Model .
1.2. Intgration oprationnelle avec Talend Open Studio for Data Integration
Lintgration oprationnelle de donnes est souvent utilise pour implmenter les programmes et routines habituels, complte en fonction des besoins spcifiques.
Les applications de chargement/migration de donnes et de synchronisation/rplication de donnes sont les plus rpandues en matire dintgration oprationnelle de donnes. Elles requirent : des mappings et transformations complexes avec fonctions dagrgation, calculs, etc. pour pallier les diffrences dans la structure des donnes.
Monitoring de lexcution
le traitement et la rsolution des conflits de donnes en tenant compte des mises jour des enregistrements ou des propritaires des enregistrements. la synchronisation de donnes en quasi temps rel tant donn que les systmes impliquent une latence lente. La plupart des connecteurs dont il est question ci-dessus sont dtaills dans le Guide de Rfrence des Composants Talend Open Studio. Pour plus dinformations sur leur fonctionnement dans Talend Open Studio for Data Integration, consultez le Chapitre 7, Gestion des mtadonnes. Pour la modlisation de processus mtier, consultez le Chapitre 3, Conception dun Business Model . Pour plus d'informations concernant un Job d'intgration de donnes utilisant la fonctionnalit Output Stream, consultez Section B.2, Utilisation de la fonctionnalit Output Stream .
1.3. Monitoring de lexcution

Un des plus grands challenges des dveloppeurs de processus dintgration et des responsables informatiques chargs de contrler leur excution, est de contrler et monitorer lexcution de ces processus mission critique. En effet, la gestion et la notification derreurs peuvent et devraient tre inclus dans lintgration de donnes. De plus, au del des notifications derreurs, il est aussi crucial de monitorer lintgrit des processus dintgration et de surveiller toute dgradation des performances. La console Activity Monitoring Console surveille lexcution du Job (succs, checs, avertissements, etc.), le temps dexcution et les volumes de donnes, tout ceci en une seule console,Talend Open Studio for Data Integration ou disponible en environnement indpendant. Pour plus dinformations concernant le fonctionnement de Activity Monitoring Console, consultez le Guide Utilisateur de lActivity Monitoring Console.
Chapitre 2. Prsentation du Studio Talend

Ce chapitre est une introduction Talend Open Studio for Data Integration. Il fournit des informations de configuration de base ncessaires au dmarrage de Talend Open Studio for Data Integration. Ce chapitre vous guide dans vos premiers pas dans la cration de projets en local la personnalisation des prfrences et de votre espace de travail dans Talend Open Studio for Data Integration. Avant de commencer un processus mtier, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez Annexe A, Interface de Talend Open Studio for Data Integration .
Concepts importants dans Talend Open Studio for Data Integration
2.1. Concepts importants dans Talend Open Studio for Data Integration
Lorsque vous travaillez avec Talend Open Studio for Data Integration, vous rencontrez les mots : rfrentiel, projet, rpertoire workspace, composant et lment. Il est important de comprendre lapplication de chacun de ses mots pour saisir le fonctionnement de Talend Open Studio for Data Integration. Quest-ce quun rfrentiel ? Un rfrentiel, repository en anglais, est un espace de stockage utilis par Talend Open Studio for Data Integration pour regrouper toutes les donnes lies aux lments techniques utiliss soit pour dcrire les Business Models, soit pour crer les Jobs. Quest-ce quun projet ? Un projet est un ensemble structur dlments techniques et de leurs mtadonnes associes. Ce qui signifie que tous les Jobs et Business Models que vous crez sont organiss en Projets. Vous pouvez crer autant de projets que vous le souhaitez dans un rfrentiel. Pour plus dinformations concernant les projets, consultez Section 2.2.2, Configurer un projet . Quest-ce quun rpertoire workspace ? Un rpertoire workspace est un rpertoire dans lequel sont stocks tous les dossiers de vos projets. Vous devez avoir un rpertoire workspace par connexion (connexion au rfrentiel). Talend Open Studio for Data Integration vous permet de vous connecter diffrents rpertoires workspace, si vous ne souhaitez pas utiliser celui crer par dfaut. Pour plus dinformations concernant le rpertoire workspace, consultez Section 2.3, Travailler avec diffrents rpertoires workspace . Quest-ce quun Job ? Un Job est un concept graphique, compos dun ou plusieurs composants relis entre eux. Il vous permet de mettre en place des processus oprationnels de gestion des flux. Il traduit des besoins mtier en code, routines et programmes. Les Jobs utilisent les diffrentes sources et cibles ncessaires aux processus dintgration de donnes ou tout autre processus li. Pour plus dinformations concernant la cration de processus dintgration de donnes dans Talend Open Studio for Data Integration, consultez le Chapitre 4, Conception dun Job dintgration de donnes. Quest-ce quun composant ? Un composant, component en anglais, est un connecteur pr-configur excutant une opration dintgration de donnes spcifique, quel que soit le type de donnes que vous souhaitez intgrer (bases de donnes, applications, fichiers plats, services Web, etc.). Un composant permet dviter le plus possible le codage manuel ncessaire au traitement des donnes provenant de sources multiples et htrognes. Les composants sont regroups dans des familles en fonction de leur utilisation et apparaissent dans la Palette de Talend Open Studio for Data Integration. Pour plus dinformations concernant les diffrents types de composants et leurs utilisations, consultez le Guide de Rfrence des Composants Talend Open Studio. Quest-ce quun lment ? Les lments, item en anglais, sont les units techniques constituant un projet. Ces lments sont regroups en fonction de leur type : Job Design, Business Model, Context, Code, Metadata, etc. Un lment peut comprendre plusieurs autres lments. Ainsi, les Business Models et les Jobs que vous crez sont des lments ; les mtadonnes et les contextes que vous utilisez dans les Jobs sont aussi des lments.
Lancement de Talend Open Studio for Data Integration
2.2. Lancement de Talend Open Studio for Data Integration

2.2.1. Lancer le Studio pour la premire fois
Pour ouvrir Talend Open Studio for Data Integration pour la premire fois, procdez comme suit : 1. Dzippez le fichier zip Talend Open Studio for Data Integration et, dans le dossier, double-cliquez sur le fichier excutable correspondant votre systme dexploitation. 2. Dans la bote de dialogue [Licence] qui apparat, lisez et acceptez les termes de la licence afin de passer ltape suivante. Une fentre de dmarrage s'affiche.
Cet cran apparat uniquement lorsque vous lancez Talend Open Studio for Data Integration pour la premire fois ou si tous les projets existants ont t supprims. 3. Cliquez sur le bouton Import afin d'importer le projet Dmo slectionn, ou saisissez un nom de projet dans le champ Create A New Project, puis cliquez sur le bouton Create pour crer le nouveau projet, ou sur le bouton Advanced... pour aller la fentre de login. Pour cette procdure, cliquez sur Advanced... pour accder la fentre de connexion. Pour plus d'informations sur les deux autres options, consultez Section 2.4.1, Crer un projet et Section 2.4.2, Importer le projet Dmo .
Lancer le Studio pour la premire fois
4. A partir de la de la fentre de connexion du Studio Cliquez sur... Crer... Pour... crer un nouveau project qui contiendra tous les Jobs et les Business models conus dans le Studio. Pour plus d'informations, consultez Section 2.4.1, Crer un projet Importer... importer tout projet stock Pour plus d'informations, consultez Section 2.4.3, Importer un projet Projet dmo importer un Projet dmo incluant de nombreux Jobs prts tre utiliss. Ce Projet dmo peut vous aider comprendre les fonctionnalits des diffrents composantsTalend. Pour plus d'informations, consultez Section 2.4.2, Importer le projet Dmo Open ouvrir le projet existant slectionn. Pour plus d'informations, consultez Section 2.4.4, Ouvrir un projet . Cette procdure ayant pour but de crer un nouveau projet , cliquez sur Crer pour ouvrir la bote de dialogue [Nouveau projet]. 5. Dans la bote de dialogue, saisissez un nom pour votre projet et cliquez sur Finish pour fermer la bote de dialogue. Le nom du nouveau projet s'affiche dans la liste Project.
6. Slectionnez le projet et cliquez sur Open. La page Connect to TalendForge apparat, vous invitant vous connecter la Communaut Talend afin que vous puissiez regarder, tlcharger et installer des composants externes, charger vos propres composants afin de les partager avec les autres utilisateurs de Talend, le tout directement partir de la vue Exchange de la cration de Job dans le Studio. Pour en apprendre plus sur la Communaut Talend, cliquez sur le lien en savoir plus. Pour plus d'informations sur l'utilisation et le partage des composants avec la Communaut, consultez Section 4.5.3, Tlcharger/charger des composants de la communaut . 7. Si vous souhaitez vous connecter la Communaut Talend ultrieurement, cliquez sur le bouton Skip pour continuer. 8. Si vous travaillez derrire un proxy, cliquez sur Proxy settings... et renseignez les champs Proxy Host et Proxy Port dans la bote de dialogue Network setting. 9. Par dfaut, le Studio collecte automatiquement les donnes d'utilisation et les envoie priodiquement aux serveurs hbergs par Talend, dans un but d'amlioration. Si vous ne souhaitez pas que le Studio effectue ces envois, dcochez la case I want to help to improve Talend by sharing anonymous usage statistics. Pour plus d'informations concernant le collecteur de donnes d'utilisation, consultez Section 2.5.15, Prfrences du collecteur de donnes d'utilisation . 10.Renseignez les informations requises, cochez la case I Agree to the TalendForge Terms of Use et cliquez sur Create Account afin de crer votre compte et de vous connecter automatiquement la Communaut Talend. Si vous avez dj un compte sur http://www.talendforge.org/, cliquez sur le lien or connect on existing account afin de vous connecter. Soyez assur quaucune information personnelle que vous communiquez Talend ne sera transmise des tiers ou utilise dautres fins que celles de vous connecter la Communaut ou de vous informer sur Talend des dernires mises jour de Talend.
Cette page n'apparat plus l'ouverture du Studio une fois que vous vous tes connect avec succs la Communaut Talend, ou si vous cliquez six fois d'affile sur le bouton Skip lorsque vous ouvrez le Studio. Dans ce cas, pour afficher de nouveau la page, ouvrez la bote de dialogue [Preferences], slectionnez Talend > Exchange puis cliquez sur Logon Exchange. Pour plus d'informations, consultez Section 2.5.3, Prfrence Exchange . Une barre de progression et une fentre de bienvenue s'ouvrent conscutivement. Dans cette page, des liens directs vers la documentation, les tutoriels, le forum Talend, Talend Exchange et les dernires nouvelles de Talend sont affichs. 11.Cliquez sur Start now afin douvrir la fentre principale de Talend Open Studio for Data Integration qui contient des astuces utiles pour les dbutants concernant le fonctionnement du Studio. Cliquer sur un lien soulign vous amne la vue ou l'onglet correspondant, ou ouvre la bote de dialogue relative. Pour plus dinformations concernant louverture dun projet , consultez Section 2.4.4, Ouvrir un projet .
10
Configurer un projet
2.2.2. Configurer un projet

Pour ouvrir Talend Open Studio for Data Integration, vous devez dabord configurer un projet . Pour configurer un projet dans le rfrentiel, vous pouvez : crer un nouveau projet. Pour plus dinformations, consultez Section 2.4.1, Crer un projet . importer un ou plusieurs projets que vous avez dj cr dans une autre instance de Talend Open Studio for Data Integration. Pour plus dinformations, consultez Section 2.4.3, Importer un projet . importer le projet Dmo. Pour plus dinformations, consultez Section 2.4.2, Importer le projet Dmo .
2.3. Travailler avec diffrents rpertoires workspace

Dans Talend Open Studio for Data Integration, vous pouvez crer plusieurs rpertoires workspace et vous connectez un workspace diffrent de celui auquel vous tes actuellement connect, si ncessaire. Cette flexibilit vous permet de stocker les rpertoires o vous le souhaitez et vous permet de nommer deux ou plusieurs projets de la mme manire, du moment que vous stockez les projets dans diffrents rpertoires.
11
Crer un nouveau rpertoire workspace
2.3.1. Crer un nouveau rpertoire workspace

Talend Open Studio for Data Integration est livr avec un rpertoire workspace par dfaut. Cependant, vous pouvez crer autant de rpertoires que vous le souhaitez et y stocker vos projets en fonction de vos prfrences. Pour crer un nouveau rpertoire workspace : 1. Dans la fentre de connexion au projet, cliquez sur Change pour ouvrir la bote de dialogue vous permettant de slectionner le rpertoire du nouveau workspace.
2. Dans la bote de dialogue, configurez le chemin daccs vers ce nouveau rpertoire workspace que vous souhaitez crer et cliquez sur OK pour fermer la vue. Dans la fentre de login, un message davertissement saffiche vous demandant de redmarrer le Studio. 3. Cliquez sur Restart pour redmarrer le Studio. 4. Dans la fentre de login rinitialise, configurez un projet pour ce nouveau rpertoire workspace. Pour plus dinformations, consultez Section 2.2.2, Configurer un projet . 5. Slectionnez le projet dans la liste Project et cliquez sur Open pour ouvrir Talend Open Studio for Data Integration. Tous les Business Models ou Jobs que vous crez dans linstance courante du Studio seront stocks dans le nouveau rpertoire workspace que vous venez de crer. Si vous souhaitez vous connecter l'un des workspaces que vous avez crs, rptez la procdure dcrite dans cette section.
2.4. Travailler avec les projets

Dans Talend Open Studio for Data Integration, le projet correspond au nud racine stockant les diffrents types de Jobs et Business Models dintgration de donnes, mtadonnes, routines, etc. A partir de la fentre de login de Talend Open Studio for Data Integration, vous pouvez : importer le projet Demo pour dcouvrir les fonctionnalits de Talend Open Studio for Data Integration grce des exemples de Jobs prts l'emploi. Lorsque vous importez le projet Demo, il est automatiquement install dans le workspace de votre instance courante du Studio. 12 Guide Utilisateur de Talend Open Studio for Data Integration
Crer un projet
Pour plus dinformations, consultez Section 2.4.2, Importer le projet Dmo . crer un projet local. Lorsque vous vous connectez Talend Open Studio for Data Integration pour la premire fois, aucun projet par dfaut napparat dans la liste. Vous devez crer un projet et louvrir dans le Studio pour stocker tous les Jobs et Business Models que vous crez. Lorsque vous crez un nouveau projet, une arborescence est automatiquement cre dans le rpertoire workspace du serveur de votre repository. Il correspond la vue Repository de la fentre principale de Talend Open Studio for Data Integration. Pour plus dinformations, consultez Section 2.4.1, Crer un projet . importer des projets que vous avez dj crs dans une version antrieure de Talend Open Studio for Data Integration vous pouvez limporter dans le workspace courant de Talend Open Studio for Data Integration Import... . Pour plus dinformations, consultez Section 2.4.3, Importer un projet . ouvrir un projet que vous avez cr ou import dans le Studio.. Pour plus dinformations concernant louverture dun projet , consultez Section 2.4.4, Ouvrir un projet . supprimer des projets locaux que vous avez dj crs ou imports et dont vous navez plus besoin. Pour plus dinformations, consultez Section 2.4.5, Supprimer un projet . Une fois que vous avez lanc Talend Open Studio for Data Integration, vous pouvez exporter les ressources dun ou de plusieurs projets crs partir de linstance courante du Studio. Pour plus dinformations, consultez Section 2.4.6, Exporter un projet .
2.4.1. Crer un projet

Lorsque vouslancez le Studio pour la premire fois, aucun projet par dfaut napparat dans la liste. Vous devez crer un projet qui contiendra les Jobs et Business Models dintgration de donnes que vous avez crs partir de linstance courante du Studio. Pour crer un projet : 1. Lancez Talend Open Studio for Data Integration . 2. Utilisez l'une des deux options suivantes: Saisissez le nom du nouveau projet dans le champ Create A New Project, puis cliquez sur Create pour ouvrir la fentre de dialogue contenant le champ[Project name] rempli avec le nom spcifi. Cliquez sur [Advanced] et cliquez sur Create... partir de la fentre de connexion pour ouvrir la bote de dialogue [New project] contenant le champ Project Name vide.
13
Crer un projet
3. Dans le champ Project name, saisissez un nom pour le nouveau projet ou si besoin modifiez le nom de projet prcdemment saisi. Ce champ est obligatoire Selon l'endroit o se trouve votre curseur, un message en haut de l'assistant vous informe sur la nature des donnes saisir, comme les caractres interdits. Le champ Technical Name est en lecture seule et contient le nom technique du projet. Il est utilis par lapplication pour crer le nom du fichier correspondant au projet. Il correspond gnralement au nom du projet saisi, mis en majuscule et concatn laide de tirets souligns si ncessaire. 4. Cliquez sur Finish. Le nom de nouveau projet cr apparat dans la liste Project de la fentre de login de Talend Open Studio for Data Integration.
Depuis la version 5.0, seul le langage Java est gnr.
14
Importer le projet Dmo
Pour ouvrir le nouveau projet cr dans Talend Open Studio for Data Integration, slectionnez-le dans la liste Project et cliquez sur Open. Une fentre montrant la progression de linitialisation du gnrateur apparat. Attendez que linitialisation se termine. Dans le Studio, si vous souhaitez passer dun projet un autre, cliquez sur File > Switch Projects dans la barre de menu. Si vous avez dj cr un projet dans une version antrieure de Talend Open Studio for Data Integration et que vous souhaitez limporter dans la version couranteSection 2.4.3, Importer un projet .
2.4.2. Importer le projet Dmo

Dans Talend Open Studio for Data Integration, vous pouvez importer, dans votre workspace, le projet Dmo contenant de nombreux exemples de Jobs prts utiliser. Ce projet Dmo peut vous aider comprendre les fonctionnalits des diffrents composants Talend. Au premier lancement de Talend Open Studio for Data Integration, vous pouvez: crer un nouveau projet dans votre rpertoire en utilisant le projet dmo comme modle, importer le projet dmo TALENDDEMOSJAVA dans votre rpertoire. Pour crer un nouveau projet partir du projet dmo 1. Cliquez sur Import, situ ct de la liste Select A Demo Project. La bote de dialogue [Import demo Project] s'affiche.
2. Saisissez un nom pour votre nouveau projet, et cliquez sur Finish> pour crer le projet. Un message de confirmation saffiche vous indiquant que limport a t ralis avec succs dans linstance courante du Studio.
15
Importer un projet
3. Cliquez sur OK pour fermer le message de confirmation. Tous les exemples du projet dmo sont imports dans le projet nouvellement cr, et le nom du nouveau projet est affich dans la liste Projet de l'cran de connexion. Pour importer le projet dmo TALENDDEMOSJAVA dans votre rpertoire: 1. Cliquez sur Advanced et, de la fentre de connexion cliquez sur Demo Project....La bote de dialogue [Import demo project] s'ouvre.
2. Slectionnez le projet dmo et cliquez sur Finish> pour fermer la bote de dialogue. Un message de confirmation saffiche vous indiquant que limport a t ralis avec succs dans linstance courante du Studio. 3. Cliquez sur OK pour fermer le message de confirmation. Pour ouvrir le projet Dmo import dans Talend Open Studio for Data Integration, slectionnez-le dans la liste Project et cliquez sur Open. Une fentre montrant la progression de linitialisation du gnrateur apparat. Attendez que linitialisation se termine. Les exemples de Jobs du projet Dmo sont automatiquement imports dans votre workspace et sont disponibles partir de la vue Repository sous le nud Job Designs. Vous pouvez utiliser ces exemples comme base pour vos propres Job designs.
2.4.3. Importer un projet

Dans Talend Open Studio for Data Integration, vous pouvez importer les projets que vous avez dj crs dans une version antrieure du Studio.
16
Importer un projet
1. Si vous lancez Talend Open Studio for Data Integration pour la premire fois, cliquez sur Advanced... pour ouvrir la fentre de connexion. 2. A partir de la fentre connexion, cliquez sur Import... pour ouvrir l'assistant [Import].
3. Cliquez sur Import several projects si vous souhaitez importer plus dun projet la fois. 4. Cliquez sur Select root directory ou Select archive file en fonction du type de source partir de laquelle vous souhaitez faire limport : respectivement une rpertoire ou un fichier archive. 5. Cliquez sur Browse... pour slectionner le rpertoire workspace ou le fichier archive contenant les projets importer. Par dfaut, le workspace slectionn est le dossier workspace courant de votre Studio. Remontez larborescence vers le rpertoire workspace de la version antrieure de Talend Open Studio for Data Integration ou le fichier archive contenant le ou les projets importer et slectionnez-le. 6. Cochez la case Copy projects into workspace pour faire une copie des projets imports dans le nouveau workspace. Si vous ne souhaitez pas dplacer les projets de leur emplacement initial vers le nouveau workspace, dcochez cette case. Nous vous recommandons de conserver une version de sauvegarde. 7. Dans la liste Projects, slectionnez les projets importer et cliquez sur Finish pour valider. Dans la fentre de login, le ou les nom(s) des projet(s) import(s) apparaissent dsormais dans la liste Project.
17
Ouvrir un projet
Vous pouvez donc slectionner le projet import que vous souhaitez ouvrir dans Talend Open Studio for Data Integration et cliquer sur Open pour lancer le Studio. Une fentre dinitialisation du gnrateur de code peut apparatre lors du lancement de lapplication. Il est recommand dattendre que linitialisation se termine.
2.4.4. Ouvrir un projet

Lorsque vous lancez Talend Open Studio for Data Integration pour la premire fois, aucun projet napparat dans la liste Project. Vous devez donc crer ou importer un projet ou un projet Dmo afin dalimenter la liste Project avec des projets que vous pouvez ouvrir dans le Studio. Pour ouvrir un projet dans Talend Open Studio for Data Integration : Dans la fentre de login du Studio, cliquez sur le bouton Refresh pour mettre jour la liste des projets, slectionnez le projet que vous souhaitez ouvrir et cliquez sur Open.
Une barre de progression apparat puis la fentre principale de Talend Open Studio for Data Integration souvre. Une fentre dinitialisation du gnrateur de code apparat. Il est recommand dattendre que linitialisation se termine. Lorsque vous ouvrez un projet import dune version prcdente du Studio, une fentre dinformation souvre et affiche une courte description des tches de migration ralises avec succs. Pour plus dinformations, consultez Section 2.4.7, Tches de migration .
18
Supprimer un projet
2.4.5. Supprimer un projet

1. Dans la fentre de connexion, cliquez sur Delete pour ouvrir la bote de dialogue [Select Project].
2. Cochez la ou les cases correspondant aux projets que vous souhaitez supprimer. 3. Cliquez sur OK pour valider la suppression. La liste des projets est rafrachie automatiquement. Faites attention lorsque vous cliquez sur OK, car aucune fentre de confirmation napparat. De plus, les projets supprims ne peuvent pas tre rcuprs. Si vous cochez la case Do not delete projects physically, le ou les projet(s) slectionn(s) seront uniquement supprims de la liste et seront donc toujours prsents dans le rpertoire workspace de Talend Open Studio for Data Integration. De plus, vous pouvez, tout moment, rcuprer un projet supprim de cette manire via loption Import local project(s) de la liste Or de la fentre de login.
2.4.6. Exporter un projet

Talend Open Studio for Data Integration vous permet dexporter les projets crs ou imports dans linstance courante de Talend Open Studio for Data Integration. 1. Dans la barre doutils du Studio, cliquez sur file]. pour ouvrir lassistant [Export Talend projects in archive
19
Tches de migration
2. Cochez les cases correspondant aux projets que vous souhaitez exporter. Vous pouvez, en fonction de vos besoins, slectionner une partie dun projet partir du bouton Filter Types... (pour les utilisateurs expriments). 3. Dans le champ To archive file, cliquez sur le bouton Browse... pour spcifier le rpertoire dans lequel exporter votre ou vos projet(s) et saisissez le nom que vous souhaitez donner au fichier archive. 4. Dans la zone Options, slectionnez le format de compression et le type de structure que vous souhaitez utiliser. 5. Cliquez sur Finish pour valider. Le fichier archive contenant les projets exports est cr dans le rpertoire spcifi.
2.4.7. Tches de migration

Les tches de migration servent assurer la compatibilit des projets crs dans une version antrieure de Talend Open Studio for Data Integration avec la version courante. Afin que les modifications soient plus visibles, nous avons dcid de partager ces mises jour avec vous grce une fentre dinformation. Cette fentre dinformation souvre lorsque vous lancez le projet que vous avez import (cr) dune version antrieure de Talend Open Studio for Data Integration. Elle liste et fournit une courte description des tches qui ont t ralises avec succs afin que vous puissiez excuter vos projets normalement.
20
Configuration des prfrences de Talend Open Studio for Data Integration
Parmi les modifications affectant lutilisation de Talend Open Studio for Data Integration, voici quelques exemples : tDBInput utilis avec une base de donnes MySQL, devient un composant spcifique tDBMysqlInput. Son aspect est ainsi modifi dans les Jobs o il est utilis. tUniqRow tait bas sur les cls de schma Input, alors que lactuel tUniqRow permet lutilisateur de slectionner la colonne o faire la correspondance.
2.5. Configuration des prfrences de Talend Open Studio for Data Integration
Vous pouvez dfinir les proprits daffichage de la fentre principale de Talend Open Studio for Data Integration pour les adapter vos besoins et vos prfrences. Un grand nombre des configurations que vous avez dfinies peuvent tre enregistres dans Preference et seront donc utilises par dfaut pour tous les nouveaux Jobs que vous crerez. La section suivante dcrit les configurations spcifiques que vous pouvez dfinir en tant que prfrences. Cliquez sur le menu Window de Talend Open Studio for Data Integration, puis slectionnez Preferences.
2.5.1. Interprteur Java

Le chemin de l'interprteur Java est dfini par dfaut dans le fichier Java de votre ordinateur (Program Files \Java\jre6\bin\java.exe par dfaut).
21
Composants externes ou utilisateur
Pour personnaliser votre chemin d'accs l'interprteur Java : 1. Si ncessaire, cliquez sur Talend dans larborescence de la bote de dialogue [Preferences]. 2. Si le rpertoire dinstallation Java par dfaut nest pas correct, rectifiez le chemin daccs. Dans la mme vue, vous pouvez galement modifier le nombre de lignes de donnes affiches dans laperu et le chemin daccs vers les fichiers temporaires.
2.5.2. Composants externes ou utilisateur

Vous pouvez crer ou dvelopper vos propres composants et les utiliser dans Talend Open Studio for Data Integration. Pour plus dinformations concernant la cration et le dveloppement de composants utilisateur, consultez la page wiki (en anglais) Component creation tutorial section. [http://www.talendforge.org/wiki/] 1. Dans larborescence de la bote de dialogue [Preferences], dveloppez le nud Talend, puis slectionnez Components.
22
Prfrence Exchange
2. Renseignez le champ User components folder pour indiquer le chemin daccs aux composants ajouter la Palette de Talend Open Studio for Data Integration. 3. Dans le champ Default mapping links dispaly as, slectionnez le type de liens que vous souhaitez utiliser pour la mise en correspondance dans le tMap. 4. Cochez la case Dont show corresponding job after double click on a tRunJob component si vous ne souhaitez pas que le Job fils appel par le tRunJob souvre lorsque vous double-cliquez sur le composant. Vous pourrez toujours ouvrir le Job correspondant en cliquant-droit sur le composant tRunJob et en slectionnant Open tRunJob Component. 5. Cliquez sur Apply puis sur OK afin de valider les prfrences dfinies et fermer la bote de dialogue. Les composants externes sont ajouts la Palette.
2.5.3. Prfrence Exchange

Vous pouvez configurer les prfrences relatives votre connexion Talend Exchange, site faisant partie de la Communaut Talend, dans Talend Open Studio for Data Integration. Pour ce faire : 1. Dans la barre de menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend et cliquez sur Exchange afin d'afficher la vue Exchange.
3. Configurez les prfrences d'Exchange selon vos besoins : a. Si vous n'tes pas encore connect la Communaut Talend, cliquez sur Sign In pour vous rendre sur la page Connect to TalendForge afin de vous connecter la Communaut Talend l'aide de votre identifiant/mot de passe ou pour vous crer un compte et de vous y connecter. Si vous tes dj connect la Communaut Talend, votre compte s'affiche et le bouton Sign In devient Sign Out. Pour vous dconnecter de la Communaut Talend, cliquez sur Sign Out. b. Par dfaut, lorsque vous tes connect la Communaut Talend, lorsqu'une mise jour d'un produit install est disponible, une bote de dialogue apparat pour vous le signaler. Si vous vrifiez frquemment les mises jour disponibles et que vous ne souhaitez pas que cette bote de dialogue rapparaisse, dcochez la case Notify me when updated extensions are available. Pour plus d'informations concernant la connexion la Communaut Talend, consultez Section 2.2, Lancement de Talend Open Studio for Data Integration . Pour plus d'informations concernant l'utilisation des composants de la communaut dans le Studio, consultez la Section 4.5.3, Tlcharger/charger des composants de la communaut .
2.5.4. Prfrences de langue

Vous pouvez configurer les prfrences de langue dans Talend Open Studio for Data Integration.
23
Prfrences dexcution et de dbogage
1. Dans le menu Window > Preferences, dveloppez le nud Talend pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend et cliquez sur Internationalization pour afficher les prfrences de langue.
3. Dans le champ Local Language, slectionnez la langue que vous souhaitez utiliser pour linterface de Talend Open Studio for Data Integration. 4. Cliquez sur Apply, puis sur OK pour valider vos changements et fermer la bote de dialogue [Preferences]. 5. Redmarrez Talend Open Studio for Data Integration pour que ce changement soit pris en compte.
2.5.5. Prfrences dexcution et de dbogage

Vous pouvez configurer les prfrences dexcution et de dbogage dans Talend Open Studio for Data Integration. 1. Dans le menu, cliquez sur Window > Preferences pour afficher la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend et cliquez sur Run/Debug pour afficher les prfrences.
24
Prfrences du Designer
Dans la zone Talend client configuration, vous pouvez dfinir les options dexcution utiliser par dfaut.
Stats port range Trace port range Save before run Clear before run Exec time Statistics Traces Pause time
Spcifiez une plage pour les ports utiliss pour la gnration des Statistics, notamment si les ports dfinis par dfaut sont dj occups par dautres applications. Spcifiez une plage pour les ports utiliss pour la gnration des Traces, notamment si les ports dfinis par dfaut sont dj occups par dautres applications. Cochez cette case pour automatiquement enregistrer votre Job avant de lexcuter. Cochez cette case pour nettoyer les rsultats dune excution prcdente avant dexcuter de nouveau le Job. Cochez cette case pour afficher la dure dexcution du Job. Cochez cette case le suivi de flux au cours de lexcution du Job. Cochez cette case pour afficher le suivi du traitement des donnes au cours de lexcution du Job. Indiquez le temps de pause souhaite entre chaque ligne de donnes du tableau Traces.
Dans la liste Job Run VM arguments, vous pouvez dfinir les paramtres de votre JVM en fonction de votre utilisation. Les paramtres par dfaut, -Xms256M et -Xmx1024M correspondent respectivement la mmoire rserve minimale et maximale pour lexcution de vos Jobs. Si vous souhaitez utiliser des paramtres spcifiques pour lexcution dun Job, par exemple si vous voulez afficher les rsultats dexcution de ce Job en japonais, vous devez ouvrir la vue Run. Dans cette vue, configurez les paramtres dexcution avancs correspondants. Pour plus dinformations concernant les paramtres dexcution avancs dun Job spcifique, consultez Section 4.2.7.4, Configurer les paramtres dexcution avancs . Pour plus dinformations sur les paramtres possibles, consultez le site http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html.
2.5.6. Prfrences du Designer

Vous pouvez configurer les prfrences daffichage des composants et des Jobs de manire permanente dans le Studio. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend > Appearance. 3. Cliquez sur Designer pour afficher les prfrences daffichage de lespace de modlisation. A partir de cette vue, vous pouvez dfinir laffichage des noms et des aides contextuelles de chaque composant.
25
Ajouter du code par dfaut
4. Cochez les cases adquates pour personnaliser lespace de modlisation de Talend Open Studio for Data Integration en fonction de votre utilisation.
2.5.7. Ajouter du code par dfaut

Dans les prfrences, vous pouvez ajouter du code par dfaut au dbut ou la fin du code de votre Job. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez les nuds Talend et Import/Export et cliquez sur Shell Settings pour afficher le champ permettant dajouter du code par dfaut.
3. Dans le champ Command, ajoutez votre/vos ligne(s) de code avant ou aprs le code %GENERATED_TOS_CALL% pour quelles apparaissent respectivement au dbut ou la fin du code de votre Job.
26
Prfrences de Performance
2.5.8. Prfrences de Performance

Dans les prfrences, vous pouvez dfinir les options de rafrachissement du Repository en fonction de votre utilisation de Talend Open Studio for Data Integration. 1. Dans le menu, cliquez sur Window > Preferences, pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend et cliquez sur Performance pour afficher les prfrences de Performance.
La dsactivation du rafrachissement automatique permet un gain de performance. 3. Paramtrez les prfrences de performance de Talend Open Studio for Data Integration en fonction de votre utilisation : Cochez la case Deactivate auto detect/update after a modification in the repository pour dsactiver la dtection et la mise jour automatique du Repository aprs modification. Cochez la case Check the property fields when generating code pour activer la vrification des champs de proprits des composants. Lorsque lun des champs de proprits dun composant est mal renseign, le composant est entour en rouge. La dsactivation de la vrification des champs de proprits des composants permet un gain de performance. Dcochez la case Check the property fields when generating code. Cochez la case Generate code when opening the job pour gnrer le code louverture du Job. Cochez la case Check only the last version when updating jobs or joblets pour ne vrifier que la dernire version des Jobs et Joblets. Cochez la case Propagate add/delete variable changes in repository contexts pour propager les ajouts et suppressions de variables dans les mtadonnes Contexts du Repository. Cochez la case Activate the timeout for database connection pour mettre en place un dlai dexpiration des connexions aux bases de donnes. Puis dans le champ Connection timeout (seconds), saisissez, en secondes, la dure souhaite avant expiration. Cochez la case Add all user routines to job dependencies, when create new job, afin dajouter toutes les routines utilisateur dans les dpendances des Jobs lors de la cration de nouveaux Jobs.
27
Prfrences de la documentation
Cochez la case Add all system routines to job dependencies, when create job, pour ajouter toutes les routines systme lors de la cration de nouveaux Jobs.
2.5.9. Prfrences de la documentation

Dans les prfrences, vous pouvez inclure le code source dans vos documentations gnres. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend et cliquez sur Documentation pour afficher les prfrences de la documentation.
3. Personnalisez les prfrences de la documentation selon vos besoins : Cochez la case Source code to HTML generation pour intgrer le code source dans la documentation HTML que vous gnrez. Cochez la case Use CSS File as a template when export to HTML afin dactiver le champ CSS File, si vous devez utiliser un fichier CSS pour personnaliser les fichiers HTML exports. Pour plus dinformations concernant la documentation, consultez Section 5.6.1, Gnrer la documentation HTML et Section 4.2.6.5, Onglet Documentation .
2.5.10. Afficher des caractres spciaux dans les colonnes de schmas

Vous pouvez avoir besoin de rcuprer le schma dune table contenant des colonnes avec caractres spciaux comme des caractres chinois, japonais ou corens. Dans ce cas, vous devez activer loption permettant de lire les caractres spciaux dans Talend Open Studio for Data Integration. Pour ce faire : 1. Dans la barre de menu, cliquez sur Window > Preferences afin douvrir la bote de dialogue [Preferences]. 2. Dans larborescence de la bote de dialogue, dveloppez le noeud Talend. 3. Cliquez sur le nud Specific settings pour afficher la vue correspondante dans la partie droite de la bote de dialogue. 4. Cochez la case Allow specific characters (UTF8,...) for columns of schemas.
28
Prfrences du SQL Builder
2.5.11. Prfrences du SQL Builder

Dans les prfrences, vous pouvez dfinir les prfrences du SQL Builder. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez les nuds Talend et Specific Settings et cliquez sur SqlBuilder pour afficher les prfrences du SQL Builder.
3. Personnalisez les performances du SQL Builder selon vos besoins : Cochez la case add quotes, when you generated sql statement pour protger le nom des colonnes et des tables par des guillemets dans vos requtes SQL. Pour le champ AS400 SQL generation, slectionnez Standard SQL Statement pour utiliser des commandes SQL standard ou System SQL Statement pour des commandes SQL system lorsque vous utilisez des bases de donnes de type AS400. Dcochez la case Enable check queries in the database components (disable to avoid warnings for specific queries) pour dsactiver la vrification des requtes dans les composants base de donnes.
2.5.12. Prfrences des schmas

Dans les prfrences, vous pouvez dfinir la longueur et le type de donnes par dfaut des champs des schmas de vos composants. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez les nuds Talend et Specific Settings et cliquez sur Default Type and Length pour afficher les prfrences de longueur et de type des champs de vos schmas.
29
Prfrences des bibliothques
3. Paramtrez ces prfrences en fonction de vos besoins : Dans la zone Default Settings for Fields with Null Values, renseignez le type de donnes et la longueur du champ attribuer par dfaut aux champs de valeurs nulles. Dans la zone Default Settings for All Fields, renseignez le type de donnes et la longueur du champ attribuer tous les champs du schma. Dans la zone Default Length for Data Type, renseignez la longueur attribuer en fonction du type de donnes du champ.
2.5.13. Prfrences des bibliothques

Dans les prfrences, vous pouvez dfinir le rpertoire dans lequel stocker les diffrentes bibliothques utilises dans Talend Open Studio for Data Integration. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez les nuds Talend et Specific Settings et cliquez sur Libraries pour afficher les prfrences des bibliothques.
30
Prfrences des conversions de type
3. Le chemin daccs peut tre indiqu dans le champ External libraries path en cliquant sur le bouton Browse.... Le chemin par dfaut est celui de la version actuelle que vous utilisez.
2.5.14. Prfrences des conversions de type

Dans les prfrences, vous pouvez paramtrer les prfrences de conversion de type dans Talend Open Studio for Data Integration, de Java vers les bases de donnes et des bases de donnes vers le langage Java. 1. Dans le menu, cliquez sur Window > Preferences pour ouvrir la bote de dialogue [Preferences]. 2. Dveloppez les nuds Talend et Specific Settings et cliquez sur Metadata of Talend Type pour afficher les prfrences des conversions.
Dans la liste Metadata Mapping File, un fichier xml contenant les paramtres de conversion apparat pour chaque type de base de donnes utilis dans Talend Open Studio for Data Integration. Vous pouvez importer, exporter ou supprimer chaque fichier de conversion en cliquant respectivement sur les boutons Import, Export et Remove. Vous pouvez ouvrir et modifier chaque fichier afin daffiner les conversions en fonction de votre utilisation en cliquant sur le bouton Edit et en modifiant le code XML directement dans la fentre [Edit mapping file].
31
Prfrences du collecteur de donnes d'utilisation
2.5.15. Prfrences du collecteur de donnes d'utilisation

En autorisant Talend Open Studio for Data Integration collecter vos statistiques d'utilisation du Studio, vous permettez aux utilisateurs de mieux comprendre les produits Talend et vous permettez Talend de savoir comment les utilisateurs utilisent les produits. Cela rend possible l'amlioration de la qualit des produits et des performances afin de mieux rpondre aux besoins des utilisateurs Par dfaut, Talend Open Studio for Data Integration collecte automatiquement vos donnes d'utilisation et les envoie rgulirement aux serveurs hbergs par Talend. Vous pouvez voir la collection de donnes d'utilisation et le chargement d'informations, ainsi que personnaliser les performances du collecteur de donnes selon vos besoins. Soyez assur que seules les statistiques d'utilisation du Studio sont collectes. Aucune de vos informations prives ne sera collecte et transmise Talend. 1. Dans la barre de menu, cliquez sur Window > Preferences afin d'afficher la bote de dialogue [Preferences]. 2. Dveloppez le nud Talend et cliquez sur Usage Data Collector pour afficher la vue Usage Data Collector.
3. Lisez le message concernant le collecteur de donnes d'utilisation et, si vous ne souhaitez pas que le collecteur collecte et envoie vos informations d'utilisation du Studio, dcochez la case Enable capture. 4. Pour obtenir un aperu des donns d'utilisation captures par le collecteur de donnes, dveloppez le nud Usage Data Collector et cliquez sur Preview.
32
Personnalisation des paramtres du projet
5. Pour personnaliser l'intervalle d'envoi des donnes d'utilisation et voir la date du dernier envoi, cliquez sur Uploading sous le nud Usage Data Collector.
Par dfaut, s'il est activ, le collecteur de donnes collecte les donnes d'utilisation du produit et les envoie aux serveurs Talend tous les dix jours. Pour modifier l'intervalle, saisissez une nouvelle valeur entire (en jours) dans le champ Upload Period. Le champ Last Upload en lecture seule affiche la date et l'heure du dernier envoi de donnes aux serveurs Talend.
2.6. Personnalisation des paramtres du projet

Talend Open Studio for Data Integration vous permet de personnaliser les informations et les paramtres du projet en cours, notamment les paramtres de la Palette et du Job, la gestion du versionnement des Jobs, etc. 1. Pour accder aux paramtres du projet, cliquez sur dans la barre doutils du Studio ou cliquez sur File > Edit Project Properties dans la barre de menu. La bote de dialogue [Project Settings] souvre.
33
Personnaliser la Palette
2.
Dans larborescence gauche de la bote de dialogue, slectionnez le paramtre que vous souhaitez personnaliser et personnalisez-le dans la partie droite de la bote de dialogue.
A partir de cette bote de dialogue, vous pouvez aussi exporter ou importer lintgralit des paramtres de votre projet. Pour exporter les paramtres, cliquez sur le bouton Export. Lexport gnrera un fichier XML contenant tous les paramtres de votre projet. Pour importer les paramtres, cliquez sur le bouton Import et slectionnez le fichier XML contenant les paramtres dun autre projet appliquer au projet en cours.
2.6.1. Personnaliser la Palette

Vous pouvez personnaliser laffichage de la Palette, afin de ne charger que les composants que vous utilisez dans votre Projet, ce qui permet de lancer votre Studio plus rapidement. Pour personnaliser l'affichage de la Palette, procdez comme suit : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings].
34
Personnaliser la Palette
Dans la vue General de la bote de dialogue [Project Settings], ajoutez une description du projet en cours si vous ne lavez pas fait lors de sa cration. 2. Dans larborescence de la fentre [Project Settings], dveloppez le nud Designer et cliquez sur Palette Settings. Les paramtres de la Palette en cours sont affichs dans la partie droite de la fentre. Slectionnez un ou plusieurs composants, ou un ou plusieurs groupes de composants pour les supprimer de la Palette en cours. Puis utilisez la flche vers la gauche pour dplacer la slection vers la Palette de composants cachs, gauche de la fentre. Notez que larborescence de la Palette est conserve dans la zone de gauche. Pour afficher de nouveau un composant cach, slectionnez-le dans la zone de gauche et faites-la passer dans la zone de droite en cliquant sur la flche vers la droite. Cliquez sur Apply pour valider les modifications effectues la Palette du projet en cours et cliquez sur OK pour fermer la bote de dialogue. Pour revenir aux paramtres par dfaut, cliquez sur le bouton Restore Defaults. Pour plus dinformations concernant la Palette, consultez Section 4.2.8.1, Modifier la disposition et les paramtres de la Palette .
3.
4.
5.
6.
35
Grer les versions
2.6.2. Grer les versions

Vous pouvez aussi grer les versions des lments du Repository partir de la fentre [Project Settings]. Pour cela, dveloppez le nud General et cliquez sur Version Management. Pour ce faire : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings]. 2. Dans larborescence de la bote de dialogue, dveloppez le nud General et cliquez sur Version Management pour ouvrir la vue correspondante.
3.
Dans larborescence, dveloppez le nud correspondant aux lments dont vous souhaitez grer les versions et cochez les cases correspondantes. Les lments cochs apparaissent dans la liste Items avec leur version actuelle dans la colonne Version et la nouvelle version applique dans la colonne New Version.
4.
Effectuez les modifications suivantes : Dans la zone Option, slectionnez loption Change all items to a fixed version pour passer tous les lments slectionns la mme version fixe.
36
Grer les statuts
Cliquez sur Revert si vous souhaitez annuler ces modifications. Cliquez sur Select all dependencies si vous souhaitez mettre jour tous les lments dpendants des lments slectionns la fois. Cliquez sur Select all subjobs si vous souhaitez mettre jour tous les sous-jobs dpendants des lments slectionns la fois. Pour incrmenter individuellement la version de chaque lment du Repository, slectionnez loption Update the version of each item dans la zone Option. Cochez la case Fix tRunjob versions if Latest si vous souhaitez que le Job pre conserve le Job fils de la version actuelle dans le tRunJob versionner, sans tenir compte de la mise jour de leurs versions. Par exemple, un tRunJob fera une mise jour partir de la version actuelle 1.0 vers 1.1 la fois au niveau du Job pre et du Job fils. Une fois cette case coche, le Job pre 1.0 continuera utiliser le Job fils 1.0 plutt que la dernire version (la version 1.1), comme il le ferait habituellement. Pour utiliser cette case, le Job parent doit utiliser le(s) Job(s) enfant(s) de la dernire version en tant que version actuelle dans le tRunJob versionner, ce qui est possible en slectionnant loption Latest de la liste droulante des versions dans la vue Component du(d)es Job(s) fils.Pour plus dinformations concernant le tRunJob, consultez le Guide de rfrence des Composants Talend Open Studio. 5. Cliquez sur Apply pour appliquer les changements et sur OK pour fermer la bote de dialogue. Pour plus dinformations concernant la gestion des versions, consultez Section 2.6.2, Grer les versions .
2.6.3. Grer les statuts

Vous pouvez galement grer le statut de chaque lment dans la vue Repository via le chemin General > Status Management de la bote de dialogue [Project Settings]. 1. Dans la barre doutils de la fentre principale du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu afin douvrir la bote de dialogue [Project Settings]. 2. Dans larborescence de la bote de dialogue, dveloppez le nud General puis slectionnez Status Management afin douvrir la vue correspondante.
37
Personnaliser les paramtres du Job
3.
Dans la vue Repository, dveloppez le nud contenant les lments dont vous souhaitez grer le statut et cochez la case de ces lments. Les lments slectionns saffichent dans la liste Items de droite, avec leur statut, dans la colonne Status. Le nouveau statut dfini saffiche dans la colonne New Status.
4.
Dans la zone Options, cochez la case Change all technical items to a fixed status pour changer le statut de tous les lments slectionns en un mme statut fixe. Cliquez sur Revert si vous souhaitez annuler les modifications. Pour mettre jour le statut des lments, slectionnez loption Update the version of each item et changez-le manuellement. Cliquez sur Apply afin dappliquer vos modifications, puis sur OK pour fermer la bote de dialogue. Pour plus dinformations concernant les statuts des Jobs, consultez Section 2.6.4, Personnaliser les paramtres du Job .
5. 6.
7.
2.6.4. Personnaliser les paramtres du Job

Vous pouvez automatiquement utiliser les paramtres Implicit Context Load et Stats and Logs dfinis dans les Project Settings du projet en cours lorsque vous crez un nouveau Job.
38
Configurer les informations de logs
Pour cela : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings]. 2. Dans larborescence de la bote de dialogue, cliquez sur le noeud Job Settings pour ouvrir la vue correspondante. Cochez la case Use project settings when create a new job des zones Implicit Context Load et Stats and Logs.
3.
4.
Cliquez sur Apply pour valider les changements et cliquez sur OK pour fermer la bote de dialogue.
2.6.5. Configurer les informations de logs

Lorsque vous excutez un Job, vous avez la possibilit de monitorer son excution laide de loption tStatCatcher Statistics ou des composants de log adquats. Vous pouvez ensuite collecter les donnes recueillies dans des fichiers CSV ou dans une base de donnes. Vous pouvez dfinir le chemin daccs ces fichiers et/ou cette base de donnes de log de votre projet de manire permanente, afin que les donnes de log soient toujours stockes dans le mme rpertoire. Pour ce faire : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre doutils pour ouvrir la bote de dialogue [Project Settings]. 2. Dans larborescence de la bote de dialogue, dveloppez le nud Job Settings et cliquez sur Stats & Logs pour afficher la vue correspondante.
39
Dfinir les paramtres de contexte
Si les paramtres des Stats & Logs ne varient pas en fonction du contexte dexcution, vous pouvez les dfinir de manire permanente. Si vous souhaitez appliquer les mmes paramtres de Stats & Logs en fonction de chaque Job, faites-le directement partir de la vue Stats & Logs du Job. Pour plus dinformations sur cette vue, consultez Section 4.6.7.1, Automatiser lutilisation de statistiques & logs . 3. Cochez les cases Use statistics, Use logs et Use volumetrics en fonction de vos besoins, puis renseignez le chemin daccs des donnes de log. Slectionnez le format de stockage des donnes de log : cochez On Files ou On Database, ou cochez la case On Console pour afficher les donnes dans la console. Cliquez sur Apply pour appliquer les changements et sur OK pour fermer la bote de dialogue.
4.
5.
Les champs apparaissent en fonction des paramtres slectionns. Dans les champs File Name ou DB Name, saisissez respectivement le nom du fichier ou de la base de donnes entre guillemets en fonction du type de format choisi. Notez que vous pouvez maintenant stocker les informations de connexion la base de donnes dans le Repository. Pour cela, slectionnez Repository dans la liste droulante Repository Type et cliquez sur le bouton [...] pour stocker ces informations dans la mtadonne correspondante. Les champs suivants sont renseigns automatiquement. Si vous avez sauv les informations de connexion dans une variable de contexte, vous pouvez y accder via le raccourci Ctrl+Espace.
2.6.6. Dfinir les paramtres de contexte

Dans les paramtres du projet, vous pouvez dfinir des paramtres de contexte automatiques utiliss par dfaut dans vos Jobs. Pour ce faire :
40
Appliquer les paramtres du projet
1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings]. 2. Dans larborescence de la bote de dialogue, dveloppez le nud Job Settings et cochez la case Implicit tContextLoad pour afficher les paramtres de configuration de loption Implicit tContextLoad.
3.
Slectionnez le type de fichier dans lequel les donnes de contextes seront conserves, soit sous forme de fichier en slectionnant le champ From File, soit sous forme de base de donnes en slectionnant From Database. Pour un fichier, renseignez le chemin daccs et le sparateur de champ du fichier contenant les paramtres de contexte dans les champs From File et Field Separator. Pour une base de donnes, slectionnez le mode adquat, Built-in ou Repository, dans le champ Property type et renseignez les champs suivants. Dans les champs Table Name et Query Condition, renseignez le nom de la table contenant les paramtres de contexte et la requte utiliser. Dans les champs If a variable loaded, but not in the context et If a variable in the context, but not loaded, slectionnez le type davertissement que vous souhaitez recevoir en fonction de votre utilisation des variables. Cliquez sur Apply pour valider les changements et cliquez sur OK pour fermer la bote de dialogue.
4.
5.
6.
7.
8.
2.6.7. Appliquer les paramtres du projet

Dans les paramtres du projet, vous pouvez dfinir quels Jobs du Repository vous souhaitez appliquer les paramtres Implicit Context Load et Stats and Logs. Pour cela : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings]. 2. Dans larborescence de la bote de dialogue, dveloppez le nud Job Settings et cliquez sur Use Project Settings pour afficher lutilisation des options Implicit Context Load et Stats and Logs dans les Jobs.
41
Dfinir les paramtres des Statuts
3.
Dans la zone Implicit Context Load Settings, cochez les cases correspondant aux Jobs auxquels vous souhaitez appliquer loption Implicit Context Load. Dans la zone Stats Logs Settings, cochez les cases correspondant aux Jobs auxquels vous souhaitez appliquer loption Stats and Logs. Cliquez sur Apply pour valider les changements et sur OK pour fermer la bote de dialogue.
4.
5.
2.6.8. Dfinir les paramtres des Statuts

Dans les paramtres du projet, vous pouvez dfinir des niveaux de statuts. Pour cela : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans la barre de menu pour ouvrir la bote de dialogue [Project Settings]. 2. Dans larborescence, cliquez sur le nud Status pour paramtrer les proprits principales des lments du Repository. Les proprits principales dun lment du repository comprend des informations telles que Name, Purpose, Description, Author, Version and Status de llment slectionn. La plupart des proprits sont des champs de saisie, cependant le champ Status est une liste droulante.
42
Dfinir les paramtres des Statuts
3.
Cliquez sur le bouton New... pour afficher un bote de dialogue et alimenter la liste Status avec les valeurs appropries aux besoins de votre entreprise. Notez que le champ Code ne peut pas dpasser trois caractres et le champ Label contenant le libell de votre statut est obligatoire.
Talend fait la diffrence entre deux types de statuts : Technical status et Documentation status. La liste de statuts Technical status affiche les codes de classification des lments qui sont utiliss lors de lexcution de Jobs, de dfinition de mtadonnes ou de routines. La liste de statuts Documentation status permet de classer les lments du rfrentiel qui sont utiliss pour documenter les process. Cette liste de statuts nest disponible que pour les Business Models et la Documentation. 4. Une fois le statut renseign, cliquez sur OK sauvegarder. Dsormais la liste Status vous permet dappliquer vos paramtres de classification personnaliss aux lments du rfrentiel. 5. Dans la bote de dialogue [Project Settings], cliquez sur Apply pour valider vos changements et sur OK pour fermer la bote de dialogue.
43
Paramtres de scurit
2.6.9. Paramtres de scurit

Dans les paramtres de projet, vous pouvez afficher ou masquer les mots de passe de vos documentations, mtadonnes, contextes, etc. lorsquils sont centraliss dans le Repository. Pour masquer votre mot de passe : 1. Dans la barre doutils du Studio, cliquez sur ou cliquez sur File > Edit Project Properties dans le menu pour ouvrir la bote de dialogue [Project Settings]. 2. 3. Dans larborescence, cliquez sur le nud Security pour ouvrir la vue correspondante. Cochez la case Hide passwords pour masquer vos mots de passe. Si vous cochez la case Hide passwords, vos mots de passe seront masqus dans toutes vos documentations, contextes, etc., ainsi que dans les proprits de vos composants si vous avez slectionn loption Repository dans le champ Property Type de longlet Basic settings de la vue Component comme illustr dans la capture dcran ci-dessous. Si vous slectionnez loption Built-in dans le champ Property Type de longlet Basic settings de la vue Component, votre mot de passe ne sera pas masqu.
4.
Dans la bote de dialogue [Project Settings], cliquez sur Apply pour valider vos changements et sur OK pour fermer la bote de dialogue.
44
Chapitre 3. Conception dun Business Model

Talend Open Studio for Data Integration a t spcialement conu pour permettre une reprsentation simple et claire des besoins mtiers de lentreprise, ainsi que leur interaction. Talend Open Studio for Data Integration permet ainsi de schmatiser les systmes dinformation, connexions, process et besoins laide de diagrammes standard de flux de donnes disponibles dans une bote outils graphiques intuitive. Ce chapitre sadresse aux responsables mtier, dcisionnaires BI ou dveloppeurs qui souhaitent modliser leurs besoins en flux de donnes un niveau macro. Avant de commencer un processus mtier, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez Annexe A, Interface de Talend Open Studio for Data Integration .
Objectifs
3.1. Objectifs
Les Business Models permettent toutes les parties prenantes dun projet dintgration de donnes de reprsenter graphiquement leurs besoins sans avoir se soucier de leur implmentation technique. Grce aux Business Models ainsi labors, le service informatique de lentreprise peut ensuite mieux comprendre ces besoins et les traduire en process techniques. Un Business Model intgre gnralement les systmes et les process dj en place dans lentreprise, ainsi que ceux dont elle aura besoin lavenir. La conception des Business Models est une bonne pratique que les entreprises devraient adopter ds le dbut dun projet dintgration de donnes, afin de garantir la russite de leur projet. Les Business Models permettent gnralement didentifier et de rsoudre rapidement les goulots dtranglement et autres points faibles du projet mettre en place, ainsi que de limiter les dpassements de budget, voire de rduire linvestissement initial. Puis, pendant et aprs la mise en place du projet, les Business Models peuvent tre revus et corrigs, si besoin est. Un Business Model est une vue non technique dun besoin mtier de gestion de flux de donnes. Gnralement, un Business Model intgre en premier lieu les systmes stratgiques et tapes dexcution dj oprationnels au sein dune entreprise. Il faut ajouter brique par brique les besoins supplmentaires et les relier entre eux. Ces systmes, connexions et autres besoins sont symboliss dans Talend Open Studio for Data Integration par de multiples formes et liens disponibles dans la Palette. Toutes les formes et tous les liens peuvent tre dcrits dans leurs proprits laide des paramtres de documentation et de formats que vous dfinissez dans le rfrentiel de mtadonnes, ou directement dans votre Business Model. A partir de Talend Open Studio for Data Integration, vous disposez de nombreux outils vous permettant de : modliser vos besoins mtier crer des lments dans le rfrentiel de mtadonnes et les assigner vos objets de Business Model dfinir les proprits dapparence de vos objets de Business Model.
3.2. Cration ou ouverture dun Business Model

Lancez Talend Open Studio for Data Integration suivant la procdure dtaille dans la section Section 2.2, Lancement de Talend Open Studio for Data Integration . Dans la fentre principale de Talend Open Studio for Data Integration, cliquez sur Business Models dans le Repository pour dvelopper larborescence.
46
Ouvrir un Business Model
Cliquez-droit sur Business Models et slectionnez loption Expand/Collapse, pour afficher tous les modles existants, sil en existe dj.
3.2.1. Ouvrir un Business Model

Double-cliquez sur le nom du Business Model que vous souhaitez ouvrir. Le Business Model slectionn souvre dans lespace de modlisation, gnralement plac droite du rfrentiel.
3.2.2. Crer un Business Model

Cliquez-droit sur Business Models et slectionnez Create Business Model. Lassistant de cration vous guide dans les tapes de cration dun Business Model. Slectionnez le rpertoire de destination (Location) dans lequel vous souhaitez conserver votre nouveau modle. Puis donnez un nom ce Business Model dans le champ Name. Le nom que vous associez au fichier apparat sous le nud Business Models dans le Repository. Le Modeler souvre sur un espace de modlisation vide. Vous pouvez crer autant de Business Models que vous le souhaitez. Un systme donglets en haut de lditeur vous permet de naviguer facilement entre tous les process ouverts.
Le Modeler est compos des vues suivantes :
47
Modlisation dun Business Model
Lditeur graphique (ou espace de modlisation) de Talend Open Studio for Data Integration Une Palette de formes et de connexions spcifiques la modlisation mtier Une vue Business Model prsentant toutes les informations spcifiques sur tout ou partie du diagramme.
3.3. Modlisation dun Business Model

Si plusieurs onglets sont ouverts dans votre diteur graphique, assurez-vous que la reprsentation graphique affiche est correcte, en cliquant sur longlet appropri. En effet, la vue Business Model ainsi que les lments des Menus affichent des informations relatives au modle actif seulement. Dposez les lments de la Palette, puis connectez-les laide de liens. Personnalisez laspect visuel du diagramme laide du zoom avant et arrire.
Cette Palette est compose de reprsentations graphiques des objets pouvant constituer un Business Model. Le terme objets couvre tous les systmes stratgiques, les lments intermdiaires de transformation, de routage, les tapes dcisionnelles, jusquau type de terminaux du flux de donnes en sortie. Chaque objet tient un rle spcifique dans votre Business Model selon la description, la dfinition et les affectations (assignment) que vous lui attribuez. Tous les objets sont reprsents par des formes dans la Palette et toutes ces formes peuvent tre incluses dans une reprsentation graphique du process. Notez que, si les formes ne saffichent pas dans la Palette, il faut cliquer sur licne du rpertoire business pour drouler la bibliothques de formes.
48
Formes (Shapes)
3.3.1. Formes (Shapes)

Slectionnez la forme correspondant lobjet que vous souhaitez inclure dans votre Business Model. Puis cliquez dessus dans la Palette et dposez-la dans lditeur graphique. Alternativement, la barre daccs rapide aux formes apparat lorsque vous conservez votre curseur immobile quelques instants sur lespace de modlisation :
Par exemple, si votre Business Model inclut une tape de dcision, slectionnez la forme losange dans la Palette. Passez le pointeur de votre souris au-dessus de la barre daccs rapide, pour faire apparatre les bulles contextuelles de chacune de formes. Puis cliquez une fois dans lespace de modlisation pour la faire apparatre graphiquement. La forme dpose est entoure dun cadre noir dont les points dangle vous permettent de la redimensionner selon vos besoins.
En outre, une zone de saisie bleue vous permet dapposer un libell sur la forme en slection. Donnez un nom parlant qui vous permettra ensuite didentifier rapidement le rle de cette forme dans le process. Deux flches opposes apparaissent sur cette forme, elles vous permettent de crer des connexions vers dautres formes. Vous pouvez ainsi rapidement dfinir une squence et des dpendances entre les lments formant votre process. Voir galement : Section 3.3.2, Connexions . Les formes disponibles comprennent : Libell Decision Action Terminal Data Document Input List Database Actor Description Reprsente une condition if dans le flux de donnes. Permet de prendre des mesures contextuelles. Tout type daction, notamment, transformation, traduction ou format par exemple. Tout type de terminal de sortie. Tout type de donnes numriques ou alphanumriques. Ajoute un objet document qui peut servir en entre ou en sortie pour fournir les donnes traiter. Ajoute un objet dentre permettant lutilisateur de saisir ou de fournir manuellement les donnes traiter. Rpertorie les donnes extraites sous la forme dune liste. Cette dernire peut tre paramtre pour ne contenir que les donnes dune certaine nature. Ajoute un objet base de donnes qui peut servir en entre ou en sortie du traitement de donnes. Reprsente schmatiquement tous les acteurs du dcisionnel limplmentation technique.
49
Connexions
Libell Ellipse Gear
Description Ajoute une forme elliptique. Cette forme dengrenage est gnralement utilise pour illustrer les morceaux de code et moulinettes dvelopps manuellement et qui pourraient tre remplacs par des Jobs Talend par exemple.
3.3.2. Connexions
Une des phases essentielles de la conception dun Business Model consiste mettre en place les relations entre les formes source et cible. Plusieurs solutions sont offertes :
Slectionnez loutil Relationship de la Palette. Puis dans lditeur graphique, tirez un lien dune forme vers une autre pour dessiner la connexion. Ou si vous navez pas encore plac la forme cible de la connexion, vous pouvez crer la relation et la cible en une fois : 1. Placez simplement votre souris au dessus de la forme source pour faire apparatre les doubles flches. 2. Slectionnez la flche correspondant la connexion dont vous avez besoin. 3. Faites glisser lune des flches vers une zone vide de lespace de modlisation et relchez la souris pour afficher le menu contextuel. 4. Slectionnez la connexion approprie dans la liste : Create Relationship To, Create Directional Relationship To ou Create Bidirectional Relationship To. 5. Puis slectionnez llment cible de la connexion parmi les lments proposs.
50
Commenter et rarranger un Business Model
Vous pouvez crer une connexion vers un lment dj en place dans votre modle. Slectionnez Existing Element dans le menu contextuel puis choisissez llment connecter.
La relation stablit automatiquement entre les deux formes slectionnes. La nature de cette connexion peut tre dcrite laide dlments du rfrentiel de mtadonnes (Repository) et sa mise en forme peut tre paramtre dans longlet Business Model, consultez la section Section 3.3.4, Proprits . Lors de la cration dune connexion, une zone de saisie vous permet dajouter un libell la connexion que vous venez de crer. Choisissez un nom significatif afin de vous aider identifier rapidement le type de relation cre. Vous pouvez galement ajouter des notes et des commentaires votre process pour permettre une reprise du modle par la suite. Voir galement : Section 3.3.3, Commenter et rarranger un Business Model
3.3.3. Commenter et rarranger un Business Model

Les outils suivants de la Palette vous permettent de personnaliser votre Business Model : Libell Select Zoom Note/Text/Note tachment Description Slectionnez et dplacez les formes et relations dans lditeur graphique du Modeler. Zoomez sur une partie de la reprsentation graphique pour en voir le dtail. Pour effectuer un zoom arrire, appuyez sur la touche Maj et cliquez sur lditeur graphique. at- Permet dajouter des commentaires, des notes afin de conserver toute information utile concernant tout ou partie du process.
3.3.3.1. Ajouter une note ou du texte libre

Pour ajouter une note, slectionnez loutil Note dans la Palette, droite de lditeur graphique. Alternativement, cliquez-droit sur la reprsentation graphique ou sur la forme que vous souhaitez annoter et slectionnez Add Note. Ou slectionnez loutil Note dans la barre daccs rapide. Une note de type Post-it apparat sur lditeur graphique. Si la note est lie un lment particulier, un lien est automatiquement cr.
51
Commenter et rarranger un Business Model
Saisissez votre commentaire dans la zone de saisie ou, si cette dernire ne saffiche pas, saisissez directement sur la note.
Pour ajouter une note attache une forme, slectionnez Note attachment dans la Palette puis slectionnez dans lespace de modlisation la forme que vous souhaitez annoter. Lorsque la flche noire apparat, faites-la glisser vers une zone vide de lditeur. Relchez pour afficher le menu contextuel du lien vous demandant de crer une nouvelle note. Vous pouvez galement slectionner la fonction Add Text pour saisir librement du texte directement dans lditeur. Vous pouvez accder cette fonctionnalit dans le menu droulant Note de la Palette ou via le raccourci situ cot de la fonction Add Note dans la barre daccs rapide.
3.3.3.2. Rarranger une vue mtier

Vous pouvez adapter le look and feel de votre Business Model via le menu contextuel.
Placez votre curseur dans lditeur, cliquez-droit pour afficher le menu, et slectionnez Arrange all. Les formes se dplacent automatiquement pour une lisibilit optimale du Business Model. Vous pouvez galement slectionner manuellement tout ou partie du process. Pour ce faire, cliquez-droit nimporte o dans lditeur, et choisissez Select dans le menu contextuel. Vous pouvez slectionner : All : toutes les formes et connexions du processus, All shapes : toutes les formes prsentes dans lditeur de modlisation, All connectors : toutes les connexions reliant les formes. A partir de ce menu, vous pouvez galement effectuer un zoom avant ou arrire sur une partie du modle et ainsi changer la vue affiche.
52
Proprits
3.3.4. Proprits
Les informations de proprits affiches dans longlet Business Model correspondent la slection en cours dans lditeur. Les proprits peuvent concerner lensemble du processus ou seulement une partie du processus selon la slection. Si rien nest slectionn dans lditeur, longlet Business Model fournit des informations gnrales sur lui-mme. La vue Business Model comporte diffrents types dinformations concernant : les informations de cration du Business Model dans longlet Main le format dans longlet Appearance les rgles et la grille dans longlet Rulers and Grid les affectations dans longlet Assignment Longlet Main affiche des informations de base sur llment slectionn dans lespace de modlisation, quil sagisse dun Business Model ou dun Job. Pour plus dinformations sur longlet Main, consultez Section 4.2.8.3, Afficher les onglets/vues de configuration des Jobs .
3.3.4.1. Onglet Appearance

A partir de longlet Appearance (Formats), vous pouvez modifier les couleurs de remplissage et de bordures, changer lapparence des formes et des liens afin de personnaliser votre Business Model et le rendre plus lisible. Longlet Business Model inclut les options de format suivants : changer la couleur de la forme colorer les bordures ajouter du texte ajouter un effet dgrad ajouter un effet ombr Vous pouvez galement dplacer et grer les diffrentes formes utilises dans la vue de votre Business Model laide des outils de modification. Cliquez-droit sur une des formes, pour accder aux outils appropris.
3.3.4.2. Onglet Rulers and Grid

Pour afficher longlet Rulers & Grid dans lditeur graphique, slectionnez lobjet Select dans la Palette, puis cliquez sur une zone vide de lespace de modlisation pour dslectionner toute slection courante. Cliquez sur longlet Rulers & Grid pour accder aux paramtres de configuration des rgles et de la grille.
53
Proprits
Dans la zone Display, cochez la case Show Ruler pour afficher la Rgle (Ruler), ou Show Grid pour afficher la Grille (Grid) ou les deux. Grid in front place la grille devant toutes les autres formes du process. Dans la zone Measurement, dfinissez lunit de mesure de la rgle Centimeters (centimtres), Inches (pouces) ou Pixels. Dans la zone Grid Line, cliquez sur le bouton Color pour dfinir la couleur des lignes de la grille et slectionnez le type de lignes dans la liste Style. Cochez la case Snap To Grid pour aligner les formes en fonction de la grille ou cochez la case Snap To Shapes pour aligner les formes en fonction des formes dj dposes dans le Business Model. Vous pouvez galement restaurer les valeurs par dfaut en cliquant sur le bouton Restore Defaults.
3.3.4.3. Onglet Assignment

Le tableau des affectations affiche des informations dtailles sur les attributs du Repository (rfrentiel) affects la forme ou la connexion slectionne. Pour afficher les informations daffectation, slectionnez une forme ou une connexion dans la vue active, puis cliquez longlet Assignment de la vue Business Model.
Sinon, passez simplement la souris au dessus de la forme laquelle vous avez affect des lments pour faire apparatre la liste des affectations.
54
Affectation dlments du Repository un Business Model
Vous pouvez modifier certaines informations ou lier un commentaire. En outre, si vous mettez jour des donnes dans le rfrentiel, les informations daffectation sont automatiquement mises jour. Pour plus dinformations concernant les affectations, voir Section 3.4, Affectation dlments du Repository un Business Model .
3.4. Affectation dlments du Repository un Business Model

Longlet Assignment de la vue Business Models rpertorie les lments slectionns dans le Repository et qui ont t affects une forme du Business Model.
Vous pouvez dfinir ou dcrire un objet de votre Business Model en lui affectant (Assignment) diffrents types dinformations, par exemple en lui affectant des lments mtadonnes. Vous pouvez mentionner la nature des mtadonnes affectes ou traites, facilitant ainsi la phase de dveloppement technique venir. Pour affecter un lment, glissez llment du Repository vers une des formes composant votre Business Model courant. Le tableau daffectation, Assignment, situ sous lespace de modlisation, est mis jour automatiquement laide des donnes daffectation de lobjet en slection. Les types dlements du rfrentiel que vous pouvez affecter sont les suivants : Elment Job Designs Metadata Business Models Description Si la reprsentation graphique dun Job est disponible, elle peut tre rutilise comme mtadonne du Business Model actif. Toute donne descriptive conserve dans le rfrentiel peut tre affecte un objet de la vue. Il peut sagir par exemple des coordonnes de connexion une base de donnes. Vous pouvez rutiliser comme mtadonnes tout Business Model conserv dans le rfrentiel de ce projet.
55
Modification dun Business Model
Elment Documentation Routines (Code)
Description Documents de tout type et tout format. Il peut sagir de documentation technique, de spcifications en format texte ou dune simple description de vos bases de donnes. Si vous avez dvelopp des routines, dautomatisation de tches, par exemple, vous pouvez les affecter votre Business Model. Le rpertoire Routine est conserv sous le nud Code.
Pour plus dinformations concernant les lments du Repository, consultez le Chapitre 7, Gestion des mtadonnes
3.5. Modification dun Business Model

Suivez la procdure qui convient au type de modification que vous souhaitez effectuer :
3.5.1. Renommer un Business Model

Assurez-vous que le Business Model est ferm. Cliquez-droit sur le nom du Business Model dans le Repository et slectionnez Edit properties pour afficher les proprits principales dans la bote de dialogue [Edit properties]. Apportez vos modifications dans le champ Name et cliquez sur Finish pour fermer la bote de dialogue. Le nom du Business Model change automatiquement dans le Repository. Si votre Business Model est ouvert, refermez-le, et le nouveau nom apparatra dans longlet en haut de lespace de modlisation lorsque vous louvrez de nouveau. Si le Business Model est ouvert, les informations de la bote de dialogue [Edit properties] seront en lecture seule et ne pourront donc pas tre modifies.
3.5.2. Copier et coller un Business Model

Dans Repository > Business Model, cliquez-droit sur le nom du Business Model que vous souhaitez copier, et slectionnez Copy dans le menu contextuel, ou utilisez le raccourci clavier Ctrl+c. Puis cliquez-droit lendroit o coller le Business Model et slectionnez Paste.
3.5.3. Dplacer un Business Model

Pour dplacer un Business Model dun emplacement un autre dans votre rpertoire Business Models, slectionnez un Business Model dans larborescence Repository > Business Models. Puis glissez-le son nouvel emplacement.
3.5.4. Supprimer un Business Model

Cliquez-droit sur le nom du Business Model supprimer et slectionnez Delete dans le menu contextuel.
56
Enregistrement dun Business Model
Vous pouvez galement slectionner le Business Model dans larborescence de rfrentiel et simplement le glisser-dposer dans la corbeille (Recycle bin) du Repository.
3.6. Enregistrement dun Business Model

Pour sauvegarder un Business Model, cliquez sur File > Save ou utilisez le raccourci clavier Ctrl+S. Le modle est sauvegard sous le nom que vous lui avez donn au moment de sa cration. Un astrisque apparat au niveau de longlet du nom de la vue mtier dans lditeur graphique pour indiquer que des modifications ont t apportes la vue courante mais quelles ne sont pas encore enregistres.
Pour sauvegarder un Business Model et incrmenter sa version dans le mme temps, cliquez sur File>Save as....La bote de dialogue [Save as] souvre. 1. Dans le champ Version, cliquez sur le bouton [M] pour incrmenter la version majeure et sur le bouton [m] pour incrmenter la version mineure. 2. Cliquez sur Finish pour valider. Par dfaut, lorsque vous ouvrez un Business Model, vous ouvrez sa dernire version. Les versions prcdentes sont en lecture seule et ne peuvent donc plus tre modifies. Pour consulter les diffrentes versions de votre Business Model : 1. Slectionnez-le dans le Repository. 2. Cliquez sur la vue Business Model et sur longlet Version. 3. La liste des versions apparat sous forme de tableau. 4. Faites un clic-droit sur la version que vous souhaitez consulter. 5. Slectionnez loption : Slectionnez Edit properties Read Business Model Pour... Pour consulter les proprits du Job en lecture seule Pour consulter le Business Model en lecture seule.
Vous pouvez ouvrir et modifier la dernire version dun Business Model, partir de la vue Version, si vous slectionnez Edit Business Model dans le menu contextuel.
57
Chapitre 4. Conception dun Job dintgration de donnes

Les fonctionnalits de Talend Open Studio for Data Integration permettent de traiter toutes les sources et les cibles utilises dans un processus dintgration de donnes, ainsi que tous les oprations associes. Les Job Designs que vous modlisez dans Talend Open Studio for Data Integration vous permettent de mettre en place des processus de gestion des flux de donnes directement excutables. Ce chapitre sadresse aux programmeurs et responsables informatiques qui souhaitent mettre en place la couche technique dun processus, bas (ou non) sur un Business Model Talend Open Studio for Data Integration. Avant de commencer un processus mtier, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez Annexe A, Interface de Talend Open Studio for Data Integration .
Objectifs
4.1. Objectifs
Un Job constitue la couche dexcution ou limplmentation technique dun Business Model. Il est la reprsentation graphique fonctionnelle dun ou plusieurs composants connects, permettant de dfinir et dexcuter des processus de gestion de flux de donnes. Il traduit les besoins mtier en code, en routines ou en programmes, puis se charge dexcuter ces derniers. En dautres termes, le Job permet de mettre en place votre flux de donnes. Les Jobs que vous crez peuvent grer les diffrentes sources et cibles dont vous avez besoin lors de vos processus dintgration de donnes, ou lors de tout autre processus li. Avec Talend Open Studio for Data Integration, vous pouvez : modliser des actions dans votre Job grce la bibliothque de composants techniques, changer les paramtres par dfaut des composants et mme crer de nouveaux composants ou familles de composants qui correspondent au mieux vos besoins, paramtrer les connexions et les relations entre composants afin de dfinir la nature des actions et leur droulement, accder au code gnr pour le programme ou les composants afin de le modifier ou de le documenter, crer et ajouter des lments au Repository (Rfrentiel) des fins de rutilisation et de partage (avec dautres projets, dautres processus ou, moyen terme, avec dautres utilisateurs). Pour pouvoir excuter les Jobs que vous avez crs dans Talend Open Studio for Data Integration, vous devez installer une JVM Oracle 1.6 ou une version ultrieure (les JVM IBM ne sont pas supportes). Vous pouvez la tlcharger sur http://www.oracle.com/technetwork/java/javase/downloads/index.html.
4.2. Utilisation dun Job Design simple

Jusqu ce quun Job soit cr, lespace de modlisation graphique est indisponible, et la Palette ne saffiche pas. Un Job Design est compos dun ou plusieurs sous-job(s), eux-mmes dfinis par un ou, plus vraisemblablement, par plusieurs composants relis les uns aux autres. Les proprits de chaque composant doivent tre configures individuellement, afin que tout fonctionne correctement. Pour plus dinformations, consultez la Section 4.3.1, Types de connexions et la Section 4.2.6, Dfinir les proprits dun composant .
4.2.1. Crer un Job

Talend Open Studio for Data Integration vous permet de crer un Job dintgration de donnes en dposant diffrents composants techniques de la Palette dans lespace de modlisation graphique, puis en connectant ces composants les uns aux autres. Vous pouvez galement crer diffrents dossiers pour mieux classifier ces Jobs. Pour crer un Job dintgration de donnes, procdez comme suit :
60
Crer un Job
1.
Ouvrez Talend Open Studio for Data Integration en suivant la procdure dtaille dans la Section 2.2, Lancement de Talend Open Studio for Data Integration . Dans la vue Repository, cliquez-droit sur le nud Job Designs, et slectionnez Create job dans le menu contextuel.
2.
Lassistant de cration [New Job] vous guide dans les tapes de dfinition des proprits de votre nouveau Job.
3.
Renseignez les proprits du Job comme suit :
Champ Name
Description Saisissez un nom pour le nouveau Job. Un message saffiche si vous saisissez des caractres interdits. Guide Utilisateur de Talend Open Studio for Data Integration 61
Crer un Job
Champ Purpose Description Author Locker
Description Saisissez toute information que vous jugerez utile concernant lutilisation du Job. Saisissez une description si ncessaire. Ce champ est en lecture seule car il reprend par dfaut le login utilisateur courant. Ce champ est en lecture seule car il reprend par dfaut le login utilisateur ayant verrouill le Job courant. Ce champ est vide lorsque vous crez un Job, et na des donnes que lorsque vous ditez les proprits dun Job existant. La version indique est en lecture seule. Vous pouvez cependant incrmenter manuellement la version laide des boutons M et m. Pour plus dinformations, consultez la Section 2.6.2, Grer les versions . Slectionnez dans la liste le statut du Job que vous crez. Slectionnez le dossier dans lequel vous souhaitez crer le Job.
Version
Status Path
Le Designer souvre sur un onglet de modlisation vide, indiquant simplement le nom du nouveau Job. 4. Glissez-dposez les composants que vous souhaitez utiliser de la Palette dans lespace de modlisation graphique, et connectez-les. Pour plus dinformations, consultez la Section 4.2.2, Dposer des composants dans l'espace de modlisation graphique et la Section 4.3.1, Types de connexions . Dfinissez les proprits de chaque composant utilis dans le Job. Pour plus dinformations, consultez la Section 4.2.6, Dfinir les proprits dun composant . Sauvegardez votre Job et appuyez sur F6 pour lexcuter. Pour plus dinformations, consultez la Section 4.2.7, Excuter un Job . Le Job que vous avez cr saffiche sous le nud Job Designs, dans la vue Repository. Vous pouvez ouvrir autant de Jobs crs que vous le souhaitez, simplement en double-cliquant sur le nom du Job dans le Repository. Pour crer diffrents dossiers afin de classer vos Jobs, procdez comme suit : 1. Dans la vue Repository, cliquez-droit sur Job Designs et slectionnez Create Folder dans le menu contextuel. La bote de dialogue [New Folder] apparat.
5.
6.
2.
Dans le champ Label, saisissez un nom pour le dossier puis cliquez sur Finish pour confirmer vos modifications et fermer la bote de dialogue. Le dossier cr saffiche sous le nud Job Designs, dans la vue Repository.
62
Dposer des composants dans l'espace de modlisation graphique
Si vous avez dj cr les Jobs que vous souhaitez dplacer dans ce nouveau dossier, glissez-les simplement dans le dossier. Pour un scnario expliquant comment crer un vrai Job dintgration de donnes, consultez la Annexe B, De la thorie la pratique, exemple de Job.
4.2.2. Dposer des composants dans l'espace de modlisation graphique

4.2.2.1. Dposer des composants partir de la Palette
Pour commencer la cration dun Job, cliquez sur un composant de la Palette. Puis cliquez dans lespace de modlisation pour le dposer et ainsi lajouter votre Job Design. Si la Palette nest pas visible, consultez la section intitule Afficher, cacher et dplacer la Palette . Vous pouvez galement dposer une Note de la mme faon que vous dposez des composants. Pour plus dinformations, consultez la Section 4.6.4, Ajouter une Note au Job . Chaque composant ajout au Job apparat gnralement dans un rectangle bleu symbolisant le sous-job.
Connectez les composants les uns aux autres dans un ordre logique laide des connexions disponibles, afin de crer un Job ou un sous-job complet. Pour plus dinformations concernant les diffrents types de connexion, consultez la Section 4.3.1, Types de connexions . Les Jobs ou sous-jobs sont mis en vidence par un seul rectangle bleu. Pour plus dinformations concernant le surlignage des Jobs et des sous-jobs, consultez la Section 4.6.6.1, Personnaliser les sous-jobs . Plusieurs types dicnes dinformation et davertissement peuvent safficher ct du composant. Placez le pointeur sur licne pour faire apparatre la bulle dinformation. Ces icnes saffichent tant que vous navez pas termin de paramtrer toutes les proprits de base (et parfois avances) des composants partir de la vue Component. Vous devrez utiliser le code Java pour votre projet.
63
Dposer des composants dans l'espace de modlisation graphique
Voir galement : Section 4.3.1, Types de connexions . Section 4.6.3, Grer les icnes davertissement/derreur sur les composants . Section 4.2.6, Dfinir les proprits dun composant .
4.2.2.2. Dposer des composants partir du rpertoire Metadata

Si vous utilisez rgulirement les mmes fichiers et les mmes connexions aux bases de donnes pour plusieurs Jobs, nous vous conseillons de les sauvegarder dans le Repository, sous le nud Metadata. Diffrents dossiers sous ce nud regroupent les connexions cres, quelles soient des connexions aux bases de donnes, aux fichiers ou aux systmes. Diffrents assistants vous permettront de centraliser les connexions et les mtadonnes des schmas, dans la vue Repository. Pour plus dinformations concernant les assistants de gestion des mtadonnes, consultez la Section 4.4.1, Centraliser les mtadonnes . Une fois les mtadonnes sauvegardes dans le rpertoire Metadata du Repository, vous pouvez directement cliquer sur les lments et les dposer dans lditeur. 1. Dveloppez le nud Metadata du Repository ainsi que le(s) dossier(s) o sont stockes les donnes que vous voulez utiliser. Dposez la connexion/le schma choisi(e) dans lditeur graphique.
2.
Une bote de dialogue vous propose de slectionner le composant utiliser parmi la liste des composants disponibles.
64
Chercher des composants dans la Palette
3.
Slectionnez le composant que vous souhaitez utiliser et cliquez sur OK. Le composant slectionn s'affiche dans l'espace de modlisation graphique.
Sinon, en fonction du type de composant (Input ou Output) que vous souhaitez utiliser, suivez les instructions suivantes : Input : Maintenez la touche Alt enfonce pour dposer llment slectionn dans lditeur graphique et ainsi lajouter votre Job Design. Output : Maintenez la touche Ctrl enfonce pour dposer le composant dans lditeur et ainsi lajouter votre Job Design. Si vous double-cliquez sur le composant, longlet Component affiche les dtails des connexions slectionnes ainsi que les informations du schma slectionn. Si vous avez slectionn une connexion sans slectionner de schma, le premier schma rencontr remplira les proprits.
4.2.3. Chercher des composants dans la Palette

Si vous ne voulez pas parcourir les familles de composants dans la Palette pour trouver les composants que vous souhaitez utiliser dans votre Job, vous pouvez chercher le composant directement dans le champ de recherche en haut de la Palette.
Pour chercher un composant, procdez comme suit : 1. 2. Cliquez sur le bouton pour effacer tout texte du champ de recherche.
Saisissez le nom du composant que vous cherchez puis cliquez sur OK.
65
Connecter des composants
La Palette naffiche plus que la (les) famille(s) contenant le composant.
Pour retourner la Palette par dfaut, cliquez nouveau sur le bouton
4.2.4. Connecter des composants

Un Job ou un sous-job est compos par un groupe de composants interconnects de manire logique. Un Job peut tre compos de plusieurs sous-jobs chargs de diffrents traitements de donnes. Le composant formant un sous-job, ainsi que les sous-jobs sont connects entre eux via diffrents types de connexion. De plus, un Job (compos dun ou plusieurs sous-jobs) peut tre prcd par un Pr-Job et suivit dun Post-Job, afin de sassurer que certaines tches spcifiques (souvent sans lien avec le traitement de donnes en cours) sont effectues un tout premier ou en tout dernier. Pour plus dinformations, consultez la Section 4.5.6, Utiliser les composants tPrejob et tPostjob . Pour connecter deux composants, cliquez-droit sur le composant source dans votre espace de modlisation graphique, slectionnez le type de connexion dans le menu contextuel, puis cliquez sur le composant cible. Dans lditeur graphique, lorsque vous glissez le pointeur du composant source vers le composant cible, une prise lectrique symbolise le branchement en cours et un signe interdit indique que le composant cible nest pas valide. Le signe interdit ne disparat quune fois le composant valide atteint. Seules les connexions autorises pour le composant slectionn dans lditeur graphique sont proposes dans la liste du menu contextuel. Les types de connexions diffrent selon la nature du composant et son rle dans le Job. Les types de connexions disponibles varient galement si les donnes proviennent dun ou plusieurs fichiers dentre et si elles sont transmises vers un ou plusieurs fichiers de sortie. Slectionnez un composant dans lditeur graphique et cliquez-droit pour afficher le menu contextuel. Tous les liens disponibles pour ce composant particulier apparaissent lcran. Pour plus d'informations concernant les diffrents types de connexions disponibles, consultez la Section 4.3, Utilisation des connexions .
4.2.5. Cliquer et dposer des composants au milieu dune connexion de type Row
Lorsque vous crez un Job, Talend Open Studio for Data Integration vous permet dinsrer un composant au milieu dune connexion de type Row > Main, Row > Reject ou de type Row > Combine.
66
Cliquer et dposer des composants au milieu dune connexion de type Row
Pour ce faire, procdez comme suit : 1. A partir de la Palette, cliquez et dposez deux composants Combine et deux composants File (un dentre et un de sortie) dans l'espace de modlisation graphique. Connectez les paires de composants en utilisant soit une connexion de type Row > Main (ou Row > Reject), soit une connexion de type Row > Reject.
2.
3.
Cliquez et dposez le composant que vous souhaitez insrer au milieu de la connexion. La connexion saffiche en gras puis une bote de dialogue souvre, vous demandant de saisir un nom pour le lien de sortie.
4.
Saisissez un nom puis cliquez sur OK pour fermer la bote de dialogue. Il est possible qu'un message vous propose de rcuprer le schma du composant cible. Cliquez sur OK pour accepter ou sur No pour refuser.
Le composant est insr au milieu de la connexion, dsormais divise en deux.
67
Dfinir les proprits dun composant
4.2.6. Dfinir les proprits dun composant

Les proprits de chacun des composants formant un Job ou un sous-job permettent de paramtrer lexcution technique du Job actif. Les proprits de chaque composant sont dfinies dans la vue Component, dans longlet Basic Settings pour les proprits de base et dans longlet Advanced settings pour les proprits avances. La vue Component regroupe aussi les vues View et Documentation qui contiennent des informations secondaires sur le composant slectionn. Pour plus dinformations concernant les composants prsents dans la Palette, consultez le Guide de rfrence des Composants Talend Open Studio.
4.2.6.1. Onglet Basic Settings

Longlet Basic settings fait partie de la vue Component, qui est situe en bas de la fentre de Talend Open Studio for Data Integration.
Les paramtres de base des composants sont diffrents en fonction de ces exigences fonctionnelles dans le job. Pour une description dtaille des proprits et de lutilisation de chaque composant, consultez le Guide de Rfrence des Composants Talend Open Studio. Certains composants sont paramtrs laide de code ou de fonctions. Veillez bien utiliser le code Java dans les proprits en Java. Pour les composants File (Fichier) et Database (Base de donnes), vous pouvez centraliser leurs proprits dans les mtadonnes stockes dans le dossier Metadata du Repository. Dans longlet Basic settings, vous pouvez paramtrer vous mme les proprits en slectionnant loption Built-In dans la liste droulante Property Type ou vous pouvez utiliser les proprits stockes dans le dossier Metadata du Repository en slectionnant loption Repository dans la liste droulante Property Type. Cette dernire option vous permet de gagner du temps si vous utilisez souvent ces paramtres. Slectionnez Repository dans le champ Property type et dsignez les mtadonnes comportant les paramtres appropris. Voir galement : Section 4.4.1, Centraliser les mtadonnes . Vous avez aussi la possibilit de cliquer sur la mtadonne souhaite sous le nud Metadata de la vue Repository et de la glisser jusqu votre composant dj prsent dans lespace de modlisation, ainsi ces proprits seront renseignes automatiquement. Si vous avez slectionn le mode Built-in et que vous avez paramtr manuellement les proprits de votre composant, vous avez encore la possibilit de sauvegarder ces proprits sous forme de mtadonne dans le Repository. Pour cela :
68
1.
Cliquez sur licne de disquette. Lassistant de cration de mtadonne correspondant votre composant souvre. Suivez les tapes de lassistant. Pour plus dinformations sur la cration de mtadonnes, consultez le Chapitre 7, Gestion des mtadonnes. La mtadonne apparat alors sous le nud Metadata du Repository.
2.
3.
Pour tous les composants traitant des flux de donnes (la plupart des composants), vous pouvez dfinir un schma Talend afin de dcrire et slectionner les donnes traiter. Comme pour les proprits, ce schma peut tre en local (Built-in ) ou stock dans le Repository dans les mtadonnes que vous avez cres. Vous trouverez une description dtaille dun schma dans la section suivante.
Paramtrer un schma built-in

Un schma est dit ponctuel, et donc dfini comme built-in dans les paramtres de proprits lorsquil ne sert gnralement quune fois dans un Job. Slectionnez Built-in dans la liste, puis cliquez sur Edit Schema. Ensuite, crez votre schma en y ajoutant des colonnes et en dcrivant leur contenu selon la structure du fichier dentre.
Vous pouvez rcuprer le schma ponctuel dun fichier dentre pour alimenter le schma de sortie. Pour ce faire, cliquez sur le bouton Sync columns dans les proprits du composant Output. Des informations supplmentaires sont ncessaires. Pour plus dinformations sur les formats de date par exemple, visitez le site : http://docs.oracle.com/javase/6/docs/api/index.html
Paramtrer un schma du Repository

Si vous utilisez frquemment des connexions des bases de donnes ou des fichiers spcifiques lorsque vous crez vos Jobs dintgration de donnes, vous pouvez viter davoir dfinir toujours les mmes proprits en crant des fichiers de mtadonnes que vous pouvez centraliser dans le rpertoire Metadata du rfrentiel (Repository). Pour rappeler un fichier de mtadonnes dans votre Job, slectionnez Repository dans la liste droulante Schema type et slectionnez le fichier appropri dans la liste Repository. Ou bien, cliquez sur la mtadonne sous le nud Metadata du Repository et glissez-la jusquau composant que vous avez pralablement dpos dans lespace de modlisation. Puis cliquez sur Edit Schema pour vrifier que les donnes sont appropries.
69
Vous pouvez apporter des modifications au schma Repository que vous utilisez pour votre Job. Cependant, notez que le schma devient alors ponctuel, ses proprits changent automatiquement en built-in, il sera attach au Job courant. Vous ne pouvez pas modifier le schma distant partir de cette fentre. Pour apporter une modification, accdez au fichier de mtadonnes partir du Rfrentiel. Pour cela, cliquez-droit sur le nud correspondant et slectionnez loption correspondante (Edit connection ou Edit file) dans le menu contextuel. Voir galement : Section 4.4.1, Centraliser les mtadonnes .
Afficher un champ de manire dynamique (Ctrl+Espace)

Dans tous les champs de longlet Component, vous pouvez accder la liste des variables globales et de contexte et afficher de manire dynamique les valeurs contenues dans chaque champ laide du raccourci clavier Ctrl +Barre despace. 1. 2. 3. Placez le curseur de votre souris dans nimporte quel champ de longlet Component. Appuyez sur Ctrl+Barre despace pour accder la liste des variables. Slectionnez les paramtres adquats dans la liste. En plus de la liste des variables, un panneau dinformation fournit des dtails sur les paramtres slectionns.
Les paramtres affichs peuvent tre : des messages derreur, le nombre de lignes traites, etc. La liste varie en fonction des composants slectionns ou du contexte sur lequel vous travaillez.
70
Voir galement : Section 4.4.2, Centraliser les Contextes et les Variables .
4.2.6.2. Onglet Advanced settings

Certains composants, notamment les composants File et Database, offrent de nombreuses fonctions avances.
Le contenu de longlet Advanced Settings change en fonction du composant slectionn. Gnralement, cet onglet regroupe les paramtres qui ne sont pas requis pour une utilisation de base ou habituelle du composant, mais ils sont requis pour les utilisations avances.
Mesurer les flux de donnes

Longlet Advanced settings propose aussi les fonctionnalits de statistiques avec loption tStatCatcher. Si vous slectionnez cette option, elle vous permet dafficher les statistiques et les donnes de log sur le Job en cours sans avoir recours aux composants ddis. Pour plus dinformations concernant les fonctionnalits Stats & Log, consultez Section 4.6.7.1, Automatiser lutilisation de statistiques & logs .
4.2.6.3. Onglet Dynamic settings

Les vues Basic et Advanced settings de tous les composants comportent divers cases cocher et listes droulantes permettant de paramtrer chaque composant. Dune manire gnrale, les valeurs de ces types de paramtres sont soit true (vrai), soit false (faux) et ne peuvent tre dites quau moment de la cration. Longlet Dynamic settings, dans la vue Component, vous permet de personnaliser ces paramtres sous la forme de code ou de variable. Cette fonctionnalit vous permet par exemple de configurer ces paramtres comme des variables qui deviendront donc dpendant des contextes, alors quils ne sont pas censs tre par dfaut. Un autre avantage de cette fonctionnalit rside dans le fait que vous tes maintenant capable de changer les paramtres de contexte au moment de lexcution, ce qui est trs utile lorsque vous exporter votre Job script afin de le dployer sur un serveur dexcution par exemple.
71
Pour personnaliser ces types de paramtres, notamment les variables de contexte, suivez les tapes qui suivent : 1. Slectionnez le composant dont les onglets Basic et Advanced settings contiennent les paramtres que vous souhaitez dfinir comme variable. Cliquez sur longlet Dynamic settings Cliquez sur le bouton [+] pour crer une nouvelle ligne de paramtres dans le tableau. Cliquez dans la cellule Name du paramtre pour afficher la liste des paramtres disponibles. Par exemple : Print operations. Puis cliquez dans la cellule Code en face du paramtre et paramtrez le code utiliser. Par exemple : context.verbose si vous avez cr la variable de contexte que vous avez appele verbose. Dans la cellule Code, vous pouvez entrer une variable de contexte mais aussi un bout de code Java. Les listes ou cases cocher correspondantes deviennent donc indisponibles et sont surlignes en jaune dans les onglets Basic ou Advanced settings.
2. 3. 4.
5.
Si vous souhaitez configurer un paramtre comme variable de contexte, assurez-vous davoir bien cr la variable dans la vue Context. Pour plus dinformations concernant la dfinition des variables de contexte, consultez Section 4.4.2.2, Dfinir les variables partir de la vue Contexts . Vous pouvez aussi utiliser une variable globale ou des bouts de code Java pour stocker les valeurs utiliser pour chaque paramtre.
72
Par exemple, utilisez certaines variables globales disponibles laide du raccourci clavier Ctrl+Espace, et adaptez-les votre contexte.
4.2.6.4. Onglet View

Longlet View de la fentre Component vous permet de changer le format daffichage par dfaut dun composant dans lditeur graphique. Champ Label format Description Libell libre qui saffiche au niveau de lditeur graphique. Des variables peuvent tre utilises pour retrouver et afficher des valeurs dautres champs. Laide contextuelle de ce champ fournit gnralement la variable correspondante o la valeur du champ est stocke. Bulle contextuelle apparaissant lorsque vous passez la souris au dessus du composant. Cochez cette case pour activer la fonctionnalit dindication contextuelle.
Hint format Show hint
Vous pouvez personnaliser les textes des Label et Hint laide des balises HTML suivantes : Gras : LibellOuBulle Italique : LibellOuBulle Retour chariot : LibellOuBulle ContinueLigneSuiv Couleur : LibellOuBulle Pour changer vos prfrences de longlet View, cliquez sur Window > Preferences > Talend > Appearance > Designer.
4.2.6.5. Onglet Documentation

Nhsitez pas ajouter tout commentaire ou morceau de texte que vous jugerez utile dans le champ Comment.
73
Excuter un Job
Le contenu de ce champ Comment sera format laide du markup Pod et sera intgr au code gnr sous forme de commentaires. Vous pouvez visualiser votre commentaire sous longlet Code de lditeur graphique. Vous pouvez galement ajouter le contenu de votre commentaire, ou documentation, dans laide contextuelle dun composant en utilisant la variable associe (_COMMENT_). Pour une utilisation avance de la fonction Documentation, il est prfrable dutiliser la partie Documentation du rfrentiel, qui vous permet de conserver et rutiliser tout type de documentation de faon centralise.
4.2.7. Excuter un Job

Vous disposez de plusieurs manires pour excuter votre Job. Le choix du type dexcution dpend de lobjectif ainsi que de votre niveau utilisateur. Si vous avez un niveau utilisateur avanc et souhaitez excuter votre projet pas pas, consultez la section Section 4.2.7.2, Excuter un Job en mode Java debug . Si vous navez pas de connaissances avances en Java et souhaitez excuter votre Job en mode normal, consultez Section 4.2.7.1, Excuter en mode normal .
4.2.7.1. Excuter en mode normal

Veillez sauvegarder votre Job avant de lexcuter, afin que toutes les proprits puissent tre prises en compte. Pour excuter votre Job en mode normal, procdez comme suit :
74
Excuter un Job
1. 2. 3.
Cliquez sur la vue Run pour l'ouvrir. Cliquez sur longlet Run Job pour accder au mode normal d'excution. Dans la zone Context, slectionnez le contexte appropri pour ce processus. Vrifiez galement les valeurs de variables si ncessaire.
Si vous navez pas dfini de contexte dexcution, le tableau des paramtres de contexte est vide et le contexte est celui par dfaut. Voir galement : Section 4.4.2.2, Dfinir les variables partir de la vue Contexts . 1. 2. Cliquez sur Run pour lancer lexcution. Sur le mme panneau, la console de log affiche la progression de lexcution. La console inclut les messages derreurs ainsi que les messages de dbut et de fin de processus. Elle affiche galement le rsultat du processus si le composant terminal le prvoit, notamment le tLogRow. Pour paramtrer le nombre de lignes afficher dans la console lors de lavancement de lexcution, cochez la case Line limit et saisissez une valeur dans le champ. Cochez la case Wrap pour activer les retours automatiques la ligne. Cette case est coche par dfaut. Lorsquelle est dcoche, une barre de dfilement horizontale apparat, vous permettant de voir la fin des lignes.
3.
4.
Avant dexcuter nouveau un Job, vous pouvez vider le contenu de la vue de log, en cliquant sur la case cocher Clear before run. La vue de log sera dsormais vide chaque excution. Si pour une raison quelconque, vous souhaitez stopper la progression du job, cliquez simplement sur le bouton Kill. Vous devrez cliquer sur Run nouveau pour reprendre lexcution du job. Talend Open Studio for Data Integration offre dautres fonctionnalits informatives, notamment Statistics et Traces, qui facilitent la supervision du Job ainsi que le travail de dbogage. Pour plus dinformations, consultez les sections suivantes.
4.2.7.2. Excuter un Job en mode Java debug

Pour suivre pas pas les tapes de lexcution dun Job afin didentifier les bugs possibles, vous pouvez excuter ce Job en mode Debug. Pour accder au mode Debug : 1. Cliquez sur longlet Run pour accder cette vue.
75
Excuter un Job
2.
Cliquez sur longlet Debug Run pour accder aux modes dexcution Debug. Avant dexcuter un Job en mode Debug, vrifiez que le module EPIC est install.
Dans un premier temps, nous vous recommandons dajouter des points de pause au niveau des tapes principales de votre processus.
De cette manire, le processus sarrtera automatiquement rgulirement, vous permettant ainsi de vrifier pas pas les composants et leurs variables respectives et de corriger les bugs ventuels. Pour ajouter des pauses (breakpoints) au niveau dun composant, cliquez droit sur le composant dans lespace de modlisation puis slectionnez Add breakpoint dans le menu contextuel. Licne pause saffiche gauche du composant dans lditeur graphique. Pour passer en mode Debug, cliquez sur le bouton Debug dans le panneau Run Job. Talend Open Studio for Data Integration ouvre lditeur en mode de dbogage. Vous pouvez excuter le Job pas pas et vrifier le comportement de chacun des composants ainsi que les valeurs des variables utilises. Pour revenir en mode normal Talend Open Studio for Data Integration, cliquez sur Window, puis Perspective et slectionnez Talend Open Studio for Data Integration.
4.2.7.3. Excuter un Job en mode Traces Debug

La fonctionnalit Traces permet un suivi du traitement des donnes au cours de lexcution du Job dans Talend Open Studio for Data Integration. Cette option fournit un aperu ligne par ligne du comportement du composant et affiche le rsultat dynamique de cette vue ct de la connexion Row.
Cette fonctionnalit vous permet de surveiller tous les composants dun Job, sans avoir besoin de passer en mode Debug, et par consquent sans avoir besoin de connaissances Java particulires. La fonction Traces affiche le contenu des lignes traites dans un tableau. Les composants externes ne peuvent offrir cette fonctionnalit que si leur conception le prvoit.
76
Excuter un Job
Vous pouvez activer ou dsactiver le mode Traces ou dcider quelles colonnes traites afficher dans le tableau des traces qui saffichera dans lespace de modlisation graphique lors de lexcution du Job. Pour activer le mode Traces dans un Job :
1. 2. 3. 4.
Cliquez sur la vue Run. Cliquez sur longlet Debug Run pour accder aux modes dexcution Debug et Traces. Cliquez sur la flche descendante du bouton Java Debug puis slectionnez loption Traces. Une icne apparat sous chaque flux de votre Job pour indiquer que la fonction de suivi du traitement est active. Cliquez sur Traces Debug pour excuter le Job en mode Traces.
Pour dsactiver le mode Traces dun flux de votre Job :
1. 2.
Cliquez-droit sur licne de Traces du flux concern. Slectionnez Disable Traces dans le menu contextuel. Un signe moins rouge vient remplacer le signe plus vert sur licne pour indiquer que le mode Traces a t dsactiv pour ce flux.
Pour choisir quelles colonnes des donnes traites afficher dans le tableau des traces, procdez comme suit : 1. Cliquez-droit sur licne de Traces du flux concern et slectionnez Setup Traces dans le menu contextuel. La bote de dialogue [Setup Traces] souvre.
2. 3.
Dans la bote de dialogue, dcochez les cases correspondant aux colonnes que vous ne souhaitez pas afficher dans le tableau Traces. Cliquez sur OK pour fermer la bote de dialogue.
77
Excuter un Job
La fonction Traces ne sexcute qu lexcution du Job et sarrte la fin de celui-ci. Cliquez sur le bouton Clear dans l'onglet Debug Run pour effacer les statistiques affiches.
4.2.7.4. Configurer les paramtres dexcution avancs

Plusieurs paramtres dexcution avancs sont disponibles pour rendre lexcution des Jobs plus pratique : Statistics, cette fonction affiche le taux de performance de traitement. Pour plus dinformations, consultez la section intitule Afficher les Statistiques . Exec time, cette fonction affiche le temps dexcution dans la console, la fin de lexcution. Pour plus dinformations, consultez la section intitule Afficher la dure dexcution et dautres options . Save Job before execution, cette fonction permet de sauvegarder automatiquement le Job avant son excution. Clear before run, cette fonction efface tous les rsultats de lexcution prcdente avant de r-excuter le Job. JVM Setting, cette fonction vous permet de dfinir les paramtres de votre JVM selon vos besoins, par exemple les paramtres utiliss pour afficher des caractres spciaux.
Afficher les Statistiques

La fonction Statistics affiche pour chacun des composants son taux de performance, en dessous des connexions dans lespace de modlisation.
Sont indiqus le nombre de lignes traites et la vitesse de traitement en ligne par seconde. Vous pouvez ainsi plus facilement reprer dventuels goulots dtranglement dans le traitement de votre flux de donnes. Pour les liens de dclenchement de type If, OnComponentOk, OnComponentError, OnSubjobOk et OnSubjobError, loption Statistics affiche ltat de ce dclenchement durant lexcution de votre Job : Ok ou Error et True ou False. Cette option est disponible pour tous les composants, lexception des composants externes, qui ne peuvent offrir cette fonctionnalit que si leur conception le prvoit. Dans la vue Run, cochez la case Statistics pour activer la fonction Statistiques et dcoche la case pour la dsactiver. Le calcul des statistiques ne commence quau dbut de lexcution du Job et sarrte lorsque lexcution sarrte.
78
Excuter un Job
Cliquez sur le bouton Clear pour effacer les statistiques affiches. Cochez la case Clear before Run pour que la fonction de statistiques se rinitialise automatiquement avant chaque excution. Les statistiques peuvent ralentir sensiblement les performances dexcution du Job car il doit envoyer ces donnes lapplication afin quelles soient affiches. Vous pouvez galement sauvegarder votre Job avant le dbut de lexcution. Cochez la case de loption correspondante, Save Job before execution.
Afficher la dure dexcution et dautres options

Il vous suffit de cocher la case Exec time avant de lancer votre Job pour qu la fin de lexcution de votre Job, sa dure totale saffiche. De cette manire vous pouvez vrifier les rsultats ou tester votre Job avant de lenvoyer en production. Vous pouvez aussi nettoyer votre espace de modlisation avant chaque excution en cochant la case Clear before run. Vous pouvez aussi enregistrer votre Job avant que lexcution ne commence, en cochant la case Save Job before run.
Afficher des caractres spciaux dans la console

Talend Open Studio for Data Integration peut afficher des caractres spciaux dans la console, comme les caractres chinois, japonais ou corens, par exemple. Pour les afficher, procdez comme suit, avant dexcuter le Job :
1. 2. 3. 4. 5.
Cliquez sur longlet Advanced settings. Dans la zone JVM settings, cochez la case Use specific JVM arguments afin dactiver le tableau Argument. A ct du tableau Argument, cliquez sur le bouton New..., afin douvrir la bote de dialogue [Set the VM argument]. Dans la bote de dialogue, saisissez -Dfile.encoding=UTF-8. Cliquez sur OK pour fermer la bote de dialogue.
79
Personnaliser lespace de travail
Cet argument peut tre appliqu toutes vos excutions de Jobs dans Talend Open Studio for Data Integration. Pour plus dinformations concernant lapplication dun argument JVM toutes les excutions de Jobs, consultez la Section 2.5.5, Prfrences dexcution et de dbogage .
4.2.8. Personnaliser lespace de travail

Lorsque vous utilisez Talend Open Studio for Data Integration pour crer un Job dintgration de donnes, vous pouvez personnaliser la disposition et les paramtres de la Palette selon vos besoins. Vous pouvez galement modifier la position de tous les onglets existants dans le Studio afin de rpondre vos besoins.
4.2.8.1. Modifier la disposition et les paramtres de la Palette

La Palette contient tous les composants techniques de base ncessaire la cration de Jobs complexes dans lespace de modlisation graphique. Ces composants sont regroups par familles et sous-familles. Pour la configuration dun composant spcifique, consultez le Guide de Rfrence des Composants Talend Open Studio. Talend Open Studio for Data Integration vous permet de changer la disposition et la position de votre Palette selon vos besoins. Les sections suivantes expliquent toutes les options de gestion disponibles pour la Palette.
Afficher, cacher et dplacer la Palette

La Palette contient tous les lments ncessaires la cration des Jobs les plus complexes. Ces composants sont regroups en familles et sous-familles. Par dfaut, la Palette peut tre cache sur le ct droit de lespace de modlisation.
Si vous souhaitez que la Palette soit visible en permanence, cliquez sur la flche de gauche dans le coin suprieur droit de lditeur graphique. Pour connatre les proprits spcifiques chacun des composants, consultez le Guide de Rfrence des composants Composants Talend Open Studio. Vous pouvez aussi dtacher la Palette de lespace de modlisation dans Talend Open Studio for Data Integration. Pour dtacher longlet Palette, cliquez sur le menu Window > Show View... > General > Palette.
Afficher/masquer les familles de composants

Vous pouvez masquer ou afficher les familles de composants selon vos besoins, dans un souci de visibilit, par exemple. Pour ce faire, cliquez-droit sur la Palette et slectionnez loption Display folder pour afficher les dossiers et Hide folder pour masquer les dossiers.
80
Loption display/hide (afficher/masquer) peut tre trs utile lorsque vous tes dans la vue Favorite de la Palette. Dans cette vue, vous avez gnralement un nombre limit de composants. Si vous les affichez sans les familles, ils seront affichs par ordre alphabtique pour faciliter leur utilisation. Pour plus dinformations concernant la Palette favorite, consultez la section intitule Configurer la Palette favorite .
Maintenir ouverte une famille de composants

Si vous utilisez souvent une ou plusieurs famille(s) de composants, vous pouvez ajouter une punaise sur leur nom pour les empcher de se rduire lorsque vous slectionnez des composants dautres familles.
Pour ajouter une punaise, cliquez sur licne de punaise dans langle en haut droite du nom de la famille.
Filtrer la Palette
Vous pouvez slectionner les composants afficher ou masquer dans votre Palette. Vous pouvez galement ajouter la Palette les composants que vous avez dvelopp vous-mme. Pour plus dinformations sur comment filtrer la Palette, consultez la Section 2.6.1, Personnaliser la Palette . Pour plus dinformations concernant lajout de composants la Palette, partir de Talend Exchange ou dvelopps par vous-mme, consultez la Section 4.5.3, Tlcharger/charger des composants de la communaut et/ ou la Section 2.5.2, Composants externes ou utilisateur .
Configurer la Palette favorite

La Palette offre des fonctionnalits de recherche et de favoris facilitant son utilisation. Vous pouvez ajouter et retirer des composants votre Palette favorite de Talend Open Studio for Data Integration, afin daccder plus rapidement aux composants que vous utilisez le plus souvent. Pour ce faire :
81
1.
Dans la Palette, cliquez-droit sur le composant que vous souhaitez ajouter vos favoris et slectionnez loption Add To Favorite.
2.
Rptez cette action pour tous les composants que vous souhaitez ajouter votre Palette favorite, puis cliquez sur le bouton Favorite en haut de la Palette pour afficher la Palette favorite.
Seuls les composants ajouts aux Favoris apparaissent. Pour retirer un composant de la Palette favorite, cliquez-droit sur le composant et slectionnez Remove From Favorite. Pour retourner la Palette standard, cliquez sur le bouton Standard en haut de la Palette.
Modifier la disposition des composants dans la Palette

Vous pouvez modifier la disposition de la liste des composants dans la Palette pour les afficher en colonnes ou en listes, avec seulement une icne ou une icne avec une courte description.
82
Vous pouvez galement agrandir licne des composants pour une meilleure lisibilit de la liste des composants. Pour ce faire, cliquez-droit sur une famille de composants dans la Palette et slectionnez loption dsire dans le menu contextuel ou cliquez sur Settings pour ouvrir la fentre [Palette Settings] et personnaliser la disposition.
Ajouter des composants externes la Palette

Talend Open Studio for Data Integration vous permet dajouter des composants externes la Palette de votre Studio et des les utiliser dans vos Jobs. Pour plus dinformations concernant la cration et le dveloppement de composants utilisateurs, consultez notre section wiki Component creation tutorial section [http://www.talendforge.org/wiki/doku.php? id=component_creation](en anglais). Pour plus dinformations concernant le tlchargement de composants utilisateur dans votre Studio, consultez la Section 2.5.2, Composants externes ou utilisateur .
4.2.8.2. Rorganiser les onglets dun Job

Vous pouvez dplacer tous les onglets de Talend Open Studio for Data Integration selon vos besoins.
Cliquez sur la bordure ou sur longlet, maintenez le bouton de la souris enfonc pendant que vous dplacez la fentre vers lemplacement cible, puis relchez.
83
Cliquez sur licne minimiser/maximiser ( / ) pour rduire ou agrandir le panneau correspondant. Pour plus dinformations sur comment afficher ou masquer un panneau ou une vue, consultez la Section 4.2.8.3, Afficher les onglets/vues de configuration des Jobs . Cliquez sur la croix ( ) pour fermer une vue. Pour restaurer une vue, cliquez sur Window > Show View... > Talend, puis cliquez sur le nom de la vue que vous souhaitez afficher ou consultez la Section A.7, Raccourcis clavier . Si la Palette nest pas visible ou si vous souhaitez la dtacher, cliquez sur le menu Window > Show view... > General > Palette. La Palette souvrira alors dans une vue spare qui peut tre dplace dans la fentre principale de Talend Open Studio for Data Integration.
4.2.8.3. Afficher les onglets/vues de configuration des Jobs

Les onglets de configuration sont situs dans la partie infrieure de lespace de modlisation graphique. Chaque onglet ouvre une vue affichant des informations prcises concernant llment slectionn dans lespace de modlisation graphique.
Les onglets Component, Run Job, Context et Talend Exchange rassemblent toutes les informations relatives aux lments graphiques slectionns dans lespace de modlisation ou lexcution du Job ouvert. Par dfaut, lorsque vous lancez Talend Open Studio for Data Integration pour la premire fois, longlet Problems ne saffichera quau moment o vous crerez votre premier Job. Ensuite, cet onglet saffichera automatiquement. Les onglets Modules et Scheduler[deprecated] se trouvent dans la mme zone que les onglets Component, Logs et Run Job. Ces deux vues sont indpendantes des Jobs, actifs ou inactifs, ouverts dans lespace de modlisation. Certains onglets de configuration sont masqus par dfaut, comme les onglets Error Log, Navigator, Job Hierarchy, Problems, Modules et Scheduler[deprecated]. Vous pouvez afficher les onglets masqus dans la mme zone que les autres, et ouvrir directement la vue correspondantesi vous slectionnez Window > Show view, puis, dans la bote de dialogue, dveloppez le nud correspondant et slectionnez llment que vous souhaitez afficher.
84
Utilisation des connexions
Pour une description dtaille concernant ces onglets, consultez laSection 4.2.8.3, Afficher les onglets/vues de configuration des Jobs .
4.3. Utilisation des connexions

Dans Talend Open Studio for Data Integration, un Job ou un sous-job comprend un groupe de composants relis logiquement les uns aux autres via des connexions. Cette section dcrit les types de connexions et les paramtres correspondants.
4.3.1. Types de connexions

Il y a de nombreux types de connexions qui dfinissent les donnes traiter, la sortie des donnes, ou bien la squence logique du Job. Cliquez-droit sur un composant dans lespace de modlisation graphique afin dafficher un menu contextuel listant tous les liens disponibles pour le composant slectionn. Les sections suivantes dcrivent tous les types de connexions disponibles.
4.3.1.1. Connexion de type Row

La connexion de type Row manipule les donnes elles-mmes. Les liens de type Row sont Main, Lookup, Reject ou Output selon la nature du flux de donnes trait.
Main
La connexion Row de type Main est la connexion la plus courante. Elle transmet les flux de donnes dun composant lautre, en faisant un boucle sur chacune des lignes pour lire ou extraire les donnes selon la dfinition des proprits du composant. Les donnes transfres travers les connexions de type Row sont caractrises par une dfinition du schma qui dcrit la structure des donnes dans le fichier dentre. Vous ne pouvez pas connecter deux composants dentre laide dune connexion de type main Row. Une seule connexion entrante de type Row est possible par composant. La seconde connexion Row se transforme en connexion Lookup (de rfrence) automatiquement.
85
Types de connexions
Cliquez droit sur le composant dentre et slectionnez Row > Main dans la liste des connexions. Sinon, cliquez sur le composant pour le slectionner, puis, tout en cliquant droit, dplacez votre curseur vers le composant de destination. Une connexion de type Row > Main sera automatiquement cre. Pour en savoir plus sur les cas spcifiques de connexions Row multiples, consultez la section intitule Job entres/sorties multiples .
Lookup
La connexion de type Lookup est une connexion Row reliant un composant dun flux secondaire un composant dun flux principal (ce composant doit tre capable de recevoir plus dun flux dentre). Cette connexion est uniquement disponible dans le cas dutilisation de flux multiples.
Vous pouvez transformer une connexion de type Lookup en connexion de type Main row, et inversement vous pouvez changer une connexion Lookup en Main row. Pour ce faire, cliquez droit et slectionnez Set this connection as Main. Voir galement : la section intitule Job entres/sorties multiples .
Filter
La connexion de type Filter relie le composant spcifique tFilterRow un composant de sortie. Cette connexion Row regroupe les donnes rpondant aux critres du filtre. Ce composant particulier permet aussi une connexion de Rejet pour traiter le flux de donnes ne rpondant pas aux critres.
Rejects
La connexion de type Rejects est une connexion reliant un composant de traitement un composant de sortie. Cette connexion Row regroupe les donnes NE rpondant PAS aux critres du filtre ou qui ne sont pas compatibles avec la sortie attendue. Cette connexion vous permet disoler les donnes ne pouvant pas tre traites pour diffrentes raisons (type de donnes inappropri, valeur Null non dfinie, etc.). Pour certains composants, ce lien est activ lorsque loption Die on error est dsactive. Pour plus dinformations, rfrez-vous aux proprits du composant correspondant, disponibles dans le Guide de Rfrence Talend Open Studio for Data Integration.
86
Types de connexions
ErrorReject
ErrorReject : La connexion ErrorReject est une connexion Row reliant un composant tMap un composant de sortie. Cette connexion est active lorsque vous dcochez la case Die on error dans lditeur du tMap, et elle rassemble les donnes impossibles traiter (type de donnes inappropri, valeur Null non dfinie, format de date erron, etc.). Consultez galement : Section 6.2.4.6, Gestion des erreurs .
Output
La connexion de type Output est une connexion Row, traitant de la donne, et qui relie un composant tMap un ou plusieurs composants de sortie. Les sorties dun Job pouvant tre multiples, une bote de dialogue saffiche pour vous demander de nommer chacune des connexions. Le systme se souvient galement des noms des connexions de sortie supprimes (ainsi que les proprits dfinies). Dans la liste des connexions output suggres, vous retrouvez ainsi les connexions supprimes. Cette fonctionnalit vous permet de ne pas avoir ressaisir toutes les informations de proprits. Voir galement : la section intitule Job entres/sorties multiples .
Uniques/Duplicates
Les connexions de type Uniques et Duplicates relient un composant tUniqRow des composants de sortie. La connexion de type Uniques regroupe les premires lignes rencontres dans un flux dentre. Ce flux de donnes uniques est ensuite dirig vers le composant de sortie appropri ou vers un autre sous-job de traitement. La connexion de type Duplicates regroupe les doublons possibles des premires lignes rencontres. Ce flux de rejet est dirig vers le composant adquat, pour tre analys par exemple.
Job entres/sorties multiples

Certains composants permettent de manipuler des donnes de sources multiples et/ou vers des sorties multiples. Le plus souvent se sont des composants de traitement de donnes, notamment le tMap. Si vous avez besoin deffectuer une jointure ou des transformations sur un flux, il est prfrable dutiliser le composant tMap, qui est conu pour ce type de besoin. Pour plus dinformations concernant le mapping et la transformation de donnes, consultez Section 4.5.1, Mapper des flux de donnes . Pour plus dinformations concernant le composant tMap et son utilisation, consultez le Guide de rfrence des Composants Talend Open Studio.
4.3.1.2. Connexion de type Iterate

La connexion de type Iterate sert faire une boucle sur plusieurs fichiers dun rpertoire donn, sur les lignes dun fichier ou sur les entres dune base de donnes.
87
Types de connexions
Un composant ne peut tre la cible que dun seul lien ditration, Iterate. La connexion Iterate est gnralement utilis sur le composant de dbut (Start) dun flux dun Job ou dun sous-job. Certains composants ne peuvent fonctionner avec dautres composants qu laide dun lien ditration, cest le cas du composant tFilelist. Pour plus dinformations concernant la configuration dune connexion Iterate, consultez Section 4.3.2.2, Paramtres dune connexion Iterate . A la diffrence des autres types de connexions, le nom du lien Iterate est en lecture seule.
4.3.1.3. Connexion de type Trigger

Les connexions de dclenchement, Trigger, aident dfinir le processus de traitement. Les connexions de type Trigger ne servent pas au transfert de donnes. La connexion utilise met en place une relation de dpendance entre un Job principal et ses sous-jobs. De cette manire, lun ou lautre des Jobs est dclench en fonction de la nature de cette connexion de dclenchement.
Les connexions de dclenchement (Trigger) sont rparties en deux catgories : dclenchements de sous-job : On Subjob Ok, On Subjob Error et Run if, dclenchements de composant : On Component Ok, On Component Error et Run if.
OnSubjobOK (prcdemment Then Run) : Cette connexion est utilise pour dclencher le sous-job qui suit condition que le sous-job principal se soit excut sans erreur. Cette connexion sutilise uniquement avec le composant de dbut (Start) de votre Job. Ces connexions sont utilises pour orchestrer et vrifier plus facilement les sous-jobs composant le Job ou traiter les erreurs qui ntaient pas prvues. OnSubjobError : Cette connexion est utilis pour dclencher le sous-job qui suit lorsque le premier sous-job (principal) ne sest pas droul correctement. Ce sous-job on error vous permet didentifier les ventuels goulots dtranglement ou de corriger lerreur si cela est possible.
88
Dfinir les paramtres des connexions
Voir galement : Section 4.6.2, Configurer un composant Start . OnComponentOK et OnComponentError sont des dclencheurs de composants. Ils peuvent dclencher nimporte quel composant source dans un sous-job. OnComponentOK ne dclenche lexcution du composant cible quune fois lexcution du composant source termine correctement. Il peut servir dclencher un sous-job de notification par exemple. OnComponentError dclenche le sous-job ou composant cible lorsquune erreur a t rencontre dans le processus initial. Run if dclenche un sous-job ou un composant si les conditions dfinies sont runies. Pour plus dinformations concernant la configuration dune connexion Trigger, consultez Section 4.3.2.3, Paramtres dune connexion Trigger .
4.3.1.4. Connexion de type Link

La connexion Link nest utilise quavec les composants ELT. Ces liens transmettent les informations de schmas au composant de mapping ELT afin dutiliser ces informations dans la construction des requtes de base de donnes spcifiques. Voir galement le Guide de rfrence des Composants Talend Open Studio. La connexion Link ne transmet donc pas de donnes en tant que telles, mais simplement les mtadonnes des tables faisant lobjet de la requte. Pour slectionner une connexion Link, cliquez-droit sur un composant ELT, puis cliquez sur Link > New Output. Le nom que vous affectez la connexion Link doit imprativement reprendre le nom de la table requter. En effet, le nom du lien tant utilis dans la formulation de la requte SQL gnr par le composant ELT tMap, un mme nom ne devrait jamais tre utilis deux fois.
4.3.2. Dfinir les paramtres des connexions

Vous pouvez afficher les proprits dune connexion en la slectionnant et en cliquant sur longlet Component, ou bien en cliquant-droit sur la connexion et en slectionnant Settings dans le menu contextuel. Cette section rsume la configuration des proprits des connexions.
4.3.2.1. Paramtres dune connexion Row

Longlet Basic settings de la vue Component de la connexion affiche le schma du flux de donnes gr par la connexion. Vous pouvez modifier le schma en cliquant sur le bouton Edit schema. Une fois le schma du flux de donnes modifi, le schma type des deux composants aux deux extrmits de la connexion devient Built-In. Pour plus dinformations, consultez la section intitule Paramtrer un schma built-in .
89
Dfinir les paramtres des connexions
Longlet Advanced settings vous permet de monitorer le flux de donnes dune connexion dans un Job, sans avoir utiliser un composant tFlowMeter. les informations mesures seront interprtes et affiches dans un outil de supervision, comme Activity Monitoring Console. Pour plus dinformations concernant Activity Monitoring Console, consultez le Guide utilisateur de Activity Monitoring Console.
Pour monitorer les donnes dans la connexion, renseignez les paramtres suivants dans longlet Advanced settings : 1. 2. Cochez la case Monitor this connection. Cochez la case Use input connection name as label afin dutiliser le nom du flux dentre comme libell des donnes enregistrer dans le log, ou saisissez le libell dans le champ Label. Dans la liste Mode, slectionnez Absolute pour enregistrer dans le log le nombre de lignes passant dans la connexion, ou Relative pour valuer le ratio (%) du nombre de lignes pass dans cette connexion par rapport une connexion de rfrence. Si vous slectionnez Relative, vous devez galement slectionner une connexion de rfrence dans la liste Connections List. Cliquez sur le bouton [+] pour ajouter une ligne au tableau Thresholds et dfinir une plage pour le nombre lignes enregistrer dans le log.
3.
4.
Consultez galement le Guide de rfrence des Composants Talend Open Studio et le Guide utilisateur de Activity Monitoring Console.
90
Utilisation du Metadata Manager
4.3.2.2. Paramtres dune connexion Iterate

Vous pouvez utiliser un lien Iterate pour excuter des itrations en parallle : 1. 2. Slectionnez le lien Iterate de votre sous-job puis affichez longlet Basic settings de la vue Component. Cochez la case Enable parallel execution et configurez le nombre dexcutions effectuer en parallle.
Lors de lexcution de votre Job, les itrations effectues en parallle seront rparties sur les diffrents processeurs disponibles.
3.
Cochez la case Statistics de longlet Run, pour afficher, en temps rel, les excutions en parallles dans lespace de modlisation.
4.3.2.3. Paramtres dune connexion Trigger

Paramtres dune connexion Run if
Cliquez sur la connexion pour afficher les proprits de votre connexion If, puis dfinissez les conditions de votre projet en Java. Le raccourci clavier Ctrl+Barre despace vous donne accs toutes les variables globales et de contexte.
4.4. Utilisation du Metadata Manager

Talend Open Studio for Data Integration est une solution oriente mtadonnes, et peut donc vous permettre dassurer la cohrence et la qualit du Job complet travers le gestionnaire Metadata dans le Repository. Talend Open Studio for Data Integration fournit un gestionnaire des mtadonnes consolidant toutes les informations des projets dans un Repository centralis, partag par tous les utilisateurs durant les processus dintgration
91
Centraliser les mtadonnes
de donnes. Ce Repository partag facilite le travail collaboratif et permet aux membres dune quipe de stocker et partager leurs Business Models, leurs Jobs dintgration et leurs mtadonnes.
4.4.1. Centraliser les mtadonnes

Le rpertoire Metadata du Repository regroupe plusieurs assistants permettant de crer des connexions des fichiers, des bases de donnes et/ou des systmes auxquels vous vous connectez souvent. De cette manire, vous pouvez centraliser les informations de connexion dont vous avez habituellement besoin pour vos composants et les rutilisez facilement pour tous vos Jobs designs sans avoir les saisir chaque fois. Grce lassistant de mtadonnes, vous pouvez collecter et centraliser les informations de connexion aux composants de type suivant : DB Connection : informations de connexion et description (schma) des tables de toutes bases de donnes et connexions JDBC. File Delimited/Positional/Regex/XML/Excel/Ldif : informations daccs et description des donnes des types de fichier lists. LDAP : informations daccs et description des donnes dun rpertoire LDAP. Salesforce : informations daccs et description dune table Salesforce. WSDL : informations daccs et description des donnes dun service Web. Generic schema : informations daccs et description de toutes sortes de sources. Pour plus dinformations concernant les procdures de cration de mtadonnes, consultez Chapitre 7, Gestion des mtadonnes.
4.4.2. Centraliser les Contextes et les Variables

Les contextes vous donnent la possibilit de grer diffremment vos Jobs selon les conditions dutilisation. Par exemple, vous pouvez intgrer dans votre cycle de validation plusieurs phases de test avant que votre Job Design soit mis en production. Talend Open Studio for Data Integration vous offre la possibilit de crer des contextes multiples. De plus, vous pouvez crer des contextes ponctuels partir de longlet Context ou vous avez la possibilit de regrouper tous vos contextes sous le nud Contexts du Repository afin de les rutiliser dans diffrents jobs. Un contexte est dfini par des paramtres. Ces derniers sont gnralement des variables sensibles au contexte qui seront par la suite ajoutes la liste des variables disponibles laide du raccourci clavier Ctrl+Espace dans les proprits du composant dans la vue Component.
4.4.2.1. Utiliser les variables dans un Job

Les variables reprsentent des valeurs qui changent tout au long de lexcution dun programme. Une variable globale est une variable systme laquelle vous pouvez accder par tout module ou toute fonction. Elle conserve sa valeur mme aprs la fin de lexcution du programme ou de la fonction. Une variable de contexte est une variable dfinie par lutilisateur pour un contexte particulier. Dans tous les champs de longlet Component dfinissant les proprits dun composant, vous pouvez utiliser une variable globale dfinie ou des variables de contexte. Appuyez sur les touches Ctrl+Espace pour afficher la liste complte des variables globales et de contexte utilises dans les fonctions prdfinies.
92
Centraliser les Contextes et les Variables
La liste sallonge au fur et mesure que vous dfinissez des variables (variables de contexte). Voir galement : Section 4.4.2.4, Dfinir les variables partir de la vue Component . Section 4.4.2.2, Dfinir les variables partir de la vue Contexts .
4.4.2.2. Dfinir les variables partir de la vue Contexts

Les variables peuvent tre cres et dfinies de diffrentes manires : soit partir de la vue Component, soit directement partir de la vue Context. Pour plus dinformations concernant la dfinition des variables directement partir de la vue Component, consultez Section 4.4.2.4, Dfinir les variables partir de la vue Component . La vue Contexts se situe dans la partie infrieure de lespace de modlisation et se compose de trois onglets : Variables, Values as tree et Values as table. Si la vue Contexts napparat pas dans le fentre de Talend Open Studio for Data Integration, cliquez sur le menu Window > Show view > Talend, puis slectionnez Contexts.
Onglet Variables
Longlet Variables fait partie de longlet Contexts et affiche toutes les variables dfinies pour chaque composant du Job en cours.
93
A partir de cette vue, vous pouvez grer vos variables built-in (local) : Cliquez sur le bouton [+] pour ajouter une ligne de paramtre au tableau. Editez le nom Name de la nouvelle variable et saisissez le nouveau nom <Newvariable>. Supprimez les variables built-in. (Rappel : les variables stockes dans le Repository sont en lecture seule.) Importez les variables partir dune source contexte du Repository laide du bouton Repository variables. Vrifiez lordre initial des variables de contexte dans lequel elles sont automatiquement classes dans le studio lors de leur cration ou de leur importation partir du Repository. Pour ce faire, vous devez cocher la case Original order. Rorganisez les variables de contexte selon lordre initial en utilisant les boutons vous devez cocher la case Original order afin dactiver ces deux boutons. et . Pour ce faire,
Pour dfinir la valeur actuelle de la variable nouvellement cre, cliquez sur longlet Value as tree. Vous pouvez ajouter autant dentres que ncessaire dans longlet Variables. Par dfaut, la variable cre est de type built-in. Champs Name Description Nom de la variable. Vous pouvez diter ce champ, condition que la variable soit de type Built-in. En effet, les variables de type Repository sont en lecture seule. Built-in : La variable est cre pour ce Job et sera utilise uniquement dans ce Job. <Repository entry name> : La variable a t dfinie dans un contexte stock sur le Repository. Ainsi, la source est le groupe de contexte actuel que vous avez cr dans le Repository. Type Script code Slectionnez le type de donnes traites. Ce champ est obligatoire en Java. Le code correspondant la valeur de la variable. Le script affich sera : context.VotreNomDeParametre Ce Script de code se gnre automatiquement lorsque vous dfinissez la variable dans la vue Component du composant. Comment Ajoutez un commentaire utile.
Source
Vous ne pouvez pas crer de contexte partir de longlet Variables, mais seulement partir des onglets Values as table et as tree. Pour plus dinformations concernant la dfinition des variables partir de la vue Component, consultez Section 4.4.2.4, Dfinir les variables partir de la vue Component . Pour plus dinformations concernant les variables du Repository, consultez Section 4.4.2.5, Centraliser les contextes dans le Repository .
Onglet Values as tree

Cet onglet affiche les variables, ainsi que leurs valeurs, sous forme darbre.
94
A partir de cet onglet, vous pouvez : Dfinir la valeur dune variable built-in directement dans le champ Value. Notez que les valeurs des variables de type Repository sont en lecture seule et ne peuvent dites uniquement dans le contexte Repository adquat. Dfinir un message qui apparatra lutilisateur afin quil confirme la valeur de la variable lors de lexcution. Crer ou diter un contexte laide du bouton ddi en haut droite. Rorganiser les variables/contextes. Champs Variable Context Prompt Description Nom des variables. Nom des contextes. Cochez cette case, si vous souhaitez que la variable saffiche dans la bote de dialogue de confirmation lors de lexcution. Si vous avez coch loption Prompt, renseignez le champ associ qui correspond au message qui saffichera dans la bote de dialogue. Value La valeur correspondant la variable. Dfinissez la valeur des variables built-in. Notez que les variables de type Repository sont en lecture seule.
Grez vos contextes partir de cet onglet, laide du bouton correspondant situ en haut droite de longlet Contexts. Pour plus dinformations concernant la gestion des contextes, consultez Section 4.4.2.3, Configurer les contextes . Dans longlet Values as tree, vous pouvez afficher les valeurs en fonction des contextes ou des variables pour plus de clart. Pour modifier laffichage des valeurs dans larbre, cliquez sur la petite flche vers le bas, puis slectionnez loption de rorganisation group by qui vous souhaitez. Pour plus dinformations concernant la dfinition des variables, consultez Section 4.4.2.4, Dfinir les variables partir de la vue Component et Section 4.4.2.5, Centraliser les contextes dans le Repository .
Onglet Values as table

Longlet Values as table affiche les paramtres des contextes et des variables sous forme de tableau.
95
Champs Name <YourContextName>
Description Le nom de la variable. La valeur correspondant la variable.
Grez vos contextes partir de cet onglet, laide du bouton Configure contexts situ en haut droite de longlet Contexts. Pour plus dinformations concernant la gestion des contextes, consultez Section 4.4.2.3, Configurer les contextes . Pour plus dinformations concernant la dfinition des variables, consultez Section 4.4.2.4, Dfinir les variables partir de la vue Component et Section 4.4.2.5, Centraliser les contextes dans le Repository .
4.4.2.3. Configurer les contextes

Vos contextes peuvent tre grs uniquement partir des onglets Values as table ou Values as tree laide du bouton correspondant en haut droite de longlet Contexts.
Slectionnez Configure Contexts... pour ouvrir la fentre de gestion.
Le contexte par dfaut ne peut tre supprim, cest pourquoi le bouton Remove est gris. Pour le rendre accessible, slectionnez un autre contexte dans la liste Default Context dans longlet Contexts.
Crer un contexte
Vous pouvez crer autant de contextes que vous le souhaitez. Ces contextes seront bass sur les paramtres des contextes par dfaut. 1. 2. Pour crer un nouveau contexte, cliquez sur New dans la bote de dialogue [Configure Contexts]. Saisissez le nom de votre nouveau contexte.
96
3.
Cliquez sur OK pour valider votre cration.
Lorsque vous crez un nouveau contexte, la totalit des informations par dfaut est copie vers le nouveau contexte. Il vous suffit donc dditer les champs ncessaires dans longlet Value as tree pour modifier votre contexte comme vous le souhaitez. La liste droulante Default Context propose tous les contextes crs pour ce Job Design. Vous avez la possibilit de changer de contexte par dfaut en slectionnant un nouveau contexte dans la liste Default Context dans longlet Variable de la vue Contexts. Notez quil est impossible de supprimer le contexte par dfaut (ou le dernier) car lexcution dun Job requiert toujours un contexte. Laissez-lui le nom de Default.
Renommer et diter un contexte

Pour renommer un contexte existant : 1. 2. Cliquez sur Edit dans la bote de dialogue [Configure contexts] et saisissez le nouveau nom. Cliquez sur OK pour valider les changements.
Les changements des valeurs des variables de contexte se font partir des onglets Values as tree ou Values as table. Pour plus dinformations sur ces onglets, consultez Section 4.4.2.2, Dfinir les variables partir de la vue Contexts .
4.4.2.4. Dfinir les variables partir de la vue Component

Les variables de contexte peuvent tre cres et dfinies de diffrentes manires : soit partir de la vue Contexts, soit directement partir de la vue Component. Pour plus dinformations concernant la dfinition des variables partir de la vue Contexts, consultez Section 4.4.2.2, Dfinir les variables partir de la vue Contexts . Pour plus dinformations concernant la dfinition des variables du Repository, consultez Section 4.4.2.5, Centraliser les contextes dans le Repository .
Cration rapide des variables de contexte

Appuyez sur la touche F5 pour crer rapidement des variables de contexte : 1. Dans la vue Component correspondante, placez votre curseur dans le champ que vous souhaitez paramtrer.
97
2.
Appuyez sur F5 pour afficher la bote de dialogue de paramtrage de contexte :
3.
Donnez un nom cette nouvelle variable dans le champ Name, renseignez le champ Comment et choisissez le Type. Saisissez un message Prompt afficher pour confirmer lutilisation de cette variable lors de lexcution du Job courant (gnralement utilis comme test). Cochez la case Prompt for value pour rendre le champ ditable. Si vous avez dj renseign le champ correspondant dans la vue Component du composant, cette valeur est automatiquement reprise dans le champ Default value. Sinon, saisissez la valeur par dfaut que vous souhaitez utiliser. Cliquez sur Finish pour valider. Les nouvelles variables que vous venez de crer apparaissent dans la liste des variables de contexte de longlet Contexts. Le nom de la variable doit respecter certaines rgles de saisie et ne doit contenir aucun caractre interdit, notamment les espaces.
4.
5.
6. 7.
La variable cre est automatiquement stocke dans tous les contextes existants, mais vous pourrez par la suite changer la valeur de manire indpendante dans chaque contexte. Pour plus dinformations concernant la cration ou ldition dun contexte, consultez Section 4.4.2.3, Configurer les contextes .
StoreSQLQuery
StoreSQLQuery est une variable dfinie par lutilisateur. Elle est principalement ddie au dbogage.
98
StoreSQLQuery diffre des autres variables de contexte dans le fait quelle sert principalement de paramtre pour une variable globale spcifique, dite Query. Elle vous permet dalimenter dynamiquement la variable globale de requte. La variable globale Query est disponible dans la liste dautocompltion (Ctrl+Espace) des proprits des composants de type DB input. Pour plus dinformations concernant le paramtrage de StoreSQLQuery, reportez-vous au Guide de rfrence des Composants Talend Open Studio, et plus particulirement le composant tDBInput.
4.4.2.5. Centraliser les contextes dans le Repository

Vous avez la possibilit de centraliser tous les contextes si vous avez besoin de les rutiliser dans plusieurs Jobs.
Crer un groupe de contexte

1. Cliquez droit sur le nud Contexts du Repository et slectionnez Create new context group dans le menu contextuel.
Lassistant vous aide dfinir les diffrents contextes et leurs paramtres, que vous pourrez slectionner partir de la vue Contexts de votre espace de modlisation. 2. Etape 1/2 : renseignez le nom du context group que vous tes en train de crer et ajoutez des informations gnrales, comme une description, si ncessaire. Cliquez sur Next pour passer l'tape 2/2, qui vous permet de dfinir les diffrents contextes et les diffrentes variables dont vous avez besoin.
3.
99
Procdure 4.1. Dfinir les variables de contexte utiliser comme base pour vos autres contextes
1. Dans longlet Variables, cliquez sur le bouton [+] pour ajouter autant de lignes de variable que ncessaire et nommez ces variables. Dans cette exemple, vous avez dfini les variables partir de longlet Variable de la vue Context. Slectionnez le Type de variable dans la liste. Le Script code varie en fonction du type de variable slectionn. La capture dcran ci-dessous vous montre le code Java gnr. 3. Dans les onglets Tree ou Table, dfinissez les diffrents contextes et les valeurs des variables.
2.
Dfinissez dabord les valeurs des variables de contexte par dfaut, puis crez un nouveau contexte qui sera bas sur les valeurs des variables que vous venez juste de crer. Pour plus dinformations concernant la cration de nouveau contexte, consultez Section 4.4.2.3, Configurer les contextes . 4. Dans longlet Values as tree, vous pouvez cocher la case Prompt si vous souhaitez que la variable soit modifiable au moment dexcuter le processus.
5.
Pour ajouter un message Prompt, cochez la case qui prcde votre message, puis saisissez le message afficher lors de lexcution.
Une fois que vous avez cr et adapt autant de contextes que ncessaire, cliquez sur Finish pour valider. Le groupe de contextes configurs apparat sous le nud Contexts du Repository.
Crer un contexte partir dune mtadonne

Lorsque vous crez une mtadonne ( laide de lassistant de connexion File ou DB), vous avez la possibilit dexporter les informations de connexion cette mtadonnes en tant que Contexte. Pour plus dinformations concernant cette option, consultez Section 7.17, Exporter une mtadonne en tant que contexte .
100
4.4.2.6. Appliquer des variables de contexte dans un Job du Repository

Une fois le groupe de contexte cr et stock dans le Repository, vous pouvez lappliquer un Job par deux moyens : 1. 2. Utilisez licne de contexte pliques sparment. . De cette manire, les variables dun groupe de contexte pourront tre apDposez un groupe de contexte. Ainsi, le groupe sera appliqu comme un tout.
Dposer un groupe de contexte dans un Job

Pour dposer un groupe de contexte dans un Job, procdez comme suit : 1. 2. Double-cliquez sur le Job auquel jouter un groupe de contexte. Une fois le Job ouvert, glissez le groupe de contexte de votre choix, soit dans lespace de modlisation graphique du Job, soit dans la vue Contexts sous lespace de travail.
Utiliser licne de contexte

Pour utiliser licne de contexte afin dappliquer les variables de contexte dans un Job, procdez comme suit :
101
1. 2. 3.
Double-cliquez sur le Job auquel ajouter une variable de contexte. Une fois le Job ouvert dans lespace de modlisation graphique, cliquez sur la vue Contexts sous lespace de travail afin de louvrir. Au bas de la vue Contexts, cliquez sur licne de contexte appliquer. afin douvrir lassistant pour slectionner les variables
4.
Dans lassistant, slectionnez les variables de contexte que vous souhaitez appliquer, ou effacez celles dont vous navez pas besoin. Les variables de contexte appliques sont automatiquement coches et ne peuvent tre supprimes.
5.
Cliquez sur OK pour appliquer les variables de contexte dans le Job.
4.4.2.7. Excuter un Job dans un contexte dfini

Vous pouvez slectionner le contexte dans lequel vous souhaitez excuter votre Job.
Cliquez sur la vue Run Job, et dans la zone Context, slectionnez le contexte appropri. Si vous navez pas cr de contexte, seul le contexte par dfaut, Default, est propos dans la liste. Toutes les variables de contexte que vous avez cres pour le contexte en slection, ainsi que leur valeur associe apparaissent dans un tableau. Si vous avez coch la case Prompt lors de la dfinition du contexte, une bote
102
Utiliser les SQL Templates
de dialogue saffiche pour vous demander de confirmer ou modifier la valeur de la variable utilise pour cette excution. Pour rendre permanent une modification de valeur de variable, vous devez la changer dans la vue Context si votre variable est de type built-in ou slectionnez un autre groupe de contexte du Repository. Voir galement : Section 4.4.2.2, Dfinir les variables partir de la vue Contexts . Section 4.4.2.5, Centraliser les contextes dans le Repository .
4.4.3. Utiliser les SQL Templates

Talend Open Studio for Data Integration vous permet de bnficier des modles SQL systme puisque beaucoup de structures de requtes sont standardises partir des mmes approches. Les modles SQL du systme sont regroups sous le nud SQL Templates dans le Repository de Talend Open Studio for Data Integration. Diffrents types de modles SQL standardiss sont disponibles : des modles gnriques sous le nud Generic et des modles spcifiques aux bases de donnes, comme MySQL, Oracle ou Teradata.
Vous pouvez crer vos propres modles SQL dans chacune des catgories ci-dessus grce lassistant [SQL Template]. Pour plus dinformations concernant lutilisation des SQL Templates dans Talend Open Studio for Data Integration, consultez le Chapitre 9, SQL Templates. Pour plus dinformations concernant la cration de modles SQL personnaliss et leur utilisation dans un Job, consultez le Guide de rfrence des Composants Talend Open Studio.
103
Gestion des Jobs : Utilisation avance
4.5. Gestion des Jobs : Utilisation avance

Les sections ci-dessous donnent des informations prcises concernant diffrentes situations de configuration avance des Jobs dintgration de donnes, comme la gestion de flux multiples dentre et de sortie, lutilisation de requtes SQL, lutilisation de composants externes au Job, la planification dune tche pour excuter votre Job.
4.5.1. Mapper des flux de donnes

Le moyen le plus courant de grer de multiples flux dentre et de sortie dans votre Job, y compris les transformations et la redirection des donnes est dutiliser le composant tMap. Pour plus dinformations concernant les principes dutilisation de ce composant, consultez le Chapitre 6, Mapping de flux de donnes. Pour des exemples de Jobs utilisant ce composant, consultez le composant tMap dans le Guide de rfrence des Composants Talend Open Studio.
4.5.2. Crer une requte laide de SQLBuilder

SQLBuilder vous permet de construire des requtes SQL et de contrler les modifications et carts entre tables de base de donnes et tables de mtadonnes. Cet diteur est disponible pour DBInput et DBSQLRow. Vous pouvez construire un requte avec SQLbuilder que votre schma de table soit stock dans le rfrentiel ou intgres en built-in directement dans les proprits du composant. Renseignez les informations de connexion DB et slectionnez lentre de rfrentiel approprie si vous lavez dfinie. Supprimez la dclaration de requte prsente par dfaut dans le champ Query des proprits du composant. Puis ouvrez lditeur de requte SQL Builder en cliquant sur le bouton [...].
104
Crer une requte laide de SQLBuilder
Lditeur de requtes SQL est compos de quatre vues : Database structure : Arborescence de la base de donnes Query editor : Editeur de requtes SQL Query execution view : Rsultat des requtes de lditeur Schema view : Vue du schma La structure de la base de donnes indique les tables pour lesquelles un schma a t dfini, soit dans une entre du Repository, soit directement dans votre connexion des proprits built-in de votre composant. La vue Schema, en bas droite de la fentre, fournit une description des colonnes.
4.5.2.1. Comparer les structures de base de donnes

Dans la vue Database Structure, saffichent toutes les tables stockes dans lentre de mtadonnes DB Connection du Repository ou, dans le cas dun schma de type built-in, les tables de la base de donnes elles-mmes. La connexion la base de donnes, dans lusage dun schma en built-in ou dans le cas dune opration de rafrachissement du schma de Repository, peut prendre du temps. Cliquez sur licne de rafrachissement pour afficher les diffrences entre les tables de mtadonnes dune DB connection et les tables de la base de donnes elle-mme.
105
Licne de la colonne Diff indique la prsence de diffrences ou dcarts entre les tables. Dveloppez larborescence dune table pour identifier la colonne exacte prsentant des diffrences. Le surlignage rouge indique que le contenu de la colonne comporte des diffrences ou que cette colonne nest pas prsente dans la table quivalente de la base de donnes elle-mme. Le surlignage bleu indique que la colonne est prsente dans la base de donnes elle-mme mais quelle nest pas prsente dans la table de la mtadonne.
4.5.2.2. Construire une requte

Lditeur de requte est un systme multi-onglets vous permettant de construire autant de requtes que vous le souhaitez. Pour crer une nouvelle requte, procdez comme suit : 1. Cliquez-droit sur la table ou sur une colonne de la table et slectionnez Generate Select Statement dans le menu contextuel. Cliquez sur longlet vide prsent par dfaut et saisissez votre requte directement, ou accdez la liste dauto-compltion par Ctrl+Espace. Loutil daide la compltion vous propose une liste de dclarations SQL courantes (Select, From, And, Groupby, etc.) ainsi que les colonnes de la table qui peuvent faire lobjet dune requte.
2.
106
Alternativement, le Designer graphique de requte vous permet de manipuler facilement des tables et de gnrer en temps rel la requte correspondante dans longlet Edit. 3. Cliquez sur longlet Designer pour passer du mode Edit manuel au mode graphique. Certaines dclarations SQL ne peuvent tre interprtes par dfaut. Dcochez la case correspondant aux colonnes que vous souhaitez exclure de la slection. 4. Si vous avez slectionn une table, toutes les colonnes sont slectionnes par dfaut. Dcochez la case correspondant aux colonnes que vous souhaitez exclure de la slection. Dans longlet Designer, ajoutez dautres tables en slectionnant Add tables dans le menu contextuel puis en choisissant la table ajouter dans la liste. Si des jointures existent dj entre ces tables, elles apparaissent automatiquement dans lditeur. Vous pouvez galement crer facilement une jointure entre deux tables. Cliquez droit sur les colonnes de la premire table lier et slectionnez Equal dans le menu contextuel. Le champ en slection est automatiquement li au champ de la seconde table.
5.
107
Tlcharger/charger des composants de la communaut
La requte SQL correspondante saffiche galement dans la vue daperu ou cliquez sur longlet Edit pour revenir au mode ddition manuelle de requte. En mode Designer, vous ne pouvez pas ajouter graphiquement de critre de filtre. Pour ce faire, vous devez tre en mode Edit. 6. Lorsque votre requte est termine, excutez-la en cliquant sur licne du coureur. La barre doutils au dessus de lditeur de requte vous permet daccder rapidement aux commandes principales, notamment : excuter, ouvrir, enregistrer et effacer. Les rsultats de la requte active saffichent dans la vue Results.
4.5.2.3. Stocker une requte dans le Repository

Pour pouvoir rcuprer et rutiliser les requtes que vous avez cres, nous vous recommandons de les conserver dans le Repository. Dans lditeur SQL Builder, cliquez sur Save (reprsent par une disquette dans la barre doutils) pour lier la requte la connexion de base de donnes et au schma, sils sont galement conservs dans le Repository. La requte peut ensuite tre retrouve partir de la vue Database structure, dans la partie gauche de lditeur de requtes.
4.5.3. Tlcharger/charger des composants de la communaut

Talend Open Studio for Data Integration vous permet d'accder une liste de composants communautaires dans Talend Exchange qui sont compatibles avec votre version de Talend Open Studio for Data Integration. Vous
108
pouvez tlcharger ces composants pour les rutiliser dans les Jobs Designs de votre Studio. Depuis Talend Open Studio for Data Integration, vous pouvez galement charger les composants que vous avez crs vers Talend Exchange afin de les partager avec les autres utilisateurs de la Communaut. Un clic sur le lien Talend Exchange dans la barre d'outils de Talend Open Studio for Data Integration ouvre la vue Exchange dans l'espace de travail, dans laquelle vous pouvez voir les listes de : composants compatibles dans Talend Exchange que vous pouvez tlcharger et installer, composants que vous avez tlchargs et installs dans une version prcdente de Talend Open Studio for Data Integration, mais pas encore dans votre version actuelle du Studio, composants que vous avez crs, pouvant tre dans Talend Exchange, pour les partager avec les autres utilisateurs de la Communaut. Avant de pouvoir tlcharger des composants de ou charger vos propres composants vers la Communaut, vous devez vous connecter Talend Exchange depuis votre Studio. Si vous ne vous connectez pas Talend Exchange au lancement du Studio, vous pouvez toujours vous y connecter depuis la page de prfrences Talend Exchange. Pour plus d'informations, consultez la Section 2.5.3, Prfrence Exchange . Les composants disponibles au tlchargement dans la vue Talend Exchange ne sont pas valids par Talend. Il est possible que vous soyez confronts des erreurs de chargement lors de l'installation de certains composants partir de Talend Exchange, que le nom d'un composant soit diffrent dans la Palette de celui dans la vue Exchange, ou que vous ne trouviez pas certains composants dans votre Palette aprs une installation apparemment russie.
4.5.3.1. Installer des composants de la communaut partir de Talend Exchange

Pour installer des composants de la communaut partir de Talend Exchange dans la Palette de votre Talend Open Studio for Data Integration actuel : 1. Cliquez sur le lien Exchange dans la barre d'outils de Talend Open Studio for Data Integration pour ouvrir la vue Exchange dans l'espace de travail.
2.
Dans la vue Available Extensions, dans le champ droite, si ncessaire, saisissez le nom complet d'un composant ou une partie du nom dans le champ et cliquez sur le bouton Refresh afin de trouver rapidement le composant qui vous intresse.
109
3.
Cliquez sur le lien view/download pour afficher la page de tlchargement du composant.
4.
Lisez les informations relatives au composant, notamment sa description et les commentaires des utilisateurs, ou crivez votre propre commentaire, et/ou notez le composant, si vous le souhaitez. Pour plus d'informations concernant les remarques et les notes des composants de la Communaut, consultez la Section 4.5.3.3, Commenter et noter un composant de la Communaut . Si ncessaire, cliquez sur la flche pointant vers la gauche afin de retourner la liste des composants.
5.
Cliquez sur le bouton Install droite de la page de tlchargement des composants pour commencer le tlchargement puis l'installation. Un indicateur de progression apparat pour vous montrer l'avancement du tlchargement et de l'installation. Lorsque l'installation est termine avec succs, la vue Downloaded Extensions s'ouvre et affiche le statut du composant, Installed.
110
4.5.3.2. Rinstaller ou mettre jour des composants de la Communaut

Dans la vue Exchange , vous pouvez rinstaller des composants dj tlchargs et installs dans une version prcdente de votre Talend Open Studio for Data Integration ou installer la version mise jour de Talend Open Studio for Data Integration ou des composants dans votre Studio. Par dfaut, lorsque vous tes connect Talend Exchange, une bote de dialogue apparat pour vous notifier lorsqu'une mise jour d'un composant de la communaut install est disponible. Si vous vrifiez souvent les mises jour des composants communautaires et que vous ne souhaitez pas que cette bote de dialogue apparaisse nouveau, vous pouvez la dsactiver dans les prfrences de Talend Exchange. Pour plus d'informations, consultez la Section 2.5.3, Prfrence Exchange . Pour rinstaller un composant de la communaut que vous avez dj tlcharg ou mettre jour un composant install, procdez comme suit : 1. Dans la vue Exchange, cliquez sur Downloaded Extensions pour afficher une liste des composants dj tlchargs depuis Talend Exchange. Dans la vue Downloaded Extensions, les composants que vous avez installs dans votre version prcdente de Talend Open Studio for Data Integration mais pas encore dans votre Studio actuel affichent un lien Install dans la colonne Install/Update. Les composants dont une mise jour est disponible dans Talend Exchange ont un lien Update. 2. Cliquez sur le lien Install ou Update du composant qui vous intresse afin de commencer l'installation. Un indicateur de progression apparat pour vous montrer l'avancement du tlchargement et de l'installation. Lorsque l'installation est termine avec succs, la vue Downloaded Extensions s'ouvre et affiche le statut du composant, Installed.
4.5.3.3. Commenter et noter un composant de la Communaut

Pour commenter et noter un composant de la Communaut : 1. Dans la vue Available Extensions, cliquez sur le lien view/download du composant que vous souhaitez commenter ou noter, afin d'ouvrir la page de tlchargement des composants communautaires.
111
2.
Dans la page de tlchargement des composants, cliquez sur le lien write a review pour ouvrir la bote de dialogue [Review the component].
3.
Renseignez les information requises, un titre et un commentaire, cliquez sur l'une des cinq toiles afin de noter le composant, puis cliquez sur Submit Review afin de soumettre votre commentaire au serveur Talend Exchange. Aprs validation par le modrateur de Talend Exchange, votre commentaire est publi sur Talend Exchange et affich dans la zone User Review de la page de tlchargement des composants.
4.5.3.4. Charger dans Talend Exchange un composant cr

Vous pouvez crer vos propres composants afin de les utiliser dans vos Jobs, dans Talend Open Studio for Data Integration et les charger dans Talend Exchange pour les partager avec les autres utilisateurs de Talend. Pour plus d'informations concernant la cration et le dploiement de vos propres composants dans Talend Open Studio for Data Integration, consultez Section 2.5.2, Composants externes ou utilisateur . Pour charger dans Talend Exchange un composant que vous avez cr, procdez comme suit : 1. Dans la vue Exchange, cliquez sur My Extensions pour ouvrir la vue My Extensions.
2.
Cliquez sur le lien Add New Extension dans la partie suprieure droite de la vue pour ouvrir la page de tlchargement du composant.
112
3.
Renseignez les informations requises, notamment le titre, la version initiale, les informations de compatibilit avec les Studios et la description du composant, renseignez le chemin d'accs au paquetage source dans le champ File puis cliquez sur le bouton Upload Extension. Aprs russite du chargement, le composant s'affiche dans la vue My Extensions, dans laquelle vous pouvez mettre jour, modifier et supprimer tout composant charg dans Talend Exchange.
4.5.3.5. Grer les composants chargs dans Talend Exchange

Dans la vue Exchange, vous pouvez grer les composants que vous avez chargs dans Talend Exchange, notamment mettre jour leur version, modifier leurs informations et supprimer des composants dans Talend Exchange. Pour mettre jour la version d'un composant, procdez comme suit : 1. Dans la vue My Extensions, cliquez sur l'icne dans la colonne Operation du composant que vous souhaitez mettre jour afin d'ouvrir la page de mise jour du composant.
113
2.
Renseignez la version initiale et la compatibilit des Studios, renseignez le chemin d'accs au paquetage source, dans le champ File, puis cliquez sur le bouton Update Extension. Lorsque le chargement du composant mis jour est russi, le composant est remplac par sa nouvelle version dans Talend Exchange et la vue My Extension affiche la nouvelle version du composant et sa date de mise jour.
Pour modifier les informations d'un composant charg dans Talend Exchange, procdez comme suit : 1. Dans la vue My Extensions, cliquez sur l'icne dans la colonne Operation du composant dont vous souhaitez modifier les informations, pour ouvrir la page d'dition des informations du composant.
2.
Renseignez les informations de compatibilit du Studio ainsi que la description du composant, puis cliquez sur le bouton Modify Extension pour mettre jour les informations du composant dans Talend Exchange.
114
Installer des modules externes
Pour supprimer un composant que vous avez charg dans Talend Exchange, cliquez sur l'icne du composant, dans la vue My Extensions. Le composant est supprim de Talend Exchange et ne s'affiche plus dans la liste des composants de la vue My Extensions.
4.5.4. Installer des modules externes

Lutilisation de certains composants dans Talend Open Studio for Data Integration requiert linstallation de modules spcifiques. La vue Modules liste tous les modules requis pour utiliser les composants embarqus dans le Studio. Certains de ces modules ne sont pas prsents par dfaut et doivent donc tre installs, pour que vous puissiez excuter correctement les Jobs utilisant ces composants. Si longlet Modules ne saffiche pas dans votre espace de modlisation, cliquez sur le menu Window > Show View... > Talend, puis slectionnez Modules dans la liste. Pour accder la vue Modules, cliquez sur longlet Modules dans lespace de modlisation graphique.
Le tableau ci-dessous dcrit les informations prsentes dans la vue Modules. Colonne Status Description Indique si un module est install ou non sur votre systme. Licne indique que le module est recommand, mais non requis pour lutilisation du composant list dans la colonne Context. Licne signifie que le module est indispensable lutilisation du composant correspondant. Context Liste le nom des composant Talend utilisant le module. Si cette colonne est vide, le module est requis pour lutilisation gnrale de Talend Open Studio for Data Integration. Cette colonne liste les librairies externes ajoutes aux routines cres et sauvegardes dans le dossier des librairies de votre Studio. Pour plus
115
Lancer un Job priodiquement
Colonne
Description dinformations, consultez la Section 8.4.3, diter les bibliothques des routines utilisateur . Affiche le nom exact du module. Explique pourquoi le module/la librairie est requis(e). La case coche indique que le module est requis.
Module Description Required
Pour installer un module manquant, procdez comme suit : 1. Dans la vue Modules, cliquez sur licne dans le coin suprieur droit de la vue.
La bote de dialogue [Open] de votre systme dexploitation souvre. 2. Parcourez jusquau module que vous souhaitez installer, slectionnez-le et cliquez sur Open dans la bote de dialogue. La bote de dialogue se ferme et le module slectionn est install dans le dossier des librairies de votre Studio. Vous pouvez maintenant utiliser le composant ncessitant le module dans vos Job Designs.
4.5.5. Lancer un Job priodiquement

La vue Scheduler dans Talend Open Studio for Data Integration vous permet de planifier une tche qui lancera intervalles rguliers un Job via le programme de planification de tche (crontab). Dans la vue Scheduler, vous pouvez gnrer un fichier crontab contenant des entres compatibles cron (les donnes requises pour lancer le Job). Ces entres vous permettront de lancer un Job intervalles rguliers via le programme crontab. Cette fonction de lancement de Job est base sur la commande crontab, couramment utilise sous Unix et systmes dexploitation similaires. Elle peut galement tre installe sous Windows. Pour accder la vue Scheduler, cliquez sur longlet Scheduler dans lespace de modlisation graphique. Si longlet Scheduler napparat pas dans votre espace de modlisation, suivez le chemin Window > Show View... > Talend, puis slectionnez Scheduler dans la liste.
Cette vue est vide si vous navez programm aucune tche dexcution de Job. Sinon, elle liste les paramtres de toutes les tches planifies. La procdure ci-dessous explique comment planifier une tche dans la vue Scheduler pour excuter un Job spcifique intervalles rguliers puis gnrer le fichier crontab qui contiendra toutes les donnes requises pour lancer le Job slectionn. Elle indique galement comment utiliser le fichier gnr avec la commande crontab sous Unix ou le programme de planification des tches sous Windows. 1. Cliquez sur licne dans le coin suprieur droit de la vue Scheduler.
116
Lancer un Job priodiquement
La bote de dialogue [Open Scheduler] souvre.
2. 3. 4. 5.
Dans la liste Project, slectionnez le projet contenant le Job que vous souhaitez lancer priodiquement. Cliquez sur le bouton [...] ct du champ Job et slectionnez le Job que vous souhaitez lancer intervalles rguliers. Dans la liste Context, sil y a plusieurs contextes, slectionnez celui avec lequel vous souhaitez excuter le Job. Paramtrez lheure et la date complte dexcution de cette tche. La commande qui sera utilise pour lancer le Job slectionn est gnre automatiquement et jointe la tche dfinie.
6.
Cliquez sur Add this entry pour valider votre tche et fermer la bote de dialogue. Les paramtres de la tche planifie sont lists dans la vue Scheduler.
7.
Cliquez sur licne dans le coin suprieur droit de la vue Scheduler pour gnrer un fichier crontab qui contiendra toutes les donnes requises pour lancer le Job slectionn. La bote de dialogue [Save as] souvre.
8.
Parcourez votre rpertoire pour dfinir le chemin daccs au fichier crontab que vous gnrez, dans le champ File name, saisissez un nom pour le fichier crontab puis cliquez sur Save pour fermer la bote de dialogue. Le fichier crontab correspondant la tche slectionne est gnr et stock localement lemplacement dfini.
9.
Sous Unix, collez le contenu du fichier crontab dans la configuration crontab de votre systme Unix. Sous Windows, installez un programme de planification de tche qui utilisera le fichier crontab gnr pour lancer le Job.
117
Utiliser les composants tPrejob et tPostjob
Vous pouvez utiliser licne de lune des tches affiches.
pour supprimer lune des tches affiches et licne
pour diter les paramtres
4.5.6. Utiliser les composants tPrejob et tPostjob

Les parties pr-job et post-job saffichent en tant que composants dans lespace de modlisation graphique, ils sont donc disponibles dans la Palette de composants. Pour utiliser ces composants tPrejob et tPostjob, dposez-les simplement dans lespace de modlisation graphique comme vous le feriez avec dautres composants. Un carr orange affiche les parties pr et post-job qui sont des types diffrents de sous-jobs. Notez cependant que leur utilisation diffre lgrement de celle des composants habituels, puisque ces deux composants ne traitent ni des donnes ni des flux, mais ont t crs pour vous permettre de rendre votre Job plus clair. Puisque les composants tPrejob et tPostjob nont pas t crs pour le traitement de donnes, ils ne peuvent tre excuts en multi thread. Les tches du tPrejob et du tPostjob sont excutes une fois pour les sous-jobs suivants, quils soient excuts en squence ou en parallle. Connectez aux tPrejob et tPostjob tous les composants organisant les tches qui ne sont pas directement relies au traitement des donnes, ou le sous-job principal pour permettre lorchestration du traitement qui suivra.
Les tches ncessitant lutilisation dun composant tPrejob sont par exemple : le chargement dinformations de contexte requises pour lexcution du sous-job, louverture dune connexion une base de donnes, la vrification quun fichier existe.
118
Utiliser la fonctionnalit Use Output Stream
De nombreuses autres tches collatrales votre Job pouvant affecter la lisibilit de lensemble de votre Job peuvent aussi ncessiter un composant pr-job. Les tches ncessitant lutilisation dun composant tPostjob sont par exemple : la suppression des fichiers dun dossier ou la suppression dun fichier, toute tche devant tre excute mme si le sous-job prcdent a chou.
4.5.7. Utiliser la fonctionnalit Use Output Stream

La fonctionnalit Use Output Stream vous permet de traiter les donnes au niveau des octets via une classe java.io.outputstream() crivant les donnes l'aide d'un flux binaire sans charger les donnes en mmoire. Lors du traitement des donnes en un format linraire, par exemple, lorsque toutes les donnes sont de format String, cette fonctionnalit vous permet d'amliorer les performances globales en sortie.
La fonctionnalit Use Output Stream se trouve dans la vue Basic settings d'un grand nombre de composants, comme le tFileOutputDelimited. Pour utiliser cette fonctionnalit, cochez la case Use Output Stream de la vue Basic settings d'un composant contenant cette option. Dans le champ Output Stream ainsi activ, dfinissez votre flux de sortie l'aide d'une commande. Avant d'utiliser la fonctionnalit de flux de sortie, vous devez avoir ouvert un flux. Pour un exemple dtaill de ce prrequis et de l'utilisation de cette fonctionnalit, consultez Section B.2, Utilisation de la fonctionnalit Output Stream . Pour un exemple de Job utilisant cette fonctionnalit, consultez le second scnario du composant tFileOutputDelimited, dans le Guide de rfrence des Composants Talend Open Studio. Pour un exemple dtaill de l'utilisation de cette fonctionnalit, consultez Section B.2, Utilisation de la fonctionnalit Output Stream . Pour un exemple de Job utilisant cette fonctionnalit, consultez le composant tFileOutputDelimited dans le Guide de rfrence des Composants Talend Open Studio.
4.6. Gestion des Jobs : Autres fonctions

Les sections suivantes fournissent des informations dtailles concernant divers sujets lis la gestion de Jobs dintgration de donnes, comme la dfinition des composants de dbut (start), la gestion des erreurs, lutilisation des composants tPrejob et tPostjob, ainsi que la recherche de Jobs utilisant des composants spcifiques.
119
Partager une connexion une base de donnes
4.6.1. Partager une connexion une base de donnes

Si vous avez plusieurs Jobs utilisant une connexion la mme base de donnes, vous pouvez dornavant factoriser cette connexion en utilisant loption Use or Register a shared connection. Cette case cocher a t ajoute tous les composants de connexion afin de rduire le nombre douvertures et de fermetures de connexion. Si vous avez deux Jobs lis (un Job parent et un Job fils) et que ces deux Jobs ncessitent une connexion la mme base de donnes MySQL distante, effectuez la procdure suivante : 1. 2. Cliquez-glissez un composant tMysqlConnection (si vous travaillez avec une base de donnes MySQL). Connectez-le au premier composant de votre Job pre.
3. 4.
Dans la vue Component du composant de connexion, cochez la case Use or Register a shared connection. Dans le champ Shared DB Connection Name, donnez un nom cette connexion que vous souhaitez partager.
Vous pouvez rutiliser cette connexion dans votre Job fils (et dans tout autre Job utilisant une connexion cette mme base de donnes). 5. Suivez les mmes tapes prsentes ci-dessus et utilisez le mme nom dans le champ Shared DB Connection Name.
Pour plus dinformations concernant lutilisation des composants de connexion, consultez le Guide de rfrence des Composants Talend Open Studio.
120
Configurer un composant Start
4.6.2. Configurer un composant Start

Le composant Start est le composant dclencheur des processus. Il peut y avoir plusieurs composants Start dans un Job Design si plusieurs traitements de flux sexcutent en parallle. Mais pour un mme flux ainsi que les flux secondaires connects, un seul composant peut tre Start. Dposez un composant dans lditeur graphique. Tous les composants susceptibles dtre un composant Start, prennent une couleur darrire-plan distinctive (vert). Vous pouvez remarquer que la plupart des composants peuvent tre des composants Start et dbuter un processus. Seuls certains composants ne peuvent tre de type start, notamment le composant tMap, par exemple.
Pour identifier quel composant dbutera le processus, distinguez dabord le flux principal des flux secondaires de votre job. Le flux principal doit connecter un composant un autre laide dune connexion de type Row main. Le composant Start est alors automatiquement dfini sur le premier composant du flux principal (icne dont larrireplan est vert). Les flux secondaires sont connects laide de connexion de type Row lookup et non plus main. Cette connexion Lookup tient lieu de rfrence, qui enrichit le flux principal de nouvelles donnes. Vous pouvez changer le statut du composant Start et par consquent le flux principal et secondaire, en modifiant une connexion Row Main en connexion Lookup, simplement via un simple clic droit sur la connexion. Voir galement : Section 4.3.1, Types de connexions . Section 5.1, Activation/Dsactivation dun Job ou dun sous-job .
4.6.3. Grer les icnes davertissement/derreur sur les composants

Lorsque les proprits dun composant ne sont pas correctement dfinies et contiennent une ou plusieurs erreur(s) empchant le code du Job de se compiler correctement, des icnes derreur safficheront automatiquement ct de licne du composant dans lespace de modlisation graphique, et ct du nom du Job dans la vue Repository.
121
Grer les icnes davertissement/derreur sur les composants
4.6.3.1. Icnes derreur et davertissement sur les composants

Lorsquun composant nest pas correctement configur, ou si une connexion vers un autre composant manque, un cercle rouge contenant une croix blanche (icne derreur), ou un triangle avec un point dexclamation (icne davertissement) est plac sur licne du composant. Placez votre souris sur le composant pour faire apparatre les messages derreur et davertissement. Cette aide contextuelle vous informe sur les donnes manquantes ou le statut du composant.
Lorsque les bulles daide dun composant indiquent quun module est requis, vous devez installer ce module pour ce composant via la vue Module. Cette vue est masque par dfaut. Pour plus dinformations concernant linstallation de modules externes laide de cette vue, consultez la Section 4.5.4, Installer des modules externes .
4.6.3.2. Icne derreur sur un Job

Lorsque les paramtres dun composant contiennent une ou plusieurs erreurs pouvant empcher le code du Job de se compiler correctement, une croix blanche sur fond rouge apparat sur licne du Job ct de son nom dans le Repository.
Licne derreur apparat aussi ct du nom du Job dans longlet de lespace de modlisation. La compilation ou la gnration de code a uniquement lieu dans les cas suivants : louverture dun Job, le passage longlet Code viewer, lexcution du Job (en cliquant sur Run), lenregistrement du Job. Licne derreur apparatra lorsque vous effectuerez lune de ces actions. De plus, lexcution du Job, la bote de dialogue [Find Errors in Jobs] affichera la source et une courte description de chaque erreur rencontre.
122
Ajouter une Note au Job
Cliquez sur Cancel pour arrter lexcution ou sur Continue pour continuer lexcution de votre Job. Pour plus dinformations concernant les erreurs dans les composants, consultez la Section 4.6.3, Grer les icnes davertissement/derreur sur les composants .
4.6.4. Ajouter une Note au Job

Slectionnez llment Note dans la famille Misc de la Palette puis dposez llment Note dans lditeur pour ajouter un commentaire sur un composant particulier ou sur lensemble de votre Job.
Vous pouvez modifier la mise en forme de vos notes. Pour cela, slectionnez la note puis cliquez sur longlet Basic settings de la vue Component.
La case Opacity permet dafficher ou non la couleur de fond de la note. Elle est coche par dfaut lorsque vous ajoutez une note. Si vous dcochez cette case, le fond de la note devient transparent. Les options Fonts and Colors permettent de modifier le style, la taille, la couleur, etc. de la police, ainsi que la couleur du fond et des bordures de votre note. Les options Adjust horizontal et Adjust vertical permettent de dfinir lalignement vertical et horizontal du texte dans la note. Le champ Text contient le texte apparaissant dans la note.
123
Afficher les onglets Code ou Outline de votre Job
4.6.5. Afficher les onglets Code ou Outline de votre Job

Ce panneau est situ sous la vue Repository. Il fournit des informations prcises concernant le Job ou le Business Model ouvert dans lespace de modlisation graphique. Cette zone Information est compose de deux onglets, Outline et Code Viewer, qui fournissent des informations concernant le diagramme affich dans lespace de modlisation (Job ou Business Model).
4.6.5.1. Outline
Longlet offre un aperu rapide du Business Model ou du Job Design ouvert dans lespace de modlisation graphique mais aussi une arborescence de tous les lments utiliss dans le Job ou le Business Model. Comme lespace de modlisation graphique, et comme toute zone de toute fentre peut tre rduit(e) ou agrandi(e) selon vos besoins, la vue Outline est utile pour savoir o vous tes dans lespace de modlisation graphique.
La partie du diagramme visible dans lespace de modlisation est mise en vidence laide dun rectangle bleu. Cliquez sur la zone bleue de laperu et dplacez-la pour afficher une autre partie du processus. Remarquez que la vue de lespace de travail se dplace de la mme manire. La vue Outline peut galement afficher un arborescence des composants utiliss dans le diagramme. Dveloppez le nud dun composant pour afficher la liste des variables disponibles pour ce composant. Pour passer dun aperu un autre, cliquez sur les icnes correspondantes en haut droite.
124
Grer laffichage dun sous-job
4.6.5.2. Code viewer

Longlet Code viewer donne un aperu des lignes de code gnres pour le composant slectionn, sous la vue active du Job Design, ainsi que le menu dexcution, comprenant les lments Start, Body et End correspondant aux phases dexcution de ce composant. Cette vue ne concerne que le code produit dans un Job Design. En effet, aucun code nest gnr partir des Business Models. A laide de laperu de code en couleur, vous pouvez distinguer les diverses parties dun code dun composant slectionn dans lespace de modlisation. Cet aperu est une vue partielle de longlet principal Code, situ en bas de lditeur graphique, qui lui, affiche le code gnr pour lensemble du Job.
4.6.6. Grer laffichage dun sous-job

Un sous-job est reprsent par un rectangle bleu regroupant tous les composants constituant ce sous-job. Chaque composant peut tre considr comme un sous-job lorsquil nest pas connect un autre composant.
Ce surlignage bleu vous permet de distinguer plus facilement un sous-job dun autre. Un Job peut tre compos dun seul sous-job. Les rectangles oranges correspondent aux pr-jobs et aux post-jobs, qui sont diffrents des sous-jobs. Pour plus dinformations sur les pr-jobs et les post-jobs, consultez Section 4.5.6, Utiliser les composants tPrejob et tPostjob .
4.6.6.1. Personnaliser les sous-jobs

Les rectangles reprsentant vos sous-jobs peuvent tre mis en forme dans un soucis de clart. Pour cela, slectionnez votre sous-job et cliquez sur la vue Component.
Dans la vue Basic settings, cochez la case Show subjob title si vous souhaitez ajouter un titre au sous-job et dans le champ Title, saisissez le titre. Pour modifier la couleur du titre ou du sous-job : 1. Dans la vue Basic settings, cliquez sur le bouton Title color/Subjob color pour afficher la bote de dialogue [Colors].
125
Grer laffichage dun sous-job
2.
Slectionnez la couleur que vous souhaitez. Par dfaut, le titre est bleu et le sous-job bleu transparent.
4.6.6.2. Rduire laffichage des sous-jobs

Si votre Job est compos de nombreux sous-jobs, vous pouvez les rduire dans un soucis de lisibilit. Des signes moins [-] et plus [+] en haut droite de vos sous-jobs vous permettent de rduire et de restaurer laffichage de vos sous-jobs.
Cliquez sur le signe moins [-] pour rduire le sous-job (capture dcran de gauche). Quand il est rduit, seul le premier composant du sous-job apparat. Cliquez sur le signe [+] pour le restaurer (capture dcran de droite).
4.6.6.3. Supprimer le surlignage dun sous-job

Si vous ne souhaitez surligner vos sous-jobs, vous pouvez enlever le surlignage de tous vos sous-jobs ou dun sous-jobs prcis. Pour enlever le surlignage de tous vos sous-jobs, cliquez sur licne Toggle Subjobs dans la barre doutils de Talend Open Studio for Data Integration.
Pour enlever le surlignage dun sous-job, cliquez-droit sur ce sous-job et slectionnez loption Hide subjob dans le menu contextuel.
126
Paramtrage des options dans la vue Job
4.6.7. Paramtrage des options dans la vue Job

Dans la vue Job, situe un bas de lditeur, vous pouvez dfinir des fonctions optionnelles du Job. Cette vue est compose de quatre onglets, dont les onglets Stats & Logs et Extra. Longlet Stats & Logs vous permet dutiliser de manire automatique les fonctions Stats & Logs et la fonction dautomatisation des paramtres de Contexte. Pour plus dinformations, consultez Section 4.6.7.1, Automatiser lutilisation de statistiques & logs . Longlet Extra liste les diffrentes options disponibles pour automatiser certaines fonctions, notamment lutilisation des paramtres de contexte dans la zone Implicit Context Loading. Pour plus dinformations, consultez Section 4.6.7.2, Fonctions Extra .
4.6.7.1. Automatiser lutilisation de statistiques & logs

Si vous utilisez souvent les fonctions Logs, Statistics et toute autre mesure de votre flux de donnes, vous devez grer beaucoup de composants lis aux logs dans vos Job Designs. A laide de longlet Stats & Logs, vous pouvez automatiser lutilisation des fonctionnalits de tFlowMeterCatcher, tStatCatcher et tLogCatcher sans utiliser ses composants dans votre Job. Pour plus dinformations sur les composants de Log, consultez le Guide de Rfrence des Composants Talend Open Studio. Longlet Stats & Logs est situ dans la vue Job sous lespace de modlisation et vous permet dviter de surcharger vos Jobs avec des composants. Cette configuration a les mmes proprits gnrales de log que les composants de Log. Pour paramtrer les proprits Stats & Logs : 1. 2. Cliquez sur la vue Job. Slectionnez longlet Stats & Logs pour afficher la vue de configuration.
127
Paramtrage des options dans la vue Job
Lorsque vous utilisez une connexion une base de donnes, par exemple JDBC, vous devez crer manuellement les tables log, stats et meter. 3. 4. Renseignez les informations en fonction de votre composant de sortie (console, fichier ou base de donnes). Vrifiez que loption Catch correspond bien vos besoins. Vous pouvez enregistrer automatiquement ces configurations dans vos Prfrences. Ou sinon, accdez vos prfrences dans Window > Preferences > Talend > Stats & Logs. Lorsque vous utilisez les options Stats & Logs pour lun de vos jobs, vous avez la possibilit dappliquer ces mmes options ses sous-jobs.
Pour cela, cliquez sur le bouton Apply to sub jobs dans longlet Stats & Logs de la vue Job. Ainsi, les options slectionnes pour votre Job principal seront slectionnes pour tous ses sous-jobs.
4.6.7.2. Fonctions Extra

Longlet Extra vous offre des options de paramtrage des donnes de contexte. Cochez la case Multithread execution pour lancer deux Jobs au mme moment.
128
Chercher un Job utilisant un composant particulier
Vous pouvez cocher loption Implicit tContextLoad pour viter dutiliser le composant tContextLoad dans votre Job et ainsi automatiser lutilisation des paramtres de contexte. Choisissez la source de vos paramtres de contexte : File ou Database et configurez manuellement laccs aux fichiers ou la base de donnes. Configurez les messages (erreur/warning/info) lorsque des comportements inattendus lis aux paramtres de contexte surviennent. Si vous avez renseign manuellement loption Implicit tContextLoad, vous avez la possibilit denregistrer ces paramtres dans les paramtres de votre projet en cliquant sur le bouton Save to project settings, et, ainsi, rutiliser ces paramtres pour dautres composants et dans dautres jobs. Vous avez la possibilit de rcuprer les paramtres de contexte dj dfinis dans les paramtres du projet (Project Settings) en cochant la case Use Project Settings. En cochant cette case, loption Implicit tContextLoad sera active et tous les champs seront renseigns automatiquement. Pour plus dinformations sur les paramtres de contexte, consultez Section 2.6.6, Dfinir les paramtres de contexte . Vous avez aussi la possibilit de rafrachir les paramtres de contexte rcuprs des paramtres du projet en cliquant sur le bouton Reload from project settings.
4.6.8. Chercher un Job utilisant un composant particulier

Vous devez ouvrir au moins un Job dans votre Studio afin dafficher la Palette droite de lespace de modlisation graphique et lancer la recherche. A partir de la Palette, vous avez la possibilit de rechercher tous les Jobs utilisant le composant slectionn. Pour ce faire : 1. Dans la Palette, cliquez-droit sur le composant que vous cherchez et slectionnez loption Find Component in Jobs.
Une barre de progression saffiche pour vous indiquer lvolution de la recherche en pourcentage, puis la bote de dialogue [Find a Job] saffiche lcran et donne la liste de tous les Jobs utilisant ledit composant. Guide Utilisateur de Talend Open Studio for Data Integration 129
Configurer les valeurs par dfaut dans le schma d'un composant
2.
Dans la liste des Jobs, slectionnez celui qui vous intresse puis cliquez sur OK pour louvrir dans lespace de modlisation graphique.
4.6.9. Configurer les valeurs par dfaut dans le schma d'un composant
Vous pouvez configurer des valeurs par dfaut dans le schma de certains composants pour remplacer des valeurs nulles rcupres de la source de donnes. Pour le moment, seuls les tFileInputDelimited, tFileInputExcel et tFixedFlowInput supportent les valeurs par dfaut dans le schma. Dans l'exemple suivant, les champs company et city de certains enregistrements du fichier CSV source sont laisss blancs, comme dans la capture d'cran ci-dessous. Le composant d'entre lit des donnes du fichier source et complte les informations manquantes l'aide des valeurs par dfaut dans le schma, Talend et Paris respectivement. id;firstName;lastName;company;city;phone 1;Michael;Jackson;IBM;Roma;2323 2;Elisa;Black;Microsoft;London;4499 3;Michael;Dujardin;;;8872 4;Marie;Dolvina;;;6655 5;Jean;Perfide;;;3344 6;Emilie;Taldor;Oracle;Madrid;2266
130
7;Anne-Laure;Paldufier;Apple;;4422 Pour configurer des valeurs par dfaut : 1. Double-cliquez sur le composant d'entre afin d'afficher sa vue Basic settings.
Dans cet exemple, les mtadonnes du composant d'entre sont stockes dans le Repository. Pour plus d'informations concernant la cration de mtadonnes dans le Repository, consultez la Section 4.4.1, Centraliser les mtadonnes . 2. Cliquez sur le bouton [...] ct du champ Edit schema et slectionnez l'option Change to built-in property dans la bote de dialogue afin d'ouvrir l'diteur du schma. Saisissez Talend entre guillemets dans le champ Default pour la colonne company. Saisissez Paris entre guillemets dans le champ Default pour la colonne city et cliquez sur OK pour fermer l'diteur de schma.
3.
131
4.
Configurez le composant de sortie tLogRow pour afficher les rsultats d'excution comme vous le souhaitez et excutez le Job.
Dans le flux de donnes de sortie, les informations manquantes sont compltes selon les valeurs configures par dfaut.
132
Chapitre 5. Gestion des Jobs dintgration de donnes

Ce chapitre dcrit les procdures de gestion des Jobs crs dans Talend Open Studio for Data Integration, ainsi que des autres lments inclus dans un projet, par exemple les routines ou les mtadonnes. Ces procdures de gestion comprennent limport et lexport de Jobs et dlments entre diffrents projets ou ordinateurs, ainsi que la programmation de lexcution et lexcution de Jobs et leur dploiement sur des serveurs distants, ainsi que la copie des Jobs dans diffrentes branches SVN. Avant de commencer un processus mtier, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez la Annexe A, Interface de Talend Open Studio for Data Integration .
Activation/Dsactivation dun Job ou dun sous-job
5.1. Activation/Dsactivation dun Job ou dun sous-job

Vous pouvez activer ou dsactiver un composant, et par ce biais, un Job entier ou un Job secondaire (subjob) directement connect au composant slectionn. Par dfaut, le composant est activ. Dans la fentre de Proprits Main du composant slectionn, cochez ou dcochez la case Activate.
Vous pouvez aussi faire un clic-droit sur le composant et slectionnez la commande Activate/Deactivate qui saffiche en fonction du statut courant du composant. Si vous dsactivez un composant, aucun code ne sera gnr et vous ne pourrez ni ajouter ni modifier de liens partir de ce composant vers des composants actifs ou nouveaux. Voir galement : Section 4.6.2, Configurer un composant Start .
5.1.1. Dsactiver un composant de dbut (Start)

Dans le cas o un composant Start est dsactiv, les composants de tout type, ainsi que les connexions de toute nature, relis directement et indirectement lui, seront dsactivs galement.
5.1.2. Dsactiver un composant intermdiaire

Lorsque vous dcochez la case Activate dun composant standard (non Start), seul le composant en question et ses connexions directes sont dsactivs. Si le lien reliant un composant dsactiv un sous-job est un lien direct de type Row main (principal), alors tous les composants de ce sous-job seront galement dsactivs.
134
Import/export dlments ou de Jobs
5.2. Import/export dlments ou de Jobs

Talend Open Studio for Data Integration vous permet dimporter/exporter vos Jobs ou vos lments partir de/ vers diffrents projets ou diffrentes versions du Studio. Il vous offre galement la possibilit dexporter des Jobs et ainsi de dployer et dexcuter les Jobs crs dans le Studio sur nimporte quel serveur.
5.2.1. Import dlments

Vous pouvez prsent importer des lments stocks dans le workspace des versions antrieures de Talend Open Studio for Data Integration ou dun autre projet de votre workspace courant. Les lments que vous pouvez importer sont : Business Models Jobs Designs Routines Documentation Metadata Pour importer des lments vers un Rfrentiel, suivez les tapes suivantes : 1. Dans le Repository, cliquez-droit sur nimporte quelle entre, notamment Job Designs ou Business Models puis, dans le menu contextuel, slectionnez loption Import Items.
Vous pouvez galement cliquer sur l'icne 2.
dans la barre d'outils.
Dans la bote de dialogue qui s'ouvre, slectionnez le rpertoire ou le fichier archive contenant les lments que vous souhaitez extraire. Si vous avez export les lments de votre rfrentiel local dans un fichier archive (fichiers source et scripts inclus), utilisez l'option Select archive file, slectionnez le dossier contenant larchive puis passez l'tape suivante. Si les lments importer sont encore stocks sur le rfrentiel local, utilisez l'option Select root directory et slectionnez le dossier du projet dans votre systme puis passez l'tape suivante.
3.
Slectionnez le dossier correspondant au Projet dans le rpertoire Workspace. Il correspond au nom du projet que vous crez auparavant.
135
Import dlments
4.
Si vous souhaitez importer des lments spcifiques, notamment les Job Designs, slectionnez le dossier correspondant, tel que Process dans lequel tous les Job designs du projet sont stocks. Si vous souhaitez importer des Business Models, slectionnez le dossier : BusinessProcess. Mais si votre projet regroupe diffrents types dlments (Business Models, Jobs Designs Mtadonnes, Routines...), nous vous conseillons de slectionner le Projet en entier afin de tout importer en une seule fois. Cliquez sur OK pour continuer.
5.
136
Export de Jobs vers une archive
6.
Cochez la case overwrite existing items si vous souhaitez craser les lments existants par ceux ayant le mme nom et devant tre imports. Cela va rafrachir la liste Items List. Tous les lments valides pouvant tre exports sont affichs dans la liste Items List. Par dfaut, tous les lments sont slectionns mais vous pouvez les dslectionner tous ou individuellement. Cliquez sur Finish pour valider limport. Les lments imports seront sauvegards dans le dossier correspondant sur le rfrentiel en fonction de leur nature. Sil y a plusieurs versions dun mme lment, elles seront toutes importes dans le Projet en cours, condition que vous nayez pas dlment identique dj existant.
7.
8.
5.2.2. Export de Jobs vers une archive

La fonction Export Job vous permet de dployer et dexcuter un Job partir de nimporte quel serveur, indpendamment de Talend Open Studio for Data Integration.
137
Lexport de Job ajoute larchive tous les fichiers ncessaires lexcution dun Job, savoir les fichiers .bat et .sh, ainsi que tous les fichiers de paramtres de contexte ou fichiers lis. Pour exporter des Jobs, procdez comme suit : 1. Dans larborescence Repository, cliquez-droit sur le Job que vous voulez exporter et slectionnez Export Job pour ouvrir la bote de dialogue [Export Job]. Vous pouvez directement afficher ou cacher, dans la bote de dialogue [Export Job] , larborescence de tous les Jobs ayant t crs dans Talend Open Studio for Data Integration, en cliquant respectivement sur les boutons et . Les Jobs que vous avez prcdemment slectionns dans larborescence du Studio saffichent, prcds dune case coche. Cette fonctionnalit permet de modifier les lments slectionns pour les exporter directement partir de la bote de dialogue, sans avoir la fermer et retourner larborescence Repository dans Talend Open Studio for Data Integration.
2. 3. 4. 5. 6.
Dans le champ To archive file, cliquez sur le bouton Browse... et parcourez jusquau rpertoire dans lequel vous souhaitez sauvegardez votre Job export. Dans la zone Job Version, slectionnez la version du Job que vous souhaitez exporter, si vous en avez cr plusieurs versions. Dans la liste Export Type, slectionnez le type dexport. Les diffrents types sont : Autonomous Job, Autonomous Route, Axis WebService (WAR), Axis WebService (Zip),JBoss ESB, Petals ESB. Dans la zone Extract the zip file, cochez la case pour exporter larchive et sa version extraite de votre Job. Dans la zone Options, slectionnez le type de fichiers que vous souhaitez ajouter larchive. Les options correspondant aux fichiers ncessaires lexcution du Job sont coches par dfaut, vous pouvez nanmoins les dcocher en fonction de ce que vous souhaitez exporter. Option Shell launcher Description Cochez cette case pour exporter les fichiers .bat et/ou .sh ncessaires au lancement du Job export. All : exporte les fichiers .bat et .sh,
138
Option
Description Unix : exporte le fichier .sh, Windows : exporte le fichier .bat.
System routines User routines Java classes Source files
Cochez cette case pour exporter les routines systme. Cochez cette case pour exporter les routines utilisateur. Cochez cette case pour exporter le fichier .java contenant les classes Java gnres par le Job lors de sa cration. Cochez cette case pour exporter les sources utiliss par le Job durant son excution, notamment les fichiers .item et .properties, ainsi que les sources Java et Talend. Si vous cochez la case Source files, vous pouvez rutiliser le Job export dans un Talend Open Studio for Data Integration install sur une autre machine. Ces fichiers source sont uniquement utiliss dans Talend Open Studio for Data Integration.
Required Talend modules Cochez cette case pour exporter les modules Talend.
Export Dependencies Context script
Cochez cette case si vous souhaitez exporter les dpendances de votre Job, comme les contextes, les routines, les connexions, etc. Cochez cette case pour exporter TOUS les fichiers de paramtres de contexte et pas uniquement ceux slectionns dans la liste correspondante. Pour exporter un contexte, slectionnez le contexte rpondant vos besoins dans la liste Context script, notamment les fichiers .bat ou .sh contenant les paramtres de contexte appropris. Vous pouvez ensuite, si vous le souhaitez, ditez les fichiers .bat et .sh pour modifier manuellement le type de contexte.
Apply to children
Cochez cette case si vous souhaitez appliquer le contexte slectionn dans la liste tous les Jobs fils.
7.
Cliquez sur le bouton Override parameters values, si ncessaire. Une fentre souvre, dans laquelle vous pouvez mettre jour les paramtres et les valeurs de contexte du Job slectionn ou ajouter de nouveaux paramtres ou de nouvelles valeurs, selon vos besoins.
8.
Cliquez sur Finish pour valider les changements effectus, finaliser lexport et fermer la bote de dialogue.
Un fichier zip des Jobs est alors cr lendroit prdfini. Si le Job exporter appelle une Routine personnalise contenant une ou plusieurs classe(s) Java en parallle avec la classe publique nomme de la mme faon que la routine utilisateur, la ou les classe(s) supplmentaire(s) ne sera (seront) pas incluse(s) dans le fichier export. Pour exporter ces classes, vous devez les inclure en tant que sous-classes dans la classe ayant le mme nom que la routine. Pour plus dinformations concernant les routines utilisateur, consultez Section 8.4, Gestion des routines personnalises . Pour plus dinformations concernant les classes et les sous-classes, consultez les manuels Java correspondants.
5.2.2.1. Exporter un Job en Autonomous Job

Dans le cas d'un export de Plain Old Java Object, si vous souhaitez rutiliser le Job dans Talend Open Studio for Data Integration install sur une autre machine, cochez la case Source files. Ces fichiers source (.item et .properties) sont uniquement utiliss dans Talend Open Studio for Data Integration.
139
Lorsque que plusieurs contextes sont proposs dans la liste Context script, slectionnez celui qui correspond vos besoins. Ensuite, cliquez sur le bouton Override parameters values, sous la case Context script. Une fentre souvre alors et affiche tous les paramtres du contexte slectionn. Dans cette fentre, vous pouvez configurer le contexte slectionn selon vos besoins. Tous les fichiers de paramtres de contexte sont exports et pas uniquement celui que vous avez slectionn dans la liste. Aprs lexport, les informations de contexte slectionnes sont stockes dans le fichier .bat/.sh. Les paramtres de contexte sont stocks dans le fichier de contextes .properties.
5.2.2.2. Exporter des Jobs en tant que WebService

Dans la bote de dialogue [Export Job], vous pouvez modifier le type dexport afin dexporter le Job slectionn dans une archive Webservice.
Slectionnez le type darchive que vous souhaitez utiliser dans votre application Web. Type darchive WAR Description Les options sont en lecture seule. En effet, larchive WAR gnre comprend tous les fichiers de configuration ncessaires lexcution ou au dploiement partir dune application Web. Toutes les options sont disponibles. Si tous les fichiers de configuration de votre application Web sont configurs, vous avez la possibilit de ne slectionner que les paramtres de contexte et de nexporter que les Classes dans larchive.
ZIP
Une fois que larchive est gnre, placez le fichier WAR ou le dossier Class du ZIP (ou des fichiers dcompresss) dans le rpertoire souhait de votre serveur dapplication Web. LURL utilise pour dployer votre Job ressemble la suivante : http://localhost:8080/NomAppWeb/services/NomJob?method=runJob&args=null Les paramtres sont les suivants : Paramtres de lURL http://localhost:8080/ /NomAppWeb/ /services/ /NomJob ?method=runJob&args=null Description Saisissez les hte et port de votre application Web. Saisissez le nom de votre application Web. Saisissez services comme terme dappel standard pour les services Web. Saisissez le nom exact du Job que vous souhaitez excuter. La mthode utilise pour excuter le Job est RunJob.
Le retour dappel de lapplication Web sest droul sans erreur (0), en cas derreur le chiffre affich sera diffrent de 0. Pour un cas rel de cration et dexport de Job en tant que service Web et de dploiement de ce Job partir dun navigateur Web, consultez la Section 5.2.2.3, Exemple dexport de Job en tant que service Web .
140
Le composant tBufferOutput a t conu spcialement pour ce type de dploiement. Pour plus dinformations concernant ce composant, consultez le Guide de rfrence des Composants Talend Open Studio.
5.2.2.3. Exemple dexport de Job en tant que service Web

Ce scnario dcrit, en premier temps, un simple Job crant un fichier .txt contenant la date en cours, ainsi que des noms et prnoms. En deuxime temps, ce Job est export en tant que service Web partir dun navigateur Web. Le Job export en tant que service Web renverra simplement le retour dappel fourni par le systme dexploitation.
Procdure 5.1. Crer le Job

1. 2. Dposez les composants suivants de la Palette dans lespace de modlisation : tFixedFlowInput et tFileOutputDelimited. Connectez le tFixedFlowInput au tFileOutputDelimited laide dun lien Row Main.
3. 4.
Dans lespace de modlisation, slectionnez le tFixedFlowInput et cliquez sur l'onglet Component pour paramtrer les proprits du tFixedFlowInput. Dans le champ Schema, slectionnez loption Built-In et cliquez sur le bouton [...] ct du champ Edit Schema afin de dcrire la structure des donnes que vous souhaitez crer partir des variables internes. Dans ce scnario, le schma est compos de trois colonnes : now, firstname et lastname.
5.
Cliquez sur le bouton [+] pour ajouter vos trois lignes de paramtres et dfinir vos variables. Cliquez sur OK pour fermer la bote de dialogue et acceptez la propagation des modifications lorsque le message de confirmation vous le demande. Les trois colonnes dfinies apparaissent dans le tableau Values de longlet Basic settings du composant tFixedFlowInput.
141
6.
Cliquez sur la cellule Value de chaque colonne dfinie et appuyez sur Ctrl+Espace pour accder la liste des variables globales et slectionnez TalendDate.getCurrentDate() pour la colonne now, talendDatagenerator.getFirstName pour la colonne firstname, talendDataGenerator.getLastName pour la colonne lastname. Dans le champ Number of rows, saisissez le nombre de lignes gnrer.
7.
8.
Dans lespace de modlisation, slectionnez le composant tFileOutputDelimited, cliquez sur l'onglet Component et, dans le champ File name, slectionnez le fichier de sortie. Paramtrez les autres proprits du composant, si ncessaire.
9.
Si vous appuyez sur F6 pour excuter le Job, trois lignes contenant la date en cours et des noms et prnoms seront crits dans le fichier de sortie dfini.
Procdure 5.2. Exporter le Job en tant que service Web

1. Dans la vue Repository, cliquez-droit sur le Job que vous venez de crer et slectionnez Export Job Scripts. La bote de dialogue Export Job Scripts apparat :
142
2.
Dans le champ To archive file, cliquez sur le bouton Browse... et slectionnez un rpertoire dans lequel enregistrer le fichier archive contenant votre Job. Dans la liste Job Version, vous pouvez renseigner la version que vous souhaitez exporter, si vous avez cr plusieurs versions de votre Job. Dans la liste Export type, slectionnez le type dexport que vous souhaitez utiliser dans votre application Web (WAR pour cet exemple) et cliquez sur Finish. La bote de dialogue [Export Job Scripts] disparat. Copiez le dossier War et collez-le dans le rpertoire du serveur dapplication Tomcat.
3.
4.
5.
Procdure 5.3. Invoquer le Job partir dun navigateur Web :

1. Saisissez lURL suivante dans votre navigateur : http://localhost:8080//export_job/services/export_job2? method=runJob dans lequel export_job correspond au nom de lapplication Web utilise pour le dploiement sur le Tomcat et export_job2 correspond au nom de votre job.
2.
Cliquez sur Enter pour excuter le Job partir de votre navigateur Web.
143
Le code retourn partir de votre application Web est 0 lorsquil ny a pas derreur et 1 si une erreur est apparue. Pour un cas rel de cration et dexport dun Job en tant que service Web via le composant tBufferOutput, consultez le Guide de rfrence des Composants Talend Open Studio.
5.2.2.4. Exporter un Job en tant que JBoss ESB

Talend Open Studio for Data Integration vous permet dexposer des Jobs Talend en tant que services dans JBoss ESB (Enterprise Service Bus) afin dexcuter ces Jobs dans le moteur de messagerie (le bus). Si vous souhaitez dployer et excuter votre Job sur un serveur JBoss ESB, assurez-vous que le jar spcifique JBoss ESB est bien install dans la bibliothque Java et apparat comme tel dans la vue Modules de Talend Open Studio for Data Integration. Pour plus dinformations concernant la vue Modules, consultez la Section 4.5.4, Installer des modules externes . Dans la bote de dialogue [Export Job Scripts], vous pouvez modifier le type dexport afin dexporter le Job slectionn dans une archive ESB. Le Job contenu dans cette archive peut ensuite tre automatiquement dploy sur le serveur JBoss. Pour exporter un Job en ESB : 1. 2. 3. Dans la zone Job Version, slectionnez la version du Job que vous souhaitez excuter sur le serveur JBoss ESB. Dans la liste Select export type de la zone Export type, slectionnez JBoss ESB. Dans la zone Option, slectionnez le type de fichiers que vous souhaitez ajouter larchive. Lorsque plusieurs contextes sont proposs dans la liste Context script, slectionnez celui qui correspond vos besoins. Cochez la case Apply to children si vous souhaitez appliquer le contexte slectionn dans la liste tous les Jobs fils. Pour exporter les sources utilises par le Job durant son excution, y compris les fichiers .item, .properties et les sources Java des Jobs et des routines, cochez la case Source files. Si vous cochez la case Source files, vous pouvez rutiliser le Job export dans un Talend Open Studio for Data Integration install sur une autre machine. Ces fichiers source sont utiliss uniquement dans Talend Open Studio for Data Integration. 5. Cochez la case Export Dependencies si vous souhaitez exporter les dpendances de votre Job, cest--dire les contextes, les routines, les connexions, etc.
4.
144
6. 7. 8. 9.
Dans la liste ESB Export type, slectionnez soit JBoss MQ, soit JBoss Messaging. Dans le champ Service name, saisissez le nom du service sur lequel dployer votre Job. Dans le champ Category, saisissez le nom de la catgorie du service sur lequel le Job sera dploy. Dans le champ Message Queue Name, saisissez le nom de la queue utilise pour le dploiement du Job.
10. Cliquez sur le bouton Browse... ct du champ To archive file et dfinissez le chemin daccs au fichier archive dans lequel vous souhaitez exporter le Job. Cliquez sur Finish. La bote de dialogue se ferme. Un indicateur de progression saffiche et vous montre le pourcentage davancement de lopration dexport. Le Job est export dans larchive slectionne. Au lancement du serveur, une fois larchive ESB copie dans le rpertoire de dploiement, le Job est automatiquement dploy et prt tre excut sur le serveur ESB.
5.2.2.5. Exporter un Job en tant que Petals ESB

Avec Talend Open Studio for Data Integration, il est possible dexporter des Jobs Talend en tant que services dans Petals ESB, afin de les excuter dans le serveur de messagerie applicative (le bus).
Intgrer Petals ESB dans Talend

Talend fournit une mthode aise pour exposer des services dans Petals ESB, et permet : lintgration de lapplication dans le bus : ceci permettra lintgration des systmes et applications dans toute lentreprise. linteraction des services : lESB tablit la connectivit entre les services, cest--dire quil permet la communication entre les services, mme si ceux-ci possdent diffrentes interfaces. LIntgration Mtier Java (Java Business Integration, JBI) est lapproche utilise pour implmenter une architecture oriente service (service-oriented architecture, SOA) et exporter des Jobs Talend dans Petals ESB. Petals ESB est complt par des Binding Components (BC) et le Service Engine (SE) Talend pour fournir : dabord, laccs aux mthodes inhrentes aux diffrents types de services comme le transfert de fichier(s), les services Web, le MOM, et ensuite, le moteur permettant de dployer le service. Pour plus dinformations concernant les interactions entre Petals et les Jobs Talend, consultez : http://doc.petalslink.com/display/petalsesb/A+Simple + Talend+Job. [http://doc.petalslink.com/display/petalsesb/A+Simple+Talend+Job] Avec lintgration de Talend et Petals ESB, vous pouvez excuter les Jobs crs dans Talend Open Studio for Data Integration dans Petals ESB. Pour plus dinformations, consultez la Section 5.2.2.5, Exporter un Job en tant que Petals ESB . Diffrents mcanismes sont fournis pour passer les informations et les donnes un Job et pour rcuprer des informations et des donnes partir dun Job. A laide de Talend Open Studio for Data Integration et de Petals ESB, vous pouvez excuter un Job nayant aucune interaction spcifique avec Petals. Vous pouvez : exposer un contexte en tant que paramtre dans le service WSDL, passer des fichiers joints un Job, passer des paramtres et options natifs un Job,
145
obtenir les rsultats dexcution du Job.
Comment exporter des Jobs vers Petals ESB

Dans la bote de dialogue [Export Jobs], vous pouvez exporter un Job slectionn en tant quarchive Petals ESB. Vous pouvez excuter le Job export dans le bus (le serveur de messagerie applicative). Pour exporter un Job en tant quarchive Petals ESB, procdez comme suit : 1. Dans la vue Repository, cliquez-droit sur le Job que vous souhaitez exporter, puis slectionnez Export Job dans le menu contextuel. La bote de dialogue [Export Jobs] souvre.
2.
Dans le champ To archive file, parcourez votre rpertoire afin de dfinir le chemin daccs larchive dans laquelle vous souhaitez exporter le script. Dans la liste Select the job version, slectionnez la version du Job que vous voulez exporter. Dans la liste Select export type, dans la zone Export type, slectionnez Petals ESB.
3. 4.
146
Les trois options suivantes, dans la zone Options sont slectionnes par dfaut : Singleton job, User Routines et Source file. Vous pouvez slectionner toute autre option qui vous parat ncessaire. Le tableau ci-dessous vous explique les options dexport : Option Singleton job Description Exporter le Job en tant que singleton : un Job singleton ne peut avoir quune seule instance lance la fois sur un serveur de messagerie applicative Talend dans Petals ESB.
Generate the end-point Gnre lend-point au moment du dploiement. Si cette option nest pas slectionne, le nom de lend-point sera le mme nom que le Job, avec le suffixe Endpoint. Validate Petals mes- Valide tous les messages / requtes par rapport au WSDL. sages Slectionner cette option rduit les performances de votre systme (accs au disque). User routines Source files Jobs contexts 5. Embarque les routines personnalises dans le service-unit. Embarque les fichiers source dans le service-unit gnr. Liste dans laquelle slectionner le contexte qui sera utilis par dfaut dans le Job.
Dans la bote de dialogue [Export Job], cliquez sur le lien Edit the exposed contexts afin douvrir la bote de dialogue [Context Export].
La bote de dialogue affichera une liste des toutes les variables de contexte utilises dans le Job export. Vous pouvez ici spcifier comment chaque variable de contexte doit tre exporte dans le fichier WSDL gnr. 6. Cliquez dans le champ Export Mode et slectionnez dans la liste le mode dexport pour chaque variable de contexte. Le tableau ci-dessous prsente les diffrentes options dexport : Export Mode Not exported Parameter In-Attachment Out-Attachment Description Le contexte nest pas export (non visible en tant que paramtre). Le contexte pourra toujours tre export en utilisant les paramtres natifs (options) du Job. Le contexte est export en tant que paramtre dans lopration WSDL. Le contexte transmettra l'emplacement d'un fichier temporaire dont le contexte tait joint au message d'entre. Le contexte sera lu aprs excution du Job.
147
Export Mode
Description -Ce contexte doit indiquer un fichier, -Le contenu du fichier sera lu par le serveur de messagerie applicative et joint la rponse, -Le nom du contexte sera utilis comme nom de pice jointe, -Le fichier sera supprim par le serveur de messagerie applicative juste aprs le chargement de son contenu.
Parameter and Out-At- Cette option est un mlange des modes Parameter et Out-Attachment. tachment -Le contexte est expos en tant que paramtre, Il sera galement lu aprs excution du Job, -Le fichier sera supprim dans tous les cas, -Lavantage de ce mode dexport est la dfinition dynamique du fichier de sortie. 7. 8. Cliquez sur OK afin de valider votre choix et fermer la bote de dialogue [Context Export]. Dans la bote de dialogue [Export Jobs], cliquez sur Finish. La bote de dialogue se ferme. Un indicateur de progression saffiche, afin de montrer le pourcentage davancement de lexport. Le Job est export dans larchive slectionne. Le Job Talend est maintenant expos en tant que service dans lESB Petals et peut tre excut dans le bus.
5.2.2.6. Exporter des Jobs en tant que bundle OSGI pour ESB
Dans la bote de dialogue [Export Jobs], vous pouvez changer le type d'export pour exporter le Job slectionn en tant que bundle OSGI, afin de dployer votre Job dans le conteneur OSGI de Talend ESB.
148
Export dlments
1.
Dans la zone Job Version, slectionnez le numro de version du Job que vous souhaitez exporter si vous en avez cr plus d'une version. Dans la zone Export Type, slectionnez OSGI Bundle For ESB afin d'exporter votre Job en tant que bundle OSGI. L'extension de votre export change automatiquement en .jar puisque c'est l'extension attendue par le conteneur OSGI de Talend ESB.
2.
3. 4.
Cliquez sur le bouton Browse... pour spcifier le dossier dans lequel exporter votre Job. Cliquez sur Finish afin de l'exporter.
5.2.3. Export dlments

Vous pouvez exporter plusieurs lments du Repository dans un rpertoire ou dans un fichier archive. Vous pouvez donc exporter des mtadonnes, notamment les informations de connexion aux bases de donnes (DB connection) ou de la Documentation en mme temps que votre Job ou votre Business Model, par exemple. Pour ce faire : 1. 2. Dans le Repository, slectionnez les lments que vous souhaitez exporter Pour une slection multiple, maintenez la touche Ctrl enfonce puis slectionnez les lments souhaits.
149
Export dlments
Si vous souhaitez exporter les mtadonnes dune table de base de donnes, veillez bien slectionner la totalit de votre DB connection et pas uniquement la table souhaite, afin que le processus dexport se droule correctement. 3. Maintenez la touche Ctrl enfonce et cliquez-droit sur llment exporter, puis slectionnez Export items dans le menu contextuel :
150
Changer les paramtres de contexte dun Job script
Au besoin, vous pouvez slectionner des lments supplmentaires exporter. 4. Slectionnez le rpertoire dans lequel vous souhaitez enregistrer les lments exports en cliquant sur Browse.... Sinon, dfinissez le fichier archive dans lequel les fichiers des lments slectionns seront compresss. Si vous avez plusieurs versions dun mme lment, elles seront toutes exportes. Cochez la case Export Dependencies si vous souhaitez dfinir et exporter les dpendances des routines avec les Jobs que vous exportez. Par dfaut, toutes les routines utilisateur sont slectionnes. Pour plus dinformations, consultez Section 8.1, Dfinition des routines 5. Cliquez sur Finish pour fermer la bote de dialogue et exporter les lments.
5.2.4. Changer les paramtres de contexte dun Job script

Comme expliqu dans les sections Section 5.2.2, Export de Jobs vers une archive , vous pouvez diter les paramtres de contexte : Si vous souhaitez changer le contexte slectionn, il vous suffit dditer les fichiers .bat ou.sh et de modifier le paramtre suivant : --context=Prod, pour le contexte correspondant. Si vous souhaitez changer des paramtres particuliers dun contexte, ditez le fichier .bat ou .sh et ajouter le paramtre dont vous avez besoin parmi ceux du tableau suivant :
151
Gestion des lments du Repository
Pour...
Paramtre key1=valeur1 --context_param
Changer la valeur1 pour le paramtre key1 --context_param key1=valeur1 Changer valeur1 et valeur2 des paramtres --context_param respectifs key1 et key2 key2=valeur2
Changer une valeur contenant des carac- --context_param key1=chemin daccs tres despace comme dans les chemins daccs
5.3. Gestion des lments du Repository

Talend Open Studio for Data Integration vous permet dditer les lments centraliss dans le Repository et de mettre jour les Jobs qui utilisent ces lments.
5.3.1. Grer les mises jour des lments du Repository

Vous pouvez mettre jour les paramtres des mtadonnes, des contextes ou des joblets centraliss chaque fois dans la vue Repository, afin dactualiser la connexion la base de donnes ou par exemple les dtails du groupe de contexte. Lorsque vous modifiez lun des paramtres dune entre de la vue Repository, tous les Jobs utilisant cette entre seront impacts par cette modification. Cest pourquoi le systme vous proposera de propager ces modifications tous les Jobs utilisant lentre du Repository. Les sections ci-dessous expliquent comment modifier les paramtres dentre du Repository et comment propager les modifications pour tous les Jobs ou une partie dentre eux utilisant lentre en question.
5.3.1.1. Modifier un lment du Repository

Pour actualiser les paramtres dun lment du Repository, procdez comme suit : 1. Dveloppez le nud Metadata, Contexts ou Joblets Designs dans la vue Repository et parcourez jusqu lentre correspondante que vous voulez actualiser. Cliquez-droit sur lentre et slectionnez dans le menu contextuel loption edit correspondante. Lassistant respectif apparat, vos permettant dditer chaque tape de la dfinition des paramtres dentre. Pour mettre jour les paramtres dentre, vous devez propager les modifications de plusieurs Jobs ou de tous les Jobs utilisant cette entre. Une bote de dialogue apparat automatiquement la fin de votre mise jour ou de vos modifications, quand vous cliquez sur le bouton Finish dans lassistant.
2.
152
Grer les mises jour des lments du Repository
3.
Cliquez sur Yes (Oui) pour fermer la bote de dialogue et excuter les modifications apportes tous les Jobs concerns. Pour plus dinformations concernant la premire mthode de propagation des modifications, consultez la Section 5.3.1.3, Mettre jour manuellement les Jobs impacts . Cliquez sur No (Non) si vous voulez fermer la bote de dialogue sans propager les changements. Cela vous permettra de propager manuellement, une par une, les modifications apportes aux Jobs concerns. Pour plus dinformations concernant la deuxime mthode de propagation des modifications, consultez la Section 5.3.1.3, Mettre jour manuellement les Jobs impacts .
5.3.1.2. Mettre jour automatiquement les Jobs impacts

Aprs avoir mis jour les paramtres de chaque lment centralis dans la vue Repository et utiliss dans diffrents Jobs, une bote de dialogue souvre et vous demande si vous souhaitez propager les modifications tous les Jobs utilisant ces paramtres. Pour mettre jour les Jobs impacts, procdez comme suit : 1. Cliquez sur Yes (Oui), si vous voulez que le systme cherche dans votre Repository les Jobs impacts par les modifications que vous venez de faire. Ceci a pour but de propager automatiquement la mise jour dans tous les Jobs (ouverts ou non), en un seul clic. La bote de dialogue [Update Detection] souvre et affiche tous les Jobs impacts par les changements.
153
Grer les mises jour des lments du Repository
Vous pouvez ouvrir la bote de dialogue [Update Detection] tout moment, si vous cliquez-droit sur llment centralis dans le Repository et que vous slectionnez Manage Dependencies dans le menu contextuel. Pour plus dinformations, consultez la Section 5.3.1.3, Mettre jour manuellement les Jobs impacts . 2. Dcochez la case correspondant aux Jobs que vous ne souhaitez pas mettre jour. Vous pouvez les mettre jour manuellement ultrieurement. Pour plus dinformations, consultez la Section 5.3.1.3, Mettre jour manuellement les Jobs impacts . Cliquez sur OK pour fermer la bote de dialogue et mettre jour les Jobs slectionns.
3.
5.3.1.3. Mettre jour manuellement les Jobs impacts

Avant de propager les modifications des Mtadonnes ou Contextes du Repository dans tous vos Jobs, vous souhaitez peut-tre voir les impacts que cela peut entraner. Pour ce faire, effectuez les oprations suivantes : 1. 2. Dans la vue Repository, dveloppez le nud contenant lentre dans laquelle vous souhaitez vrifier les Jobs lutilisant. Puis cliquez-droit sur cette mtadonne ou ce contexte et slectionnez loption Detect Dependencies dans le menu contextuel. Une barre de progression indique le processus de vrification de tous les Jobs utilisant les paramtres de mtadonne ou de contexte modifis. Une bote de dialogue souvre et affiche tous les Jobs utilisant cet lment mis jour.
3. 4.
Cochez les cases des Jobs mettre jour avec les mtadonnes ou les paramtres de contexte modifis et dcochez les cases des Jobs que vous ne souhaitez pas mettre jour. Cliquez sur OK pour valider et fermer la bote de dialogue. Les Jobs que vous naurez pas mis jour passeront automatiquement en Built-in, puisque le lien vers le Repository ne pourra pas tre maintenu. Cependant, les paramtres resteront les mmes que ceux dfinis avant les modifications.
154
Recherche dun Job dans le rfrentiel
5.4. Recherche dun Job dans le rfrentiel

Si vous souhaitez ouvrir un Job prcis dans Talend Open Studio for Data Integration et que vous narrivez pas le retrouver dans le vue Repository, cliquez simplement sur le bouton Pour chercher un Job dans la vue Repository : 1. Dans la barre doutils de Talend Open Studio for Data Integration, cliquez sur le bouton pour ouvrir la bote de dialogue [Find a Job] listant automatiquement tous les Jobs crs dans le Studio courant. de la barre doutils.
2.
Saisissez le nom ou une partie du nom du Job dans le champ en haut de la fentre. Lorsque vous commencez saisir le nom dans le champ, la liste des Jobs est automatiquement mise jour afin de nafficher que le ou les Jobs dont le nom correspond aux lettres saisies.
155
Gestion des versions dun Job
3. 4.
Slectionnez le Job souhait dans la liste et cliquez sur Link Repository pour afficher automatiquement le Job slectionn dans larborescence de la vue Repository. Si ncessaire, cliquez sur Cancel pour fermer la bote de dialogue et cliquez-droit sur le Job slectionn dans le Repository pour effectuer lune des oprations disponibles dans le menu contextuel. Sinon, cliquez sur OK pour fermer la bote de dialogue et ouvrir le Job slectionn dans lespace de modlisation.
5.5. Gestion des versions dun Job

Lorsque vous crez un Job dansTalend Open Studio for Data Integration, son numro de version par dfaut est 0.1 : 0 correspond la version majeure et 1 la version mineure. Si vous souhaitez crer plusieurs versions dun mme Job : 1. 2. 3. 4. Veillez fermer votre Job, sinon ses proprits seront en lecture seule et vous ne pourrez donc pas les modifier. Cliquez-droit sur le libell du Job dans le Repository et slectionnez Edit properties dans le menu contextuel. La bote de dialogue [Edit properties] souvre. Dans le champ Version, cliquez sur le bouton [M] pour incrmenter la version majeure et sur le bouton [m] pour incrmenter la version mineure. Cliquez sur Finish pour valider. Par dfaut, lorsque vous ouvrez un Job , vous ouvrez sa dernire version. Les versions prcdentes sont en lecture seule et ne peuvent donc plus tre modifies. Pour changer la version du Job , vous pouvez galement : 1. 2. 3. Fermer votre Job sil est ouvert dans lespace de modlisation graphique, sinon ses proprits seront en lecture seule et vous ne pourrez pas les modifier. Dans la vue Repository, cliquez-droit sur votre Job et slectionnez Open another version dans la liste droulante. Dans la bote de dialogue, cochez la case Create new version and open it, puis cliquez sur le bouton M pour incrmenter la version majeure, ou sur le bouton m pour incrmenter la version mineure.
156
Documentation du Job
4.
Cliquez sur Finish pour valider la modification et ouvrir la nouvelle version de votre Job .
Vous pouvez galement sauvegarder un Job et incrmenter sa version simultanment, en cliquant sur File>Save as... dans le menu contextuel. Cette option ncrase pas votre Job actuel , mais lenregistre en tant que nouveau Job avec une nouvelle version. Vous pouvez accder la liste des diffrentes versions de votre Job et effectuer certaines oprations. Pour ce faire : 1. 2. 3. 4. Dans la vue Repository, slectionnez le Job dont vous souhaitez consulter les versions. Cliquez sur Job > Version successivement pour afficher la liste des versions du Job slectionn . Cliquez-droit sur la version que vous souhaitez consulter. Slectionnez loption : Pour... ouvrir la dernire version du Job . Cette option nest disponible que lorsque vous slectionnez la dernire version du Job . Read job Open Job Hierarchy Edit properties consulter le Job en lecture seule. consulter la hirarchie du Job. diter les proprits du Job . Note : le Job ne doit pas tre ouvert dans lespace de modlisation graphique, sinon il sera en lecture seule. Cette option nest disponible que lorsque vous slectionnez la dernire version du Job . Run job excuter le Job.
Slectionnez Edit Job
Vous pouvez galement grer la version de plusieurs Jobs et/ou mtadonnes simultanment, ainsi que les Jobs et leurs dpendances et/ou leur(s) Job(s) fils, dans les paramtres des projets. Pour plus dinformations, consultez Section 2.6.2, Grer les versions .
5.6. Documentation du Job

Talend Open Studio for Data Integration vous permet de gnrer une documentation fournissant des informations gnrales concernant vos projets, vos Jobs ou vos joblets. Vous pouvez automatiser la gnration dune telle documentation et diter nimporte quel document gnr.
5.6.1. Gnrer la documentation HTML

Talend Open Studio for Data Integration vous permet de gnrer de la documentation dtaille au format HTML des Jobs slectionns dans le Repository de votre Studio. Cette auto-documentation comprend : les proprits du projet dans lequel les Jobs ont t crs, les proprits et les paramtres des Jobs slectionns ainsi quune image de chaque Job, la liste de tous les composants utiliss dans chaque Job slectionn, ainsi que les paramtres de ces composants.
157
Mettre la documentation jour
Pour gnrer un document HTML pour un Job, procdez comme suit : 1. 2. Dans le Repository, cliquez droit sur lun de vos Jobs ou slectionnez plusieurs Job Designs pour gnrer une documentation multiple. Slectionnez Generate Doc as HTML dans le menu contextuel.
3. 4. 5.
Renseignez le rpertoire dans lequel doit tre enregistr la documentation gnre. Dans le mme champ, renseignez le nom de larchive regroupant les documents gnrs. Cliquez sur Finish pour valider.
Le fichier archive contient les fichiers HTML ainsi que les dossiers correspondants. Ouvrez le fichier HTML dans votre navigateur prfr.
5.6.2. Mettre la documentation jour

Vous pouvez mettre manuellement jour votre documentation. Pour mettre un seul document jour : cliquez-droit sur la documentation que vous souhaitez mettre jour et slectionnez Update documentation.
5.7. Gestion de lexcution des Jobs

5.7.1. Dploiement dun Job sur un serveur SpagoBI
A partir de linterface Talend Open Studio for Data Integration, vous pouvez facilement dployer vos Jobs sur un serveur afin de les excuter partir de votre administrateur.
158
Dploiement dun Job sur un serveur SpagoBI
5.7.1.1. Crer une nouvelle connexion au serveur SpagoBI

Avant toute chose, renseignez les informations concernant votre serveur simple ou multiple dans Talend Open Studio for Data Integration. 1. 2. Cliquez sur le menu Window > Preferences pour ouvrir la bote de dialogue [Preferences]. Dveloppez les nuds Talend > Import/Export et slectionnez SpagoBI server pour afficher la vue adquate.
3. 4.
Cochez la case Enable/Disable Deploy on SpagoBI pour activer le dploiement. Cliquez sur New pour ajouter un nouveau serveur la liste des serveurs.
5.
Renseignez les informations du serveur SpagoBI, comme dcrit ci-dessous : Champ Engine Name Short description Host Login Password Description Saisissez le nom interne utilis dans Talend Open Studio for Data Integration. Ce nom nest pas utilis dans le code gnr. Saisissez une description du serveur que vous tes en train de crer. Adresse IP ou nom de l'hte de la machine sur laquelle SpagoBI fonctionne. Identifiant requis pour vous connecter au serveur SpagoBI. Mot de passe pour vous connecter au serveur SpagoBI.
159
6.
Cliquez sur OK pour valider ces informations et fermer la bote de dialogue.
La nouvelle entre est ajoute au tableau des serveurs disponibles. Vous pouvez ajouter autant dentre que vous le souhaitez. 7. Cliquez sur Apply et OK pour fermer la bote de dialogue [Preferences].
5.7.1.2. Editer ou supprimer un serveur

Pour supprimer une entre obsolte, slectionnez lentre dans le tableau, puis cliquez sur le bouton Remove. Puis, si ncessaire, crez une nouvelle entre contenant les informations mises jour.
5.7.1.3. Dployer vos Jobs sur un serveur SpagoBI

Suivez les tapes suivantes pour dployer vos Jobs sur un serveur :
1. 2. 3. 4.
A partir du Repository, dveloppez le nud Job Designs puis cliquez-droit sur le Job dployer. Dans la liste droulante, slectionnez Deploy on SpagoBI. Comme pour tout export de Job script, slectionnez le nom (Name) du Job qui sera export et renseignez le champ To archive file. Dans le champ SpagoBI server, slectionnez le serveur correspondant dans la liste droulante.
160
5.
Les champs Label, Name et Description seront pr-remplis avec les proprits principales dfinies lors de la cration du job. Slectionnez le contexte adquat dans la liste. Cliquez sur OK lorsque toutes les informations sont renseignes.
6. 7.
Les Jobs sont maintenant dploys sur le serveur SpagoBI slectionn. Ouvrez votre administrator SpagoBI pour excuter vos Jobs.
161
Chapitre 6. Mapping de flux de donnes

Le moyen le plus courant de grer des flux multiples en entre et en sortie, ainsi que les transformations et redirection des donnes est dutiliser les composants de mapping tMap et tXMLMap. Ce chapitre fournit sparment les informations concernant les principes dusage de ces composants. Pour plus dinformations, ou pour des cas dutilisation, consultez le Guide de Rfrence des Composants Talend Open Studio. Avant de commencer un processus dintgration de donnes, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez l'Annexe A, Interface de Talend Open Studio for Data Integration .
Interface du tMap et du tXMLMap
6.1. Interface du tMap et du tXMLMap

Le tMap et le tXMLMap sont des composants avancs qui requirent plus dinformations de proprits que les autres composants. En effet, le [Map Editor] est un outil complet vous permettant de dfinir tous les paramtres ncessaires au mapping, la transformation et laiguillage des donnes dans votre processus, grce son interface graphique conviviale. Vous pouvez rduire et restaurer les fentres de toutes les tables et la fentre [Map Editor] contenus dans lditeur de mapping, laide des boutons ddis situs dans le coin suprieur gauche de chacune des fentres.
La capture dcran prsente linterface du tMap. Celle du tXMLMap a une apparence lgrement diffrente. Par exemple, en plus des onglets Schema editor et Expression editor dans la partie infrieure de linterface, le tXMLMap contient un troisime onglet nomm Tree schema editor. Pour plus dinformations concernant le composant tXMLMap, consultez la Section 6.3, Prsentation du fonctionnement du tXMLMap . Le Map Editor est compos de plusieurs zones : La zone Input sur le ct gauche de lditeur. Les tableaux Input offrent une reprsentation structure (schmas) de tous les flux entrants (main et lookup). Les donnes sont regroupes dans plusieurs colonnes des schmas Input. Notez que le nom de la table reflte le nom du lien Main ou Lookup dans lespace de modlisation graphique du Job. La zone Variables est au centre de lditeur. Ce tableau de variables permet de centraliser des informations redondantes et de raliser les transformations.
164
Prsentation du fonctionnement du tMap
La zone Output est situe droite de la fentre. Les tableaux Output permettent daiguiller les donnes et les champs provenant des schmas Input et des variables vers les schmas de sortie Output. Les deux panneaux situs en bas de la fentre sont les descriptions des schmas dentre et de sortie. Longlet Schema editor dtaille les schmas Input et Output slectionns. Longlet Expression editor est loutil de rdaction des cls dexpression des schmas Input/Output, des variables ou des conditions de filtre. Le nom des schmas Input/Output dans le Map Editor reflte le nom des connexions entrantes et sortantes (connexion de type Row). Les sections suivantes prsentent sparment le tMap et le tXMLMap.
6.2. Prsentation du fonctionnement du tMap

Le tMap permet de raliser les oprations suivantes : multiplexage et dmultiplexage des donnes transformation des donnes sur tout type de champs ; concatnation et inversion de champs ; filtrage de champs laide de contraintes ; gestion des rejets de donnes. Etant donn que toutes ces oprations de transformation et/ou routage sont ralises par le tMap, ce composant ne peut tre ni un composant de dbut ni un composant de fin de process dans un Job Design.
Le tMap utilise les connexions entrantes pour pr-remplir les schmas dentre dans le [Map Editor]. Par consquent, vous ne pouvez pas crer directement dans le [Map Editor], de nouveaux schmas dentre. Par contre, il vous faut mettre en place autant de connexions de type Row entrantes que ncessaire, pour que leur schma saffiche dans le [Map Editor]. De la mme faon, crez autant de connexions de sortie que ncessaire dans lespace de modlisation. Cependant, vous pouvez dfinir le type de donnes en sortie directement dans le [Map Editor] via un outil graphique de mapping.
165
Configuration du flux dentre dans le Map Editor
Il ne peut y avoir quune seule connexion de type Main row. Toute connexion entrante supplmentaire devient automatiquement une connexion Lookup. Voir : Section 4.3.1.1, Connexion de type Row . Les connexions Lookup sont des connexions entrantes secondaires (ou de rfrence). Ces donnes de rfrence peuvent dpendre directement ou indirectement du flux principal. Cette relation de dpendance se traduit graphiquement par une jointure (Join) et la cration de cls dexpression. Bien que le tMap requiert que les connexions soient mises en place pour dfinir les flux dentre et de sortie (respectivement Input et Output), vous devez galement implmenter un mapping pour que la fonction daperu de lditeur de mapping soit disponible dans la vue Component de lespace de modlisation.
Double-cliquez sur licne tMap dans lespace de modlisation ou cliquez sur le bouton [...] ct du champ Map Editor de longlet Basic settings , dans la vue Component du composant tMap. Lditeur de mapping souvre dans une nouvelle fentre. Les sections suivantes vous donnent les informations ncessaires lutilisation du composant tMap dans vos Job Designs.
6.2.1. Configuration du flux dentre dans le Map Editor

Lordre des tables Input (ou schmas) est essentiel. La premire table reflte la connexion de flux principal (Main row), et pour cette raison, est traite en priorit dans le composant tMap. Par consquent, vous ne pouvez pas dplacer ce schma vers un niveau infrieur, sans risquer de perdre les ventuelles relations de dpendance (Join) que vous avez cres.
166
Vous pouvez utiliser les flches haut et bas pour intervertir les tables secondaires (provenant de connexions Lookup), mais vrifiez quelles ne sont pas lies par un lien Join. Si elles le sont, veillez ce que ce lien Join ne soit pas perdu. Voir galement : Section 6.2.1.2, Utiliser les jointures explicites .
167
6.2.1.1. Renseigner les tables Input laide dun schma

Pour renseigner les tables Input, dfinissez les schmas de tous les composants dentre connects au composant tMap de votre Job, partir du Map Editor. Pour plus dinformations sur la configuration dun schma dun composant, consultez la Section 4.2.6, Dfinir les proprits dun composant . Pour plus dinformations sur la configuration dun schma dentre dans le Map Editor, consultez la Section 6.2.5, Configuration des schmas dans le Map Editor .
Contenu des tables Main et Lookup

Lordre des tables Input (ou schmas) est essentiel. La connexion Main Row dtermine le contenu de la table Main. Ce flux entrant est reprsent dans la premire table de la zone Input du [Map Editor]. Le contenu des connexions secondaires (Lookup) est reprsent dans les autres tables apparaissant en dessous de la table Main. Si vous navez pas encore dfini de schma pour un composant dentre, la table correspondante du [Map Editor] apparatra comme vide. La cl (Key) est galement reprise du schma dfini dans les proprits du composant Input. Cette Cl correspond la cl dfinie dans le schma dentre, le cas chant. La cl de hachage (interne au [Map Editor]) se diffrencie de la cl primaire en apparaissant dans une couleur diffrente.
Variables
Vous pouvez utiliser ou rutiliser les variables globales ou de contexte dfinies dans la zone Variables. Appuyez sur Ctrl+Espace pour accder la liste complte des variables, regroupant les variables globales, de contexte et de mapping. La liste des variables varie selon le contexte et saccrot au fur et mesure des nouvelles crations. Seules les variables pour le mapping en cours sont affiches dans la liste dauto-compltion.
Une fentre de mtadonnes est attache la liste de semi-compltion des variables. Elle fournit des informations concernant la colonne slectionne. Voir galement : Section 6.2.2, Mapping de variables
168
6.2.1.2. Utiliser les jointures explicites

En effet, un lien Joins vous permet de slectionner des donnes dune table input via une autre table input. Dans le contexte dun mapping, les donnes Main et Lookup peuvent tre lies laide des cls dexpression (expression keys). Cest pourquoi lordre des tables a de limportance. Dposez les noms des colonnes dune table vers sa table subordonne, afin de crer une jointure Join entre les deux tables. Ainsi, vous pouvez appeler des donnes partir dentres multiples. Les jointures apparaissent sous forme de liens violets et cre automatiquement une cl qui aura la mme fonction quune cl de hachage, cest--dire dacclrer le processus de recherche. Vous pouvez crer des Joins directs entre la table principale et les tables secondaires. Mais vous pouvez galement crer des Joins indirects partir dune table principale vers une table secondaire, elle-mme relie une autre table secondaire. Pour cela, il faut que vous ayez cr une jointure entre ses tables. Vous ne pouvez pas crer un Join partir dune table subordonne vers une table de niveau suprieur de la zone Input. Le champ Expression key peut tre renseign par glisser-dposer des donnes en Join. Ce champ est modifiable dans la table de la zone Input ou partir de la vue Schema editor. Par contre, le nom des colonnes est modifiable uniquement partir du Schema editor, correspondant la table Input slectionne. Lors de votre glisser-dposer, vous avez la possibilit soit dinsrer les donnes slectionnes dans une nouvelle entre, soit de remplacer une entre existante ou encore de concatner une slection multiple dans une seule cellule.
169
Pour plus dinformations concernant les types de glisser-dposer possibles, consultez la Section 6.2.4, Paramtres Output . Si vous avez beaucoup de tables input, vous pouvez les rduire ou les restaurer laide de licne correspondante dans la zone Input. La jointure liant les deux tables reste visible mme lorsque la table est rduite. La cration dun Join assigne automatiquement une cl de hachage au niveau du nom de champ de la table relie. Le symbole dune cl violette apparat sur la table Input et disparat quand la jointure est supprime. Voir galement : Section 6.2.5.2, Utiliser le Schema editor . Section 6.2.1.3, Utiliser la fonction Inner Join . Avec une jointure explicite, vous pouvez choisir de mettre un filtre pour limiter le nombre de correspondances. Vous pouvez soit prendre en compte une seule correspondance (la dernire), soit la premire, soit toutes les correspondances. Pour dfinir le modle de mise en correspondance de la jointure explicite :
170
1.
Cliquez sur le bouton tMap settings en haut de la table laquelle la jointure est relie afin dafficher les proprits de la table. Cliquez dans le champ Value correspondant Match Model puis cliquez sur le bouton [...] qui apparat afin douvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur le modle souhait ou slectionnez-le et cliquez sur OK pour valider les paramtres et fermer la bote de dialogue.
2.
3.
Unique Match
Elle correspond loption par dfaut lorsque vous effectuez une jointure explicite. Cela signifie que seulement la dernire correspondance du flux secondaire sera prise en compte et passera dans la table de sortie. Les autres correspondances seront donc ignores.
First Match
Cette option signifie que plusieurs correspondances peuvent tre attendues dans le flux secondaire. Loption First signifie que seulement la premire correspondance du flux secondaire sera prise en compte et passera dans le flux principal de sortie. Les autres correspondances seront donc ignores.
All Matches
Cette option signifie que plusieurs correspondances sont attendues dans le flux secondaire. Ainsi, toutes les correspondances sont prises en compte et passent dans le flux principal de sortie.
171
6.2.1.3. Utiliser la fonction Inner Join

La jointure interne Inner join est un type particulier de jointure qui se distingue par la faon dont les rejets sont traits. Cette fonction empche les valeurs nulles de passer dans le flux principal de sortie. Elle permet aussi de faire passer les donnes rejetes dans une table dfinie comme table de rejet Inner Join Reject. Si les donnes cherches ne peuvent tre rcupres avec la jointure explicite ou un filtre de jointure (Inner join), en dautres termes la jointure interne ne peut tre tablie quelle quen soit la raison, dans ce cas, les donnes demandes sont rejetes vers une table de sortie appele Inner Join Reject. Dposez simplement le nom des colonnes dune table vers une table subordonne, afin de crer une relation de jointure entre les deux tables. La jointure saffiche graphiquement comme un lien violet, et cre automatiquement une cl qui sera utilise comme une cl de hachage pour augmenter la vitesse de correspondance. Pour dfinir le type de jointure explicite : 1. 2. 3. Cliquez sur le bouton tMap settings situ en haut de la table de rfrence vers laquelle pointe la jointure pour afficher les proprits du tableau. Cliquez dans le champ Value correspondant loption Join Model pour faire apparatre le bouton [...] et cliquez dessus pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur le type de jointure souhait, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
Une table Inner Join devrait toujours tre associe une table de rejet Inner Join Reject. Pour savoir comment dfinir une table de sortie comme table Inner Join Reject, consultez Section 6.2.4.4, Utiliser les Rejets Inner Join .
172
Vous pouvez utiliser le bouton de filtre pour diminuer le nombre de lignes traiter et ainsi amliorer les performances. Voir galement : Section 6.2.4.4, Utiliser les Rejets Inner Join . Section 6.2.1.5, Filtrer un flux dentre .
6.2.1.4. Utiliser la fonction All Rows

Par dfaut, dans chaque table dentre de la zone dentre de lditeur du tMap, le modle de correspondance All rows est slectionn. Cette option All rows signifie que toutes les lignes sont charges partir du flux Lookup, et compares au flux Main. La sortie correspond au produit cartsien des deux tables (ou plus, selon vos besoins). Si vous crez une jointure explicite ou une jointure Inner Join entre deux tables, loption All rows nest plus disponible. Vous devez choisir entre les modles Unique match, First match et All matches. Pour plus dinformations, consultez la Section 6.2.1.2, Utiliser les jointures explicites et la Section 6.2.1.3, Utiliser la fonction Inner Join .
6.2.1.5. Filtrer un flux dentre

Cliquez sur le bouton Filter ct du bouton Inner join pour ajouter une zone de Filtre.
Dans la zone de Filtre, saisissez les conditions que vous souhaitez appliquer, ce qui vous permet de rduire le nombre de lignes traiter en fonction du flux principal et ainsi amliorer les performances sur des flux importants et htrognes. Vous pouvez utiliser loutil dauto-compltion via le raccourci Ctrl+Espace pour reprendre les colonnes du schma dans la dclaration des variables.
6.2.1.6. Retirer des entres de la table Input

Pour enlever des entres de la table Input, cliquez sur la croix rouge, en bas, dans le Schema Editor de la table slectionne. Appuyez sur Ctrl ou Maj pour slectionner les champs/colonnes retirer de la table.
173
Mapping de variables
Vous pouvez enlever des entres Input dun schma dans le [Map Editor], cependant, cette suppression se rpercutera sur la dfinition du schma au niveau des proprits du composant dentre.
6.2.2. Mapping de variables

La table Var regroupe toutes les variables de mapping qui peuvent tre utilises diffrents endroits du [Map Editor]. Vous pouvez galement utiliser le champ Expression de la table Var pour raliser des transformations en langage Java. Les variables vous permettent de gagner du temps et vous vitent davoir ressaisir plusieurs fois les mmes donnes.
Il existe plusieurs possibilits pour crer des variables : Saisissez librement vos variables en Java. Saisissez les chanes de caractres entre guillemets simples ou concatnez plusieurs fonctions laide de loprateur appropri. Ajoutez de nouvelles lignes la table laide du bouton [+] et retirez des lignes laide du bouton [x]. Puis appuyez sur Ctrl+Espace pour rcuprer les variables globales et de contexte dj existantes. Dposez une ou plusieurs entres Input dans la table Var.
Slectionnez une entre dans la zone Input ou appuyez sur la touche Maj pour effectuer une slection multiple. Appuyez sur la touche Ctrl pour slectionner des entres disperses dans une table ou pour slectionner des entres de diverses tables. Lorsque vous slectionnez plusieurs entres, la premire slection peut prendre une couleur grise. Maintenez la touche Ctrl enfonce pour glisser-dposer toutes les entres en une fois. Une bulle daide contextuelle vous indique le nombre dentres slectionnes. Puis dposez la slection vers la table Var. Plusieurs types de glisser-dposer sont possibles, notamment : Comment faire pour... Actions associes
Insrer toutes les entres slectionnes comme Faites simplement un glisser-dposer vers la table Var. Des variables spares. flches latrales vous indiquent o la nouvelle entre Var peut tre insre. Chacune des Input est insre dans une cellule spare. Concatner toutes les entres slectionnes Dposez vers lentre Var concatner, elle se met alors en suravec une entre Var existante. brillance. Toutes les entres sont concatnes dans une seule cellule. Ajoutez les oprateurs requis laide des signes oprateurs Java appropris. Le point permet la concatnation.
174
Utilisation de lExpression editor
Comment faire pour...
Actions associes
Ecraser une entre Var par les entres Input Dposez vers lentre Var approprie qui se met alors en surslectionnes, et les concatner. brillance. Puis appuyez sur Ctrl et relchez. Toutes les entres slectionnes sont concatnes et crasent la variable slectionne. Concatner les entres Input slectionnes, avec plusieurs entres Var mises en surbrillance. Crer de nouvelles lignes en cas de besoin. Dposez vers des Var existantes puis appuyez sur Maj. Les premires entres sont concatnes avec les entres Var en surbrillance, et si ncessaire, de nouvelles lignes sont cres pour contenir les entres restantes.
6.2.2.1. Accder aux variables globales ou de contexte

Appuyez sur Ctrl+Espace pour accder la liste de semi-compltion des variables globales et de contexte. Une fentre de mtadonnes est annexe la liste de semi-compltion des variables. Elle fournit des informations concernant la colonne slectionne.
6.2.2.2. Supprimer des variables

Pour retirer une entre Var slectionne, cliquez sur la croix rouge. La ligne entire est supprime ainsi que tous les liens avec des tables Input ou Output. Utilisez les touches Ctrl ou Maj pour effectuer une slection multiple, puis cliquez sur la croix rouge pour supprimer lensemble des lignes slectionnes.
6.2.3. Utilisation de lExpression editor

Toutes les dclarations dexpressions (Input, Var ou Output) et de filtres peuvent tre visualises et modifies partir de lditeur dexpression. Cet diteur fournit le confort dune fentre ddie pour crire des fonctions ou des commandes de transformation.
6.2.3.1. Accder lExpression editor

Vous pouvez crire les expressions dont vous avez besoin pour la transformation de donnes directement dans la vue Expression editor situe dans la partie infrieure de lExpression editor, ou vous pouvez ouvrir la bote de dialogue [Expression Builder] dans laquelle vous pouvez crire les expressions pour la transformation de donnes. Pour ouvrir la vue Expression editor, procdez comme suit : 1. 2. Double-cliquez sur le composant tMap dans votre Job pour ouvrir le Map Editor. Dans la partie infrieure de lditeur, cliquez sur longlet Expression editor afin douvrir la vue correspondante. Pour diter une expression, slectionnez-la dans le panneau Input puis cliquez sur longlet Expression editor et modifiez lexpression comme ncessaire.
175
3.
Saisissez le code Java selon vos besoins. Lexpression correspondante dans le panneau output est synchronise. Rfrez-vous la documentation Java adquate pour plus dinformations concernant les fonctions et les oprations.
Pour ouvrir la bote de dialogue [Expression Builder], dans les panneaux Var ou Output dans le Map Editor, cliquez sur le bouton [...] ct de lexpression que vous souhaitez ouvrir.
La bote de dialogue [Expression Builder] souvre sur lexpression slectionne.
176
Pour un exemple dutilisation de lExpression editor, consultez la section suivante.
6.2.3.2. Crer du code laide de lExpression Builder

Pour certains Jobs, il est ncessaire de rdiger du code afin de paramtrer les composants. Dans la vue Component de certains composants, une fentre Expression Builder peut vous aider la construction de ce code (en Java). Lexemple suivant vous montre lutilisation de lExpression Builder pour le composant tMap.
Deux flux dentre sont connects au tMap. Un premier flux DB input, contenant une liste de personnes dont le nom et le prnom sont spars par un espace. Un autre flux File input, contenant la liste des tats des Etats-Unis, en minuscule. Dans le [Map Editor], utilisez lExpression builder pour : 1) Remplacer lespace entre le nom et le prnom par un tiret soulign ; 2) Mettre en majuscules le nom des tats. 1. Dans le [Map Editor], crez la jointure Inner Join correspondante pour crer le mapping de rfrence. Pour plus dinformations concernant lutilisation du tMap, consultez le Chapitre 7, Gestion des mtadonnes. Dposez la colonne Name du flux dentre principal Main (row1) de la zone Input dans la zone Output, et la colonne State du flux dentre secondaire Lookup (row2) vers la mme zone Output. Puis cliquez sur le premier champ Expression (row1.Name) pour afficher le bouton [...].
2.
3.
La fentre [Expression Builder] souvre.
177
4. 5.
Dans la liste Category, slectionnez laction que vous souhaitez effectuer. Pour cet exemple, choisissez StringHandling, puis slectionnez la fonction EREPLACE dans la liste Functions. Dans la zone Expression, collez row1.Name la place du texte, pour obtenir : StringHandling.EREPLACE(row1.Name," ","_"). Cette expression remplacera lespace par un tiret soulign dans la chane de caractres fournie. Vrifiez votre code en renseignant le champ Value correspondant dans la zone Test, par exemple saisissez Chuck Norris puis cliquez sur Test! et vrifiez que les changements ont bien t effectus, ici : Chuck_Norris Cliquez sur OK pour valider et rptez la mme opration pour la deuxime colonne (State). Dans le tMap de sortie, slectionnez lexpression row2.State et cliquez sur le bouton [...] pour ouvrir de nouveau lExpression builder.
6. 7. 8.
Cette fois, la fonction StringHandling utiliser est UPCASE. Lexpression complte est : StringHandling.UPCASE(row2.State).
178
Paramtres Output
9.
Vrifiez que la syntaxe de votre code est correcte, en saisissant par exemple indiana dans le champ Value de la zone Test. Cliquez sur Test! et le rsultat affich est INDIANA. Cliquez sur OK pour valider. Les deux expressions sont maintenant affiches dans le champ tMap Expression.
Ces changements seront reports tout au long du processus et le flux de sortie est affich ci-dessous. La sortie de cet exemple saffiche comme suit :
6.2.4. Paramtres Output

Dans lespace de modlisation de Talend Open Studio for Data Integration, la cration dune connexion Row partir du composant tMap vers des composants en sortie, a pour effet dajouter les schmas Output correspondants dans la zone Output du [Map Editor]. Vous pouvez galement ajouter un schma Output dans votre [Map Editor], laide du signe [+] de la barre doutils de la zone Output. Vous pouvez aussi effectuer une jointure entre vos tables de sortie. La jointure sur les tables de sortie permet de traiter les flux sparment, mais de les unifier en sortie. Pour plus dinformations concernant cette fonction, consultez le Guide de Rfrence Talend Open Studio for Data Integration. La table de jointure rcupre le schma de la table source. Lorsque vous cliquez sur le bouton [+], afin dajouter un schma Output ou deffectuer une jointure entre vos tables de sortie, une bote de dialogue souvre, vous proposant deux possibilits.
179
Paramtres Output
Slectionnez... New output Create join table from
Pour... Ajouter une table de sortie. Effectuer une jointure entre vos tables de sortie. Dans la liste droulante, slectionnez la table partir de laquelle effectuer la jointure, puis dans le champ Named, saisissez le nom de la table crer.
A la diffrence de la zone Input, lordre des tables de schmas Output na pas une grande importance, car il nexiste aucune relation de subordination (Join) entre les sorties. Une fois que vous avez cr toutes les connexions de sortie, et de ce fait, tous les schmas Output, vous pouvez slectionner et organiser les donnes de ces sorties. Dposez une ou plusieurs entres partir de la zone Input directement vers la table Output approprie. Appuyez sur Ctrl ou Maj pour une slection multiple. Ou vous pouvez utiliser des expressions de la zone Var par glisser-dposer dans la table Output avec les donnes rutilisables appropries. Notez que si vous apportez des modifications la colonne Input du Schema Editor, une bote de dialogue vous demande de confirmer la propagation des modifications sur toutes les entres Input/Variable/Output concernes. Action Rsultat
Glisser-dposer vers des expressions exis- Concatne lexpression slectionne, vers des expressions existantes tantes. Glisser-dposer vers une ligne dinsertion Glisser-dposer + Ctrl Glisser-dposer + Maj Glisser-dposer + Ctrl + Maj Insre une ou plusieurs nouvelle(s) entre(s) en dbut ou en fin de table ou entre deux lignes existantes. Remplace les expressions en surbrillance par les expressions slectionnes. Ajoute les champs slectionns toutes les expressions en surbrillance. Insre de nouvelles lignes si ncessaire. Remplace toutes les expressions en surbrillance par les champs slectionns. Insre de nouvelles lignes si ncessaire.
Vous pouvez ajouter des filtres et un rejet pour personnaliser vos sorties.
6.2.4.1. Construire des expressions complexes

Si vous devez construire des expressions complexes ou faire des changements majeurs sur le flux de sortie, utilisez la fentre Expression Builder.
180
Paramtres Output
Cliquez sur le champ Expression de votre table Input ou Output pour afficher le bouton [...]. Puis cliquez sur ce bouton pour ouvrir lExpression Builder. Pour plus dinformations concernant lExpression Builder, consultez la Section 6.2.3.2, Crer du code laide de lExpression Builder
6.2.4.2. Utiliser les filtres

Les conditions de filtre vous permettent de slectionner les champs et de les envoyer vers les sorties appropries. Cliquez sur le bouton [+] pour ajouter une ligne de filtre.
Vous pouvez saisir librement vos conditions de filtre laide doprateurs et de fonctions Java. Dposez des expressions dune zone Input ou dune zone Var vers lentre de Filtre de la table Output approprie.
Un lien graphique de couleur orange apparat. Ajoutez loprateur Java ncessaire pour finaliser votre formule de filtre. Vous pouvez crer plusieurs filtres sur diffrentes lignes. Loprateur AND est la conjonction logique de tous les filtres formuls.
6.2.4.3. Utiliser la fonction Rejet

Loption Reject dfinit la nature dune table Output particulire. Cette table de rejet rassemble toutes les donnes qui ne satisfont pas un ou plusieurs des filtres dfinis dans les tables Output standard. Notez que par table standard sont dsignes toutes les tables qui ne sont pas des tables de rejet. Ainsi les donnes rejetes des tables de sortie rgulires sont regroupes dans une ou plusieurs tables ddies, vous permettant par consquent didentifier les erreurs ou les cas imprvus. Le principe de rejet (Reject) concatne tous les filtres des tables non-rejet et les dfinit comme formulation ELSE. Pour dfinir une table de sortie comme la partie ELSE des tables rgulires : 1. Cliquez sur le bouton tMap settings en haut de la table de sortie pour afficher le tableau des proprits.
181
Paramtres Output
2.
Cliquez sur le champ Value correspondant loption Catch output reject et cliquez sur le bouton [...] qui apparat pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur true, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
3.
Vous pouvez dfinir plusieurs tables Reject afin daffiner les sorties multiples. Pour diffrencier les variantes de rejets, ajoutez des tables Reject, des lignes de filtre en cliquant sur la flche au bouton [+]. Une fois quune table est dfinie comme table de rejet, le processus de vrification des donnes commencera par les tables rgulires avant de prendre en considration les filtres possibles des tables de rejet. Les donnes ne sont pas exclusivement traites vers une seule sortie. Mme si une donne satisfait le filtre de sortie et quelle est donc route vers elle, elle est galement vrifie contre les autres filtres et peut tre galement route vers dautres sorties.
6.2.4.4. Utiliser les Rejets Inner Join

LInner Join est un Join Lookup. La table de rejet Inner Join est un type particulier de table de rejet de sortie. Elle regroupe les donnes rejetes de la table du flux principal lorsquun Inner Join na pu tre tabli. Pour configurer un flux de sortie (Output) afin quil transmette les donnes de rejet dun Inner Join, dposez un nouveau composant Output dans votre Job Design et connectez-le au tMap. Dans le [Map Editor], suivez les tapes suivantes : 1. 2. Cliquez sur le bouton tMap settings en haut de la table de sortie pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Catch lookup inner join reject et cliquez sur le bouton [...] qui apparat pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur true, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
3.
182
Paramtres Output
6.2.4.5. Retirer des entres de la table Output

Pour retirer des entres dune table Output, cliquez sur la croix rouge, en bas, dans le Schema Editor de la table slectionne.
6.2.4.6. Gestion des erreurs

Loption Die on error empche le traitement des erreurs. Pour ce faire, elle arrte lexcution du Job aussitt quune erreur est rencontre. Le composant tMap fournit cette option afin dempcher le traitement des donnes errones. Loption Die on error est active par dfaut dans le tMap. Dsactiver loption Die on error vous permettra dignorer les lignes en erreur et de terminer le processus pour les lignes sans erreur. Cela vous permettra galement de retrouver les lignes en erreur et de les grer, si ncessaire. Pour dsactiver loption Die on error : 1. 2. Double-cliquez sur le composant tMap dans lespace de modlisation pour ouvrir le Map Editor. Cliquez sur le bouton Property Settings en haut de la zone input pour ouvrir la bote de dialogue [Property Settings]. Dans la bote de dialogue [Property Settings], dcochez la case Die on error et cliquez sur OK.
3.
183
Paramtres Output
Une nouvelle table appele ErrorReject saffiche dans lditeur du tMap, dans la zone de sortie. Cette table de sortie comprend automatiquement deux colonnes : errorMessage et errorStackTrace, qui retrouvent le message et la trace de la pile de lerreur rencontre durant lexcution du Job. Les erreurs peuvent tre des erreurs de format de dates, des null pointer exceptions, des problmes de conversion, etc. Vous pouvez galement glisser-dposer des colonnes (ici id et date) des tables dentre vers cette table de sortie de rejets. Ces donnes en erreur peuvent tre retrouves avec le message derreur correspondant et tre corriges ensuite.
Une fois la table ErrorReject dfinie, les flux correspondants peuvent tre envoys vers un composant de sortie.
184
Configuration des schmas dans le Map Editor
Pour ce faire, dans lespace de modlisation graphique, cliquez-droit sur le composant tMap, slectionnez Row > ErrorReject dans le menu, et cliquez sur le composant de sortie correspondant, ici, le tLogRow. Lorsque vous excutez le Job, les erreurs sont retournes via le flux ErrorReject.
Le rsultat contient le message derreur, la trace de sa pile, et les deux colonnes id et date, glisses et dposes dans la table ErrorReject, spares par une barre verticale |.
6.2.5. Configuration des schmas dans le Map Editor

Dans le Map Editor, vous pouvez dfinir le type de schma dune table comme Built-In afin de pouvoir modifier la structure des donnes dans le panneau Schema editor, ou vous pouvez le dfinir comme Repository et rcuprer la structure des donnes depuis le Repository. Par dfaut, le type du schma est dfini comme Built-In pour toutes les tables.
6.2.5.1. Rcuprer la structure dun schma depuis le Repository

Pour rcuprer la structure dun schma de la table slectionne dans le Repository :
185
1. 2.
Cliquez sur le bouton tMap Settings en haut de la table pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Schema Type, et cliquez sur le bouton [...] qui apparat pour ouvrir la bote de dialogue [Options].
3.
Dans la bote de dialogue [Options], double-cliquez sur Repository, ou slectionnez-le et cliquez sur OK pour fermer la bote de dialogue et afficher une nouvelle option Schema Id en dessus du champ Schema Type dans le tableau des proprits. Si vous fermez le Map Editor maintenant sans spcifier le schma utiliser, le type du schma redevient Built-In.
4.
Cliquez sur le champ Value de loption Schema Id, et cliquez sur le bouton [...] qui apparat dans la bote de dialogue [Repository Content]. Dans la bote de dialogue [Repository Content], slectionnez votre schma comme vous le faites pour nimporte quel autre composant et cliquez sur OK. Le champ Value de loption Schema Id est renseign avec le schma que vous venez de slectionner, et le schma de cette table affich dans le panneau Schema editor passe en lecture seule.
5.
186
Si vous changez le type du schma dune table subordonne contenant une jointure de Built-In Repository, cette jointure sera perdue. Les modifications apportes au schma dune table partir du Map Editor sont automatiquement rpercutes sur le schma du composant correspondant, reli au tMap.
6.2.5.2. Utiliser le Schema editor

Le Schema Editor fournit les informations concernant les champs dune table slectionne. Lorsque le type du schma est dfini comme Built-in, vous pouvez modifier ce schma partir du Schema Editor.
Utilisez la barre doutils place sous la table de schma pour ajouter, dplacer et supprimer des colonnes du schma. Vous pouvez galement charger un schma partir du rfrentiel ou exporter le schma courant vers un fichier.
187
Rsolution des problmes de mmoire lors de lutilisation du tMap
Mtadonnes Column Key
Description Nom de colonne tel que dfini dans le schma du [Map Editor] et dans le schma du composant Input ou Output correspondant. La cl indique si la valeur de la cl dexpression devrait tre utilise pour retrouver les donnes dune autre table travers un lien Join. Si cette case est dcoche, la relation Join est dsactive. Type de donnes : Chane de caractres (String) ou entier (Integer). Cette colonne est obligatoire dans la version Java.
Type
Length Precision Nullable Default Comment
-1 indique quaucune valeur de longueur na t dfinie dans le schma. Prcise la valeur de longueur de chane, si spcifie. Dcochez cette case si vous ne souhaitez pas autoriser les valeurs de champs nulles. Indique les valeurs par dfaut, si elles sont dfinies. Champ texte libre. Saisissez tout commentaire que vous jugerez utile.
Les schmas Input et Output sont indpendants les uns des autres. Vous pouvez par exemple changer le libell dune colonne Output sans que le libell du schma Input ne change. Cependant, toute modification apporte au schma est immdiatement reporte sur le schma correspondant de la zone Input ou Output approprie, mais galement au niveau des proprits elles-mmes du composant Input ou Output concern. Un arrire-plan rouge saffiche lorsquun caractre non valide a t saisi. La plupart des caractres spciaux sont interdits pour rduire les risques de mauvaise interprtation dans le code. Les caractres autoriss sont : les minuscules et les majuscules, les chiffres ( lexception du caractre de dbut de chane).
6.2.6. Rsolution des problmes de mmoire lors de lutilisation du tMap

Lorsque vous devez traiter un nombre important de donnes, par exemple, de nombreuses colonnes, diffrents types de colonnes ou lignes, votre systme peut rencontrer des problmes de mmoire insuffisante empchant votre Job de sexcuter correctement, et plus particulirement lorsque vous utilisez un composant tMap pour effectuer des transformations. Une option (uniquement disponible en Java pour le moment) a t ajoute au composant tMap, pour utiliser moins de mmoire lors du traitement des donnes de rfrence (lookup). En effet, au lieu de stocker les donnes de rfrence dans la mmoire systme et ainsi en atteindre les limites, loption Store temp data vous permet de stocker les donnes de rfrence dans un dossier temporaire sur votre disque dur. Cette option peut tre slectionne sur la table Lookup de la zone Input ( gauche) de lditeur du tMap, le [Map Editor]. Pour activer loption Store temp data, suivez les tapes suivantes : 1. 2. 3. 4. Double-cliquez sur le composant tMap de votre Job pour lancer le [Map Editor]. Dans le panneau de gauche, correspondant aux sources Input et Lookup, cliquez sur la table Lookup affichant les donnes de Lookup que vous souhaitez charger sur le disque pour ne pas encombrer la mmoire. Cliquez sur le bouton tMap settings pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Store temp data, et cliquez sur le bouton [...] pour ouvrir la bote de dialogue [Options].
188
5.
Dans la bote de dialogue [Options], double-cliquez sur true, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
Pour que cette option soit totalement active, vous devez dfinir le rpertoire de votre disque dans lequel les donnes seront stockes, et la taille du buffer, savoir le nombre de lignes de donnes stockes dans chaque fichier temporaire. Vous pouvez spcifier le rpertoire de stockage temporaire des donnes et la taille du buffer la fois partir du Map Editor et de la vue Component du tMap. Pour paramtrer le rpertoire de stockage temporaire et la taille du buffer partir du Map Editor : 1. Cliquez sur le bouton Property Settings en haut de la zone Input pour ouvrir la bote de dialogue [Property Settings]. Dans la bote de dialogue [Property Settings], renseignez le chemin daccs complet vers le dossier dans lequel les donnes temporaire seront stockes dans le champ Temp data directory path. Dans le champ Max buffer size (nb of rows), spcifiez le nombre maximum de lignes contenues dans chaque fichier temporaire. La valeur par dfaut est de 2 000 000 lignes. Cliquez sur OK pour valider les paramtres et fermer la bote de dialogue [Property Settings].
2.
3.
4.
189
Pour paramtrer le rpertoire de stockage temporaire du composant tMap sans avoir ouvrir le Map Editor : 1. Cliquez sur le composant tMap dans lespace de modlisation pour le slectionner, puis slectionnez la vue Component pour afficher longlet Basic settings. Dans la zone Store on disk, renseignez le chemin daccs complet vers le dossier dans lequel les donnes temporaires seront stockes dans le champ Temp data directory path. Vous pouvez aussi utiliser une variable de contexte laide du raccourci Ctrl+Espace si vous avez configur une variable dans un groupe de contexte dans le Repository. Pour plus dinformations sur les contextes, consultez la Section 4.4.2, Centraliser les Contextes et les Variables
2.
A la fin de votre sous-job, les fichiers temporaires seront nettoys. Ainsi, vous limitez lutilisation de mmoire ddie pour le traitement des donnes de rfrence (lookup) sur votre disque. Etant donn que lcriture du flux principal sur le disque ncessite le stockage de donnes, lordre des lignes en sortie peut ne pas tre respect.
190
Gestion des rfrences
Dans la vue Advanced settings, vous pouvez aussi ajouter un buffer, au besoin. Pour cela, renseignez le champ Max. buffer size (Nb of rows) afin de sparer les donnes stockes sur le disque en autant de fichiers que ncessaire.
6.2.7. Gestion des rfrences

Le composant tMap offre diffrents types de chargements possibles des donnes de rfrence pour vous adapter aux diffrents types de traitements, ainsi que pour grer les problmes de performance lorsque vous devez traiter de gros volumes de donnes dans vos bases de donnes de rfrence. Load once : Paramtre par dfaut. Slectionnez cette option pour charger la totalit du flux de rfrence avant de traiter le flux principal. Slectionnez cette option si un nombre important de donnes de votre flux principal est sollicit par votre flux de rfrence (lookup), ou si vos donnes de rfrence proviennent dun fichier qui peut tre charg facilement. Reload at each row : Le flux de rfrence est charg chaque ligne. Slectionnez cette option lorsque vous utilisez une base de donnes de rfrence de gros volume, et que le flux principal est trs petit. Notez que cette option vous permet dutiliser des paramtres dynamiques de variable (de votre composant base de donnes), notamment la commande WHERE, pour modifier la vole le flux de rfrence au moment o il est charg, et avant que le flux principal ne soit trait. Cette option peut tre considre comme lquivalent de loption Store temp data, permettant de stocker les donnes de rfrence dans un dossier temporaire sur votre disque dur, disponible pour les fichiers de rfrence. Reload at each row (cache) : Les expressions (de la table de rfrence) sont dabord values et interroges dans le cache. Le rsultat des jointures ayant dj t cres, est stock dans le cache afin dviter de charger les mmes rsultats une deuxime fois. Cette option permet doptimiser le temps de traitement et damliorer les performances de traitement du composant tMap. Notez que, pour le moment, vous ne pouvez pas utiliser les options Reload at each row (cache) et Store temp data en mme temps. Pour configurer le mode de chargement du flux de rfrence : 1. Cliquez sur le bouton tMap settings en haut de la table de rfrence (lookup) pour afficher le tableau des proprits. Cliquez sur le champ Value correspondant loption Lookup Model, et cliquez sur le bouton [...] pour ouvrir la bote de dialogue [Options]. Dans la bote de dialogue [Options], double-cliquez sur le mode de chargement souhait, ou slectionnez-le et cliquez sur OK pour activer loption et fermer la bote de dialogue.
2.
3.
191
Prsentation du fonctionnement du tXMLMap
Pour un exemple dutilisation de ces options, consultez la section tMap du Guide de rfrence des Composants Talend Open Studio. Lorsque vous utilisez une table en flux de rfrence, nous vous conseillons douvrir une connexion la base de donnes au dbut de votre Job, afin doptimiser les performances. Pour un exemple de scnario utilisant cette option, consultez le Guide de rfrence des Composants Talend Open Studio.
6.3. Prsentation du fonctionnement du tXMLMap

Avant de lire les sections suivantes, il est recommand de lire les sections prcdentes concernant le tMap afin d'avoir les connaissances des base du composant Talend de mapping. Le tXMLMap est conu pour utiliser le type de donnes Document afin de traiter des donnes XML, en cas de transformation mlangeant souvent des donnes hirarchiques (XML) et des donnes plates. Il vous permet dajouter autant de flux dentre et de sortie que ncessaire dans un diteur graphique de mapping dans lequel vous pouvez effectuez des oprations, comme : multiplexage et dmultiplexage des donnes, transformation des donnes sur tout type de champs, particulirement sur le type Document, mise en correspondance de donnes via diffrents modes, par exemple le mode Unique match (consultez la Section 6.2.1.2, Utiliser les jointures explicites ), construction darbre XML des cts dentre et de sortie, jointures Inner Join et Left Outer Join (consultez la Section 6.2.1.3, Utiliser la fonction Inner Join ), flux lookup entre tous types de sources de donnes, XML ou plates l'aide de modles comme Load once (consultez la Section 6.2.7, Gestion des rfrences ), concatnation et inversion de champs, filtrage de champs laide de contraintes, gestion des rejets de donnes.
192
Utiliser le type Document pour crer l'arborescence XML
Comme pour le tMap, un diteur de mapping est requis pour configurer ces oprations. Pour ouvrir cet diteur, vous pouvez double-cliquer sur l'icne du tXMLMap dans l'espace de modlisation graphique ou bien cliquer sur le bouton [...] ct du Map Editor dans la vue Basic settings du composant tXMLMap. Les composants tXMLMap et tMap ont un fonctionnement quasiment identique. Ainsi, les sections qui suivent ne couvriront que le fonctionnement spcifique au tXMLMap, savoir le traitement des donnes hirarchiques. Les oprations relatives aux donnes hirarchiques sont : lutilisation du type Document. Pour plus dinformations, consultez la Section 6.3.1, Utiliser le type Document pour crer l'arborescence XML . la gestion des donnes XML de sortie. Pour plus d'informations, consultez la Section 6.3.2, Dfinir le mode de sortie . ldition de schmas darborescence XML. Pour plus dinformations, consultez la Section 6.3.3, Utiliser le Tree schema editor . Les sections suivantes reprennent plus en dtails les diverses fonctionnalits du tXMLMap. A la diffrence du tMap, le tXMLMap ne possde pas l'option Store temp data pour stocker les donnes temporaires dans un rpertoire de votre disque. Pour plus d'informations concernant cette option du tMap, consultez la Section 6.2.6, Rsolution des problmes de mmoire lors de lutilisation du tMap .
6.3.1. Utiliser le type Document pour crer l'arborescence XML

Le type de donnes Document correspond parfaitement au concept de donnes structures de type XML. Lorsque vous devez utiliser la structure XML pour mapper le flux d'entre ou de sortie, ou les deux, utilisez ce type. Vous pouvez importer des arborescences XML de plusieurs sources XML et de les diter directement dans son diteur de mapping, afin de vous viter de les diter manuellement un un.
6.3.1.1. Configurer le type Document

Le type de donnes Document est un des types de donnes fournis par Talend. Le type Document se slectionne lorsque vous dfinissez le schma correspondant vos donnes dans le panneau Schema editor. Pour plus dinformations sur le Schema editor, consultez la Section 6.2.5.2, Utiliser le Schema editor . La capture d'cran ci-dessous montre un exemple de flux d'entre, Customer, de type Document. Afin de le reproduire dans le Map editor, cliquez sur le bouton [+] pour ajouter une ligne du ct de l'entre du schma, renommez-la et slectionnez Document dans la liste des types.
193
Dans la plupart des cas, le tXMLMap rcupre le schma du composant prcdent ou suivant, par exemple, d'un tFileInputXML ou d'un scnario ESB, d'un tESBProviderRequest. Cela permet d'viter les efforts manuels lors de la dfinition du type Document dans le flux XML traiter. Cependant, pour continuer modifier la structure XML ainsi que le contenu d'une ligne de type Document, vous devez utiliser le Map editor. Un flux Document comporte une arborescence XML personnalise et reprsente un seul champ du schma, pouvant contenir plusieurs champs de types diffrents. Pour plus d'informations concernant la configuration d'un schma, consultez Section 4.2.6.1, Onglet Basic Settings . Une fois une ligne de donnes dfinie comme type Document dans la table du flux de donnes correspondante, une arborescence XML de base est cre automatiquement pour ce flux de donnes.
Cette figure vous montre un exemple du flux dentre XML, Customer. A partir de la racine XML cre, vous pouvez dvelopper l'arborescence XML qui vous intresse. Pour ce faire, vous devez : 1. importer l'arborescence XML personnalise partir de l'un des types de sources suivants : des fichiers XML (consultez la Section 6.3.1.2, Importer une structure XML partir de fichiers XML ) ; des connexions vers des fichiers XML cres et centralises dans les mtadonnes du Repository dans le Studio (consultez la Section 6.3.1.3, Importer une structure XML partir du Repository . Pour plus dinformations sur la cration de connexions des fichiers XML dans le Repository, consultez la Section 7.8, Configurer un Schma File XML . 2. dfinir l'lment de boucle pour l'arborescence XML que vous crez. A cette tape, vous devez envisager les situations suivantes : Si vous avez cr plusieurs arborescences XML, vous devez dfinir un lment de boucle pour chacune d'entre elles. Si vous importez l'arborescence XML du Repository, l'lment de boucle aura dj t dfini. Cependant, vous pouvez toujours le rinitialiser. Pour plus d'informations, consultez la Section 6.3.1.4, Dfinir ou rinitialiser un lment de boucle pour une structure XML cre . Si ncessaire, vous pouvez continuer modifier l'arborescence XML l'aide des options fournies dans le menu contextuel. Le tableau suivant prsente les oprations que vous pouvez effectuer via ces options. Options Create Sub-element et Create Attribute Oprations Ajoute des lments ou des attributs l'arborescence XML importe. Consultez galement la Section 6.3.1.5, Ajouter un sous-lment ou un attribut une structure XML . Ajoute et gre des espaces de nommage donns dans la structure XML importe. Consultez galement la Section 6.3.1.7, Grer un espace de nommage . Supprime un lment ou un attribut. Consultez galement la Section 6.3.1.6, Supprimer un lment ou un attribut depuis la structure XML . Renomme un lment ou un attribut. Dfinit ou rinitialise un lment de boucle.
Set a namespace
Delete
Rename As loop element
194
Options As group element
Oprations Dans la structure XML de sortie, dfinit un lment comme group element. Consultez galement la Section 6.3.1.8, Grouper les donnes de sortie Dans la structure XML de sortie, Dfinit un lment aggregate. Consultez galement la Section 6.3.1.9, Agrger les donnes de sortie
As aggregate element
Les sections suivantes prsentent de manire dtaille les processus de cration d'arborescence XML.
6.3.1.2. Importer une structure XML partir de fichiers XML

Pour importer une structure XML partir dun fichier, suivez la procdure suivante : 1. Dans la table dentre correspondante, cliquez-droit sur le nom de la colonne pour ouvrir le menu contextuel. Dans cet exemple, cliquez-droit sur la colonne Customer.
2. 3.
Dans le menu contextuel, slectionnez loption Import From File. Dans la bote de dialogue, parcourez votre systme jusqu'au fichier XML que vous souhaitez utiliser pour fournir la structure XML, puis double-cliquez sur le fichier.
Pour importer la structure XML d'un fichier XSD, procdez comme suit : 1. Dans la table dentre correspondante, cliquez-droit sur le nom de la colonne pour ouvrir le menu contextuel. Dans cet exemple, cliquez-droit sur la colonne Customer.
2. 3. 4.
Dans ce menu, slect Import From File. Dans la bote de dialogue, parcourez votre systme jusqu'au fichier XSD que vous souhaitez utiliser pour fournir la structure XML, puis double-cliquez sur le fichier. Dans la bote de dialogue qui apparat, slectionnez un lment racine dans la liste Root pour tre la racine de votre arborescence XML puis cliquez sur OK.
195
La racine de l'arborescence XML est adaptable : Lorsque vous importez une structure XML d'entre ou de sortie partir d'un fichier XSD, vous pouvez choisir l'lment racine de votre arborescence XML. Une fois qu'une structure XML a t importe, la balise root est automatiquement renomme avec le nom de la source XML. Pour modifier le nom de la racine manuellement, vous devez utiliser l'diteur de schma. Pour plus d'informations concernant cet diteur, consultez la Section 6.3.3, Utiliser le Tree schema editor . Puis spcifiez llment de boucle de cette structure XML. Pour plus dinformations sur le paramtrage de llment de boucle, consultez la Section 6.3.1.4, Dfinir ou rinitialiser un lment de boucle pour une structure XML cre .
6.3.1.3. Importer une structure XML partir du Repository

Pour importer une XML partir dune connexion du Repository, suivez la procdure suivante : 1. Dans la table dentre correspondante, cliquez-droit sur le nom de la colonne pour ouvrir le menu contextuel. Dans cet exemple, cliquez-droit sur la colonne Customer.
2. 3.
Dans le menu contextuel, slectionnez loption Import From Repository. Dans la bote de dialogue qui souvre alors, slectionnez la connexion XML ou MDM souhaite pour importer la structure XML correspondante.
Cette figure vous montre un exemple de connexion XML importe du Repository. Pour importer une arborescence XML du Repository, la connexion XML correspondante doit dj avoir t cre. Pour plus d'informations concernant la cration d'une connexion un fichier XML dans le Repository, consultez la Section 7.8, Configurer un Schma File XML . 4. Cliquez sur OK pour valider la slection.
La structure XML est cre et une boucle est automatiquement dfinie car la boucle avait dj t spcifie lors de la cration de la mtadonne de connexion XML.
196
6.3.1.4. Dfinir ou rinitialiser un lment de boucle pour une structure XML cre
Vous devez dfinir un lment boucle pour tous les flux de donnes XML nayant pas dlment boucle dj dfini. S'ils en ont dj un, vous devez rinitialiser l'lment de boucle lorsque c'est ncessaire. Un et seulement un lment boucle est ncessaire pour chaque flux de donnes XML dans le Map editor. Pour dfinir un lment boucle, faites comme suit : 1. Dans la structure XML cre, cliquez-droit sur llment que vous souhaitez dfinir comme lment boucle. Par exemple, vous souhaitez dfinir le nud Customer comme lment boucle.
2.
Dans le menu contextuel, slectionnez As loop element afin de dfinir l'lment slectionn comme lment boucle.
Une fois ceci effectu, l'lment slectionn se voit ajouter le texte suivant : loop : true.
Si vous fermez le Map Editor sans avoir dfini les lments de boucle ncessaires, comme expliqu plus tt dans ce scnario, une icne d'erreur apparat dans le coin suprieur droit du composant tXMLMap, dans l'espace de modlisation graphique.
6.3.1.5. Ajouter un sous-lment ou un attribut une structure XML

Dans la structure XML, vous pouvez ajouter manuellement un sous-lment ou un attribut la racine ou l'un des lments. Pour effectuer une de ces oprations, procdez comme suit : 1. Dans la structure que vous souhaitez modifier, cliquez-droit sur llment sur lequel vous souhaitez ajouter un sous-lment ou un attribut et slectionnez Create Sub-Element ou Create Attribute en fonction de ce que vous souhaitez ajouter.
197
2.
Dans lassistant [Create New Element], saisissez le nom du sous-lment ou de lattribut ajouter.
3.
Cliquez OK pour valider la cration du nouvel lment. Ce nouveau sous-lment ou attribut apparat alors dans la structure XML.
6.3.1.6. Supprimer un lment ou un attribut depuis la structure XML

Pour supprimer un lment ou un attribut d'une structure XML existante, procdez comme suit : 1. Dans larborescence XML que vous souhaitez modifier, cliquez-droit sur llment ou lattribut que vous souhaitez supprimer.
198
2.
Dans le menu contextuel, slectionnez Delete.
Llment ou lattribut slectionn est supprim, ainsi que tous les sous-lments ou attributs quil contenait.
6.3.1.7. Grer un espace de nommage

Vous pouvez dfinir et modifier un espace de nommage pour chacun des lments des arborescences XML de ces flux d'entre ou de sortie.
Dfinir un espace de nommage

Pour dfinir un espace de nommage : 1. Dans la structure XML du flux d'entre ou de sortie que vous souhaitez modifier, cliquez-droit sur llment auquel vous souhaitez associer un espace de nommage. Par exemple, dans larborescence XML de Customer, vous devez crer un espace de nommage pour le nud racine.
199
2. 3.
Dans le menu contextuel, slectionnez Set A Namespace et lassistant [Namespace dialog] souvre. Dans cet assistant, saisissez lURI utiliser.
4.
Si vous devez ajouter un prfixe cet espace de nommage, cochez la case Prefix dans lassistant et saisissez le prfixe utiliser. Dans cet exemple, cochez la case et saisissez xhtml.
5.
Cliquez sur OK pour valider lespace de nommage.
Modifier la valeur par dfaut dun espace de nommage

Pour modifier la valeur par dfaut dun espace de nommage, procdez comme suit : 1. Dans larborescence XML contenant lespace de nommage modifier, cliquez-droit sur lespace de nommage pour ouvrir le menu contextuel.
2. 3. 4.
Dans le menu, slectionnez Set A Fixed Prefix pour ouvrir lassistant correspondant. Saisissez la nouvelle valeur dans cet assistant. Cliquez sur OK pour valider cette modification.
200
Supprimer un espace de nommage

Pour supprimer un espace de nommage, procdez comme suit : 1. Dans larborescence XML contenant lespace de nommage, cliquez-droit sur cet espace de nommage pour ouvrir le menu contextuel.
2.
Dans le menu, cliquez sur Delete pour valider cette suppression.
6.3.1.8. Grouper les donnes de sortie

Le composant tXMLMap utilise un "group element" pour regrouper les donnes de sortie selon certaines conditions donnes. Cela vous permet d'entourer de balises "group element" les lments rpondant la condition. Pour dfinir un group element, deux restrictions doivent tre respectes : 1. le nud racine ne peut tre dfini en tant que group element ; 2. le group element doit tre dfini sur llment dont le sous-lment de boucle dpend directement. L'option de group element est visible partir du moment o vous avez dfini un lment de boucle. Cette option est galement invisible lorsqu'un lment n'est pas autoris tre un lment de groupe. Une fois le group element dfini, tous ses sous-lments sauf la boucle sont utiliss comme conditions pour regrouper les donnes de sortie. Vous devez crer avec soin larborescence XML pour une utilisation optimale dun group element donn. Pour plus dinformations concernant lutilisation dun group element, consultez le tXMLMap dans le Guide de rfrence des Composants Talend Open Studio. Le tXMLMap propose des lments "group" et "aggregate" afin de classer les donnes dans la structure XML. Lorsque vous grez une ligne de donnes XML, la diffrence de comportement est la suivante : L'lment "group" traite toujours les donnes en un seul flux. L'lment "aggregate" spare ce flux en diffrents flux XML complets.
Dfinir un group element

Pour dfinir un group element, procdez comme suit : 1. Dans larborescence XML de la sortie dans le Map editor, cliquez-droit sur llment que vous voulez dfinir comme as group element. Dans le menu contextuel qui souvre, slectionnez As group element.
2.
Cet lment de la slection devient le group element. La capture dcran vous montre un exemple de larborescence XML avec le group element. Guide Utilisateur de Talend Open Studio for Data Integration 201
Rvoquer un group element dfini

Pour rvoquer un group element dfini, procdez comme suit : 1. 2. Dans larborescence XML de la sortie dans le Map editor, cliquez-droit sur llment que vous avez dfini comme group element. Dans le menu contextuel, slectionnez Remove group element.
Le group element dfini est rvoqu.
6.3.1.9. Agrger les donnes de sortie

Avec le tXMLMap, vous pouvez dfinir autant d'lments "aggregate" que ncessaire dans l'arborescence XML de sortie afin de classer les donnes XML. Ce composant crit les donnes classes, chaque classification devenant un flux XML complet. 1. Pour dfinir un lment en tant qu'lment "aggregate", cliquez-droit sur l'lment concern dans l'arborescence XML du ct droit du Map editor, puis, dans le menu contextuel, slectionnez As aggregate element. Cet lment devient l'lment "aggregate". Un texte lui est ajout : aggregate : true.
202
Dfinir le mode de sortie
2.
Pour rvoquer la dfinition de l'lment "aggregate", cliquez-droit sur cet lment puis slectionnez Remove aggregate element, dans le menu contextuel. Pour dfinir un lment "aggregate", assurez-vous que cet lment n'a pas d'enfant et que la fonctionnalit All in one est dsactive. L'option As aggregate element est disponible dans le menu contextuel si les deux conditions sont respectes. Pour plus d'informations concernant la fonctionnalit All in one, consultez la Section 6.3.2.1, Ecrire dans un document les lments en sortie .
Pour un exemple d'utilisation de l'lment "aggregate" avec le tXMLMap, consultez le Guide de rfrence Composants Talend Open Studio. Le composant tXMLMap propose les lments "group" et "aggregate" pour classer les donnes dans une structure XML. Lors de la gestion d'une ligne de donnes (flux XML complet), la diffrence de comportement est la suivante : L'lment "group" traite toujours les donnes dans un flux unique. L'lment "aggregate" spare ce flux en diffrents flux XML complets.
6.3.2. Dfinir le mode de sortie

Pour dfinir le mode de sortie des donnes de type Document, vous devez regrouper tous les lments XML en un seul flux XML, et, lorsqu'un lment vide existe, choisir o les crire. Ainsi, vous ne modifiez pas la structure de l'arborescence XML cre.
6.3.2.1. Ecrire dans un document les lments en sortie

Sauf si vous utilisez l'lment "aggregate" qui spare toujours un flux XML, vous devez tre capable de dterminer si un flux XML est crit en un seul flux ou dans des flux spars, l'aide de la fonctionnalit All in one de l'diteur du tXMLMap. Pour ce faire, dans la partie droite du Map editor, procdez comme suit : 1. Cliquez sur l'icne de cl anglaise afin d'ouvrir le panneau de paramtrage du mapping. La capture d'cran suivante vous montre un exemple.
203
2.
Cliquez sur le champ All in one et, dans la liste droulante, slectionnez true ou false afin de choisir si le flux XML doit tre crit en un flux unique. Si vous slectionnez true, les donnes XML sont crites en un seul flux. Dans cet exemple, le flux unique s'affiche comme suit :
La structure de ce flux est la suivante :
204
Si vous slectionnez false, les donnes XML sont crites dans des flux spars, chaque boucle reprsentant un flux. Dans cet exemple, les flux sont les suivants :
205
Chaque flux contient une structure XML complte. La structure du premier flux, par exemple est la suivante :
La fonctionnalit All in one est dsactive si vous utilisez l'lment "aggregate". Pour plus d'informations concernant l'lment "aggregate", consultez la Section 6.3.1.9, Agrger les donnes de sortie .
6.3.2.2. Grer les lments vides dans le Map editor

Il peut tre ncessaire de crer des lments de sortie vides durant le processus de transformation des donnes en un flux XML, par exemple quand le tXMLMap est associ un tWriteXMLField crant des lments vides ou lorsqu'il n'y a pas de colonne associe un certain nud XML dans le flux de donnes XML de sortie. Vous pouvez garder ces lments vides dans l'arborescence XML selon vos besoins, mme si vous ne souhaitez pas les crire en sortie. Le composant tXMLMap vous permet de dfinir le boolen pour la cration de l'lment vide. pour ce faire, dans la partie droite du Map editor, effectuez les oprations suivantes : 1. Cliquez sur la cl anglaise afin d'ouvrir le panneau de paramtrage du mapping.
206
Utiliser le Tree schema editor
2.
Dans le panneau, cliquez sur le champ Create empty element et, dans la liste droulante, slectionnez true ou false afin de choisir d'crire ou non l'lment vide. Si vous slectionnez true, l'lment vide est cr dans le flux XML de sortie et crit, par exemple, comme suit <customer><LabelState/></customer>. Si vous slectionnez false, l'lment vide n'est pas crit.
6.3.3. Utiliser le Tree schema editor

En plus des vues Schema editor et Expression editor proposes par lditeur du tMap, lditeur du composant tXMLMap fournit la vue Tree schema editor permettant de modifier le schma de larborescence XML des flux dentre et de sortie. Pour accder au Tree schema editor, cliquez sur longlet correspondant en bas de lditeur.
Le schma de larborescence XML du flux dentre apparat gauche de longlet Tree schema editor, et celui du flux de sortie apparat droite. Le tableau suivant fournit des informations concernant cet diteur de schma. Mtadonne XPath Description Le chemin absolu pointant sur chaque lment ou attribut de larborescence XML et ditez le nom de l'lment ou attribut correspondant.
207
Utiliser le Tree schema editor
Mtadonne Key
Description La cl indique si la valeur de la cl dexpression devrait tre utilise pour retrouver les donnes dune autre table travers un lien Join. Si cette case est dcoche, la relation Join est dsactive. Type de donnes : String, Integer, Document, etc. Cette colonne est obligatoire.
Type
Nullable Pattern
Indique si les valeurs de champs nulles sont autorises. Indique si un modle est utilis pour les donnes de type Date.
Les schmas dentre et de sortie sont indpendants les uns des autres. Vous pouvez par exemple changer le libell dune colonne de sortie sans que le libell dentre ne change. Cependant, toute modification apporte au schma est immdiatement reporte sur le schma correspondant dans la zone Input ou Output correspondante dans lditeur du tXMLMap, mais aussi au niveau des proprits ellesmmes des composants Input et Output concern. Pour des scnarios dtaills concernant les nombreuses oprations que vous pouvez effectuer laide du tXMLMap, consultez le Guide de rfrence des Composants Talend Open Studio.
208
Chapitre 7. Gestion des mtadonnes

Dans Talend Open Studio for Data Integration, les mtadonnes permettent de dfinir, de dcrire ou de documenter les donnes traites par le logiciel. Ce chapitre vous dcrit les procdures de cration et de gestion des diffrentes mtadonnes pouvant tre utilises dans tous vos Jobs. Avant de commencer un processus de gestion de donnes, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez l'Annexe A, Interface de Talend Open Studio for Data Integration .
Objectifs
7.1. Objectifs
Dans le dossier Metadata du Repository, vous pouvez stocker toutes vos informations de connexion aux fichiers, bases de donnes et/ou systmes, et les rutiliser pour la conception de vos jobs. Les diffrents assistants de cration vous aident enregistrer ces informations qui vous permettent de paramtrer les composants dentre ou de sortie de vos jobs. Ils vous permettent galement de stocker une description de vos donnes appele schma dans Talend Open Studio for Data Integration. Les procdures de lassistant diffrent en fonction du type de connexion choisi. Cliquez sur Metadata dans le Repository pour dvelopper larborescence. Chaque dossier Connection contient les diffrentes connexions que vous avez cres.
Grce Talend Open Studio for Data Integration, il est possible de crer, entre autres : des connexions des bases de donnes, un schma JDBC, une connexion SAS, un schma de type Fichier (File), un schma LDAP, un schma Salesforce, un schma gnrique, une connexion MDM, un schma WSDL (Services Web), une connexion FTP, Les sections suivantes dcrivent en dtail la procdure suivre pour crer les diffrents schmas et connexions.
210
Configurer une connexion DB
7.2. Configurer une connexion DB

Si vous vous connectez rgulirement une base de donnes de tout type, vous pouvez centraliser les informations de connexion cette base de donnes sous le nud Metadata de la vue Repository. Vous pouvez galement configurer cette connexion DB en cliquant sur licne settings de tous les composants DB input et output. dans la vue Basic
7.2.1. Etape 1 : Proprits gnrales

Pour crer une connexion une base de donnes, suivez la procdure dcrite ci-dessous. Dveloppez le nud Metadata dans la vue Repository, cliquez-droit sur Db Connections puis slectionnez Create connection dans le menu contextuel. Un assistant de connexion souvre. Renseignez les proprits gnrales du schma, notamment les champs Name et Description. Le champ Status est un champ personnalis que vous pouvez dfinir dans les Prfrences (Window > Preferences).
Cliquez sur Next une fois termin, ltape suivante vous permet de renseigner les donnes de connexion la base de donnes.
7.2.2. Etape 2 : Connexion

Dans le champ DB type, slectionnez le type de base de donnes laquelle vous souhaitez vous connecter. Certains champs sont activs et dautres griss selon la nature de la connexion.
211
Etape 2 : Connexion
Lors de la cration dune connexion des bases de donnes telles que AS400, HSQDB, Informix, MsSQL, MySQL, Oracle, Sybase, ou Teradata, vous pouvez spcifier des proprits de connexion supplmentaires dans le champ Additional parameters de la zone Database settings. Renseignez les informations requises pour la connexion et vrifiez votre connexion laide de la fonction Check. Pour pouvoir retrouver les schmas de toutes les tables dans la base de donnes : -saisissez dbo dans le champ Schema, si vous vous connectez MSSQL 2000, -supprimez dbo dans le champ Schema, si vous vous connectez MSSQL 2005/2008. Si ncessaire, remplissez les proprits de base de donnes dans la zone Database Properties. La premire phase de configuration dune connexion base de donnes est termine. Cliquez sur Finish pour valider. La connexion aux bases de donnes nouvellement cre est accessible depuis le Repository et contient quatre sous-dossiers dont Queries pour les requtes SQL et Table schemas qui regroupe tous les schmas relatifs cette connexion. 212 Guide Utilisateur de Talend Open Studio for Data Integration
Etape 3 : Chargement de la table
A prsent, cliquez droit sur la connexion nouvellement cre et slectionnez Retrieve schema dans le menu contextuel afin de charger le schma de la table, dans la connexion tablie. Un message derreur saffichera sil ny a aucune table retrouver dans la base de donnes slectionne, ou si vous navez pas les droits daccs cette base de donnes.
7.2.3. Etape 3 : Chargement de la table

Lorsque vous cliquez sur Retrieve schema, un nouvel assistant apparat qui vous donne la possibilit dafficher et de filtrer les diffrents objets (tables, vues et synonymes) de votre connexion la base de donnes. Pour linstant, loption des synonymes fonctionne avec Oracle, DB2 et MSSQL uniquement.
213
Dans la zone Select Filter Conditions, vous pouvez filtrer les objets de votre base de donnes soit laide dun assistant dans le champ Set the Name Filter, soit laide dune requte SQL dans le champ Use the Sql Filter. Pour filtrer les objets dune base de donnes par leur nom, observez les tapes suivantes : Dans la zone Select Filter Conditions, slectionnez loption Use the Name Filter. Dans la zone Select Types, cochez la/les case(s) du/des objet(s) de la base de donnes que vous voulez filtrer ou afficher. Les options disponibles peuvent varier en fonction de la base de donnes slectionne. Dans la zone Set the Name Filter, cliquez sur le bouton Edit... pour ouvrir la bote de dialogue [Edit Filter Name]. Dans la bote de dialogue, saisissez le filtre souhait. Par exemple, si vous souhaitez rcuprer les objets dont le nom commence par A, saisissez le filtre A% ou si vous souhaitez rcuprer les objets dont le nom termine par type, saisissez %type. Cliquez sur OK pour fermer la bote de dialogue. Cliquez sur Next pour afficher la vue suivante de lassistant, qui prsente la liste des objets filtrs. Pour filtrer les objets laide dune requte SQL : Dans la zone Select Filter Conditions, slectionnez loption Use Sql Filter. Dans le champ Set the Sql Filter, saisissez la requte SQL souhaite. Cliquez sur Next pour afficher la vue suivante de lassistant, qui prsente la liste des objets filtrs. Une fois que vous avez obtenu la liste filtres des diffrents objets de la base de donnes (table, vue et synonyme), observez les tapes suivantes pour charger les schmas des objets slectionns dans votre fichier systme Repository :
214
Slectionnez un ou plusieurs objets partir de la liste puis cliquez sur le bouton Next pour ouvrir la vue suivante de lassistant, o vous pourrez consulter les schmas des objets slectionns. Si aucun schma nest visible dans la liste, cliquez sur le bouton Check connection en dessous de la liste pour vrifier ltat de la connexion de base de donnes.
215
Etape 4 : Dfinition du schma
Modifiez les schmas si besoin puis cliquez sur le bouton Finish pour fermer lassistant. Les schmas reposant sur les tables slectionnes sont lists dans le rpertoire Table schemas, qui correspond la connexion de base de donnes que vous avez cre. En Java, assurez-vous que le type de donnes, dans la colonne Type, est correctement dfini. Pour plus dinformations concernant les types de donnes, dont les modles de date, consultez la page http://docs.oracle.com/javase/6/docs/api/index.html.
7.2.4. Etape 4 : Dfinition du schma

Par dfaut, le schma affich dans la zone Schema est bas sur la premire table slectionne dans la liste des schmas chargs ( gauche). Vous pouvez modifier le nom du schma et selon vos besoins, vous pouvez galement personnaliser la structure du schma. En effet, la barre doutils vous permet dajouter, denlever ou dplacer les colonnes de votre schma. Vous avez galement la possibilit dimporter un schma XML partir dun fichier ou dexporter le schma courant en XML. Pour restaurer un schma bas sur lune des tables charges, slectionnez le schma de la table dans la liste droulante et cliquez sur Retrieve schema. Notez que le schma ainsi charg crase le schma courant et ne retient aucune des modifications ponctuelles.
216
Configurer une connexion JDBC
Cliquez sur Finish pour terminer la cration du schma de base de donnes. Tous les schmas ainsi crs apparaissent sous le nud des connexions aux bases de donnes.
7.3. Configurer une connexion JDBC

Pour crer un fichier de schmas bass sur une base de donnes, suivez la procdure dcrite ci-dessous. Cliquez droit sur DB Connections puis slectionnez Create connection dans le menu contextuel.

Pour la premire tape, renseignez les informations gnrales du schma, notamment les champs Name et Description. Pour plus dinformations, consultez Section 7.2.1, Etape 1 : Proprits gnrales .

Dans le champ DB type, slectionnez loption General JDBC et renseignez les champs qui suivent.
217
Etape 2 : Connexion
Renseignez les informations requises pour la connexion : Dans le champ JDBC URL, renseignez lURL de connexion au serveur SGBD. Dans le champ Driver jar, slectionnez le pilote jar permettant de valider votre connexion la base de donnes. Dans le champ Class name, renseignez la classe principale du pilote permettant de communiquer avec la base de donnes. Dans les champs User name et Password, renseignez vos nom et mot de passe utilisateur. Dans le champ Mapping File, slectionnez le mapping permettant de faire la corrlation entre le type de donnes de la base de donnes et le type de donnes en Java. Par exemple : le type VARCHAR pour un base de donnes correspond au type String en Java. Les fichiers de mapping sont au format XML et sont dfinis dans le menu Window > Preferences sous le nud Talend > Metadata of TalendType. Et vrifiez votre connexion laide de la fonction Check. La premire phase de configuration dune connexion base de donnes est termine. Cliquez sur Finish pour valider. La connexion aux bases de donnes nouvellement cre est accessible depuis le Repository et contient quatre sous-dossiers dont Queries pour les requtes SQL et Table schemas qui regroupe tous les schmas relatifs cette connexion.
218
A prsent, cliquez droit sur la connexion nouvellement cre et slectionnez Retrieve schema dans le menu contextuel.
7.3.3. Etape 3 : Chargement de la table

Un nouvel assistant souvre sur la premire tape. Une liste de tables propose toutes les tables prsentes sur la connexion dfinie prcdemment. Il peut sagir de nimporte quel type de base de donnes. Slectionnez une ou plusieurs tables dans la liste pour les charger sur votre systme de fichier Rfrentiel. Vos schmas de Repository seront bass sur ces tables. Si aucun schma nest visible dans la liste, cliquez sur Check connection pour vrifier le statut de la connexion la base de donnes. Cliquez sur Next une fois la slection termine. Sur la fentre suivante, quatre panneaux de configuration vous permettent de dfinir les schmas crer. En Java, assurez-vous que le type de donnes est correctement dfini. Pour plus dinformations concernant les types de donnes, formats de dates inclus, visitez le site http://docs.oracle.com/javase/6/docs/api/index.html.

Par dfaut, le schma affich dans le panneau Schema est bas sur la premire table slectionne dans la liste des schmas chargs ( gauche). Vous pouvez modifier le nom du schma et selon vos besoins, vous pouvez galement personnaliser la structure du schma. En effet, la barre doutils vous permet dajouter, denlever ou dplacer les colonnes de votre schma. Vous avez galement la possibilit dimporter un schma XML partir dun fichier ou dexporter le schma courant en XML. Pour restaurer un schma bas sur lune des tables charges, slectionnez le schma de la table dans la liste droulante et cliquez sur Retrieve schema. Notez que le schma ainsi charg crase le schma courant et ne retient aucune des modifications ponctuelles. Cliquez sur Finish pour terminer la cration du schma de base de donnes. Tous les schmas ainsi crs apparaissent sous le nud des connexions aux bases de donnes.
219
Configurer une connexion SAS
7.4. Configurer une connexion SAS

Talend Open Studio for Data Integration vous permet de configurer une connexion un systme distant SAS.
7.4.1. Conditions pralables

Avant de configurer votre connexion SAS, vous devez rcuprer vos mtadonnes partir du serveur SAS et les exporter sous forme de fichier XML.

1. Dans larborescence Repository de Talend Open Studio for Data Integration, dveloppez le nud Metadata puis cliquez droit sur DB Connection. 2. Slectionnez Create connection dans le menu contextuel pour ouvrir lassistant [Database Connection]. 3. Remplissez les informations gnriques, comme le nom (Name) et la description (Description) puis cliquez sur le bouton Next pour passer la vue suivante de lassistant. Pour plus dinformations, consultez Section 7.2.1, Etape 1 : Proprits gnrales .

Dans le champ BD type de lassistant [Database Connection], slectionnez loption SAS et renseignez les champs qui suivent avec vos informations de connexion SAS.
220
Etape 2 : Connexion
Si ncessaire, vrifiez votre connexion laide de la fonction Check. Si ncessaire galement, remplissez les proprits de base de donnes dans la zone Database Properties. Cliquez sur Finish pour valider vos modifications et fermer lassistant. La connexion aux bases de donnes nouvellement cre est accessible depuis le Repository sous le nud DB Connections. Elle contient quatre sous-dossiers dont Queries pour les requtes SQL et Table schemas qui regroupe tous les schmas relatifs cette connexion.
221
Configurer un schma File Delimited
Cliquez droit sur la connexion SAS nouvellement cre et slectionnez Retrieve Schema From SAS dans le menu contextuel pour afficher tous les schmas de la base de donnes dans le sous-dossier Table schemas.
7.5. Configurer un schma File Delimited

Les mtadonnes de type File Delimited peuvent tre utilises pour dfinir les proprits des composants tInputFileDelimited et tInputFileExcel car tous deux sont bass sur la mme structure. La cration de schmas de fichier est similaire pour tous les types de fichiers : Delimited (dlimits), Positional (positionnels), Regex (Expressions rgulires), Xml ou Ldif. Dans le rfrentiel (Repository), cliquez droit sur File Delimited dans larborescence et slectionnez Create file delimited dans le menu contextuel.
A la diffrence de lassistant de connexion DB, lassistant de connexion Delimited File regroupe la connexion au fichier et la dfinition du schma, en une seule procdure.
222
Etape 1 : Proprits gnrales

Pour la premire tape, renseignez les informations gnrales du schma, notamment les champs Name et Description. Pour plus dinformations, consultez Section 7.2.1, Etape 1 : Proprits gnrales , de la section Configurer une connexion DB.
7.5.2. Etape 2 : Chargement du fichier

Renseignez ladresse IP du serveur o le fichier est conserv. Et cliquez sur Browse... pour dfinir le chemin daccs au fichier, dans le champ File.
Slectionnez le Format du systme dexploitation dans lequel le fichier a t cr. Cette information est utilise pour pr-remplir les champs des tapes suivantes. Si la liste ne propose pas le format appropri, ignorez ce champ. Le File viewer donne un instantan du fichier charg. Il vous permet de vrifier la cohrence du fichier, la prsence dun en-tte et plus gnralement la structure du fichier. Cliquez sur Next pour passer ltape 3.
223
Etape 3 : Dfinition du schma

Dans cette vue, vous pouvez affiner la destination de vos donnes et les paramtres de fichier. Cliquez sur les diffrentes zones (bleu fonc) pour des informations spcifiques.
Paramtrez lEncoding, ainsi que les sparateurs de champs et de lignes (Field separator et Row separator) dans les paramtres Delimited File.
En fonction de votre type de fichier (csv ou delimited), vous pouvez galement paramtrer des caractres dinclusion et dexclusion (respectivement Text Enclosure et Escape character). Si laperu du fichier indique un message den-tte, vous pouvez exclure cet en-tte de lanalyse. Indiquez le nombre de lignes den-tte ignorer. En outre, si le fichier contient des informations de pied de page, indiquez le nombre de lignes ignorer.
224
Etape 4 : Schma final
Le champ Limit of rows vous permet de restreindre ltendue du fichier qui fait lanalyse. Dans le panneau File Preview, vous pouvez visualiser limpact de vos paramtrages. Cochez la case Set heading row as column names pour transformer la premire ligne analyse en libells des colonnes du schma. Notez que le nombre de lignes den-tte ignorer (champ Rows To Skip) est incrment de 1.
Cliquez sur Refresh dans le panneau daperu, afin que les modifications de paramtrage prennent effet.
7.5.4. Etape 4 : Schma final

La dernire tape affiche le schma du fichier dlimit gnr. Vous pouvez personnaliser le tableau.
225
Configurer un schma File Positional
Si le fichier dlimit sur lequel est bas le schma a t modifi, utilisez le bouton Guess pour re-gnrer le schma. Notez que si vous personnalisez le schma, la fonctionnalit Guess ne retiendra pas ces modifications. Cliquez sur Finish pour valider. Le nouveau schma apparat dans larborescence du Repository, sous le nud de la connexion File Delimited approprie. Vous pouvez glisser-dposer la mtadonne du Repository dans lespace de modlisation graphique. Une bote de dialogue souvre alors et vous pouvez choisir quel composant utiliser dans votre Job. Pour plus dinformations concernant laction de dposer des mtadonnes de composants dans lespace de modlisation graphique, consultez la Section 4.2.2.2, Dposer des composants partir du rpertoire Metadata . Pour plus dinformations concernant laction de dposer des mtadonnes de composants dans lespace de modlisation graphique, consultez la Section 4.2.2.2, Dposer des composants partir du rpertoire Metadata .
7.6. Configurer un schma File Positional

Dans le Repository, cliquez droit sur File Positional dans larborescence, puis slectionnez Create file positional dans le menu contextuel.
226
Etape 1 : Proprits gnrales
Procdez de la mme manire que pour une connexion au fichier dlimit. Cliquez-droit sous Metadata dans le Repository, puis slectionnez Create file positional.

Renseignez les informations gnrales du schma, notamment Name et Description.
7.6.2. Etape 2 : Connexion et chargement du fichier

Puis dfinissez les paramtres de connexion au fichier positionnel, en renseignant les champs Server IP address et File path. Comme pour la cration dun schma Delimited File, le format est demand pour pr-remplir des champs dans les tapes suivantes. Si le systme dexploitation de cration du fichier nest pas propos dans la liste, ignorez ce champ.
Laperu du fichier donne un instantan du fichier et vous permet de placer les marqueurs de position.
227
Etape 3 : Affinage du schma
Cliquez sur laperu du fichier et dfinissez la position des marqueurs sur la rgle. Une flche de couleur orange vous aide affiner la position du marqueur. Le sparateur de champ (Field length) rpertorie une srie de chiffres spars par des virgules. Lastrisque symbolise tous les caractres restants jusqu la fin de la ligne, partir du sparateur prcdent. La position de champ (Marker position) indique la position exacte du marqueur sur la rgle. Vous pouvez affiner la position exacte du marqueur en saisissant la valeur exacte de position. Vous pouvez placer autant de marqueurs que ncessaire. Pour retirer un marqueur, faites-le glisser vers la rgle. Cliquez sur Next pour continuer.
7.6.3. Etape 3 : Affinage du schma

Ltape suivante ouvre la fentre de paramtrage du schma. De la mme manire que pour le schma de fichier dlimit, vous pouvez affiner la dfinition du schma en prcisant les sparateurs de champs et de lignes (Field separator et Row separator), le nombre de lignes den-tte, etc. A ce stade, laperu affiche le fichier dlimit par la position de marqueurs. Si le fichier contient des libells de colonne, cochez la case Set heading row as column names.
7.6.4. Etape 4 : Schma final

Ltape 4 affiche le schma final gnr. Remarquez que tous les caractres du fichier pouvant tre mal interprt par le programme par la suite, sont remplacs par un caractre neutre. Par exemple, les tirets souligns remplacent les astrisques. Vous pouvez personnaliser le nom de la mtadonne (par dfaut, metadata) et apporter des modifications laide de la barre doutils. Vous pouvez galement restaurer ou mettre jour le schma du fichier positionnel en cliquant sur Guess. Notez cependant que toute modification ou personnalisation du schma nest pas conserve lorsque vous cliquez sur Guess. Le nouveau schma apparat dans larborescence du Repository, sous le nud de la connexion File positional approprie. Vous pouvez glisser-dposer la mtadonne du Repository dans lespace de modlisation graphique. Une bote de dialogue souvre alors et vous pouvez choisir quel composant utiliser dans votre Job.
228
Configurer un schma File Regex
7.7. Configurer un schma File Regex

Les schmas de fichier Regex servent pour manipuler les fichiers dont les informations sont redondantes, notamment les fichiers log.
Procdez de la mme faon que pour les connexions de fichiers dlimits ou positionnels. Cliquez-droit sur Metadata dans le Repository et slectionnez Create file regex.
7.7.1. tape 1 : Proprits gnrales

Renseignez les informations gnrales du schma, notamment Name et Description.
7.7.2. tape 2 : Chargement du fichier

Puis dfinissez les paramtres de connexion au fichier Regex, en renseignant les champs Server IP address et File path.
Comme pour la cration dun schma Delimited File, le format est demand pour pr-remplir certains champs des tapes suivantes. Si le systme dexploitation de cration du fichier nest pas propos dans la liste, ignorez ce champ. Laperu de fichier fournit un instantan du fichier charg. Cliquez sur Next pour dfinir la structure du schma.
229
tape 3 : Dfinition du schma
7.7.3. tape 3 : Dfinition du schma

Cette tape ouvre la fentre de paramtrage du schma. Comme pour les autres schmas de fichier, vous pouvez affiner la dfinition du schma en prcisant les sparateurs de champs et de lignes (Field separator et Row separator), le nombre de lignes den-tte, etc. Dans le panneau de paramtrage des expressions rgulires, Regular Expression settings, saisissez lexpression rgulire utilise pour dlimiter le fichier.
Veillez utiliser les bon guillemets (simples ou doubles) au moment de rdiger le code. Puis cliquez sur Refresh preview pour que les modifications soient prises en compte. Le bouton change dapparence en Wait jusqu ce que laperu soit rafrachi.
Cliquez sur Next une fois le paramtrage termin. La dernire tape gnre un schma de fichier Regex.
7.7.4. tape 4 : Schma final

Vous pouvez personnaliser le nom de la mtadonne (par dfaut, metadata) et apporter des modifications laide de la barre doutils. Vous pouvez galement restaurer ou mettre jour le schma du fichier Regex en cliquant sur Guess. Notez cependant que toute modification ou personnalisation du schma nest pas conserve lorsque vous cliquez sur Guess. Cliquez sur Finish pour valider. Le nouveau schma apparat dans le rfrentiel, sous le nud correspondant la connexion Regex approprie. Vous pouvez glisser-dposer la mtadonne du Repository dans lespace de modlisation graphique. Une bote de dialogue souvre alors et vous pouvez choisir quel composant utiliser dans votre Job. Pour plus dinformations concernant laction de dposer des mtadonnes de composants dans lespace de modlisation graphique, consultez la Section 4.2.2.2, Dposer des composants partir du rpertoire Metadata .
7.8. Configurer un Schma File XML

Centralisez vos requtes XPath partir dun fichier XML spcifi et regroupez les valeurs rcupres.
230
Configurer un schma XML pour un fichier dentre (Input)
Procdez de la mme faon que pour les connexions de fichier dlimit ou positionnel. Cet assistant intgre deux assistants en un seul. En effet, selon vos besoins, vous pouvez crer un schma de lecture (Input), ou un schma dcriture (Output). Dans un Job, le composant tFileInputXML utilise le schma de lecture cr pour lire des fichiers XML. Dans un Job, le composant tAdvancedFileOutputXML utilise le schma dcriture cr pour crire un fichier XML, sil nexiste pas, ou y ajouter des informations, sil existe dj. Ltape 1, dans laquelle vous devez renseigner les proprits gnrales du futur schma, prcde ltape de slection du type Input ou Output. Veillez donc diffrencier vos Inputs et vos Outputs en saisissant des noms que vous pourrez reconnatre. Si vous souhaitez lire un fichier XML, consultez la Section 7.8.1, Configurer un schma XML pour un fichier dentre (Input) . Si vous souhaitez crire un fichier XML, consultez la Section 7.8.2, Configurer un schma XML pour un fichier de sortie (Output) .
7.8.1. Configurer un schma XML pour un fichier dentre (Input)

Cette section dcrit la dfinition et le chargement dun schma XML pour un fichier dentre (Input). Pour dfinir et charger un fichier de sortie (Output), consultez Section 7.8.2, Configurer un schma XML pour un fichier de sortie (Output) .
7.8.1.1. tape 1 : Proprits gnrales

Dans cette tape, vous allez dfinir les proprits gnrales du fichier, telles que le nom (champ Name), l'objectif (champ Purpose) et une Description. 1. Dans la vue Repository, dveloppez le nud Metadata. 2. Cliquez-droit sur File XML, et slectionnez Create XML File dans le menu contextuel.
3. Remplissez les informations gnriques du schma, comme son nom (Name) et sa Description.
231
4. Cliquez sur Next pour passer ltape suivante et slectionner le type de schma.
7.8.1.2. tape 2 : Slection du type de schma (Input)

Dans cette tape, vous allez dfinir le type de schma, Input ou Output. Dans cet exemple, slectionnez le type Input. 1. Dans la bote de dialogue, slectionnez Input XML.
232
2. Cliquez sur Next pour continuer.
7.8.1.3. tape 3 : Chargement du fichier Input

Dans cette tape, vous allez slectionner votre fichier dentre, son encodage, dfinir le nombre de colonnes sur lequel la requte XPath devra tre excute. Vous pouvez galement prvisualiser la structure du fichier XML ou XSD slectionn. Si vous chargez un fichier XSD, les donnes seront sauvegardes dans le Repository et les mtadonnes ne seront pas affectes par la suppression ou le dplacement du fichier. vous pouvez choisir un lment comme tant la racine de votre arborescence XML. Pour charger un fichier XML, procdez comme suit : 1. Cliquez sur le bouton [Browse...] et parcourez votre rpertoire jusquau fichier charger. Sinon, saisissez le chemin daccs au fichier XML charger. Un aperu de la structure du fichier lu saffiche dans la zone Schema Viewer. Vous avez la possibilit de dvelopper et de visualiser tous les niveaux de la structure XML du fichier.
2. Renseignez le champ Encoding si le systme ne la pas dtect automatiquement 3. Dans le champ Limit, dfinissez le nombre de colonnes sur lesquelles effectuer la requte XPath, ou saisissez 0 si vous souhaitez leffectuer sur toutes les colonnes.
233
4. Cliquez sur Next pour continuer et dfinir les paramtres du schma. Pour charger un fichier XSD, procdez comme suit : 1. Cliquez sur Browse... et parcourez votre systme jusqu'au rpertoire du fichier XSD charger. Ou bien saisissez le chemin d'accs au fichier. 2. Dans la bote de dialogue qui apparat, slectionnez un lment dans la liste Root, afin d'en faire la racine de votre arborescence XML, puis cliquez sur OK.
La zone Schema Viewer affiche un aperu de la structure XML. Vous pouvez dvelopper et visualiser chaque niveau de la structure XML du fichier.
3. Dans le champ Encoding, saisissez le type d'encodage si le systme ne le dtecte pas automatiquement. 4. Dans le champ Limit, saisissez le nombre de colonnes sur lesquelles excuter la requte XPath, ou saisissez 0 si vous souhaitez l'excuter sur touts les colonnes. 5. Cliquez sur Next afin de configurer les paramtres du schma.
234
7.8.1.4. tape 4 : Dfinition du schma

Dans cette tape, vous allez renseigner les paramtres prendre en compte pour la dfinition du schma.
La fentre de dfinition du schma est compose de quatre vues : Vue Source Schema Target Schema Preview Description Arborescence du fichier XML. Informations dextraction et ditration. Aperu du schma cible, ainsi que des donnes d'entre des colonnes slectionnes, affiches dans l'ordre dfini. La fonctionnalit d'aperu n'est pas disponible si vous chargez un fichier XSD.
235
Vue File viewer
Description Fentre daperu des donnes brutes.
Tout d'abord, dfinissez la boucle XPath ainsi que le nombre maximum d'itrations effectuer. Pour ce faire : 1. Peuplez le champ Xpath loop expression, avec lexpression Xpath absolue du nud qui fait lobjet de litration. Vous pouvez le faire de deux manires : Saisissez lexpression Xpath absolue du nud qui fait lobjet de litration. Vous pouvez saisir lexpression entire ou appuyer sur Ctrl+Espace pour utiliser la liste dautocompltion. Ou, Dposez le nud slectionn de l'arborescence Source Schema dans le champ Absolute XPath expression. Une flche orange relie le nud l'expression correspondante.
Le champ Xpath loop expression est obligatoire. 2. Saisissez une limite de boucle dans le champ Loop limit pour restreindre le nombre de nuds itrer. Il est ensuite ncessaire de dfinir les champs extraire. Pour ce faire : 1. Glissez-dposez les nuds appropris de la vue Source Schema vers le champ Relative or absolute XPath expression. Vous pouvez slectionner plusieurs nuds dposer dans le tableau, en appuyant sur Ctrl ou Maj, et en cliquant sur les nuds adquats. La flche reliant un nud slectionn dans la zone Source Schema celui dpos dans la zone Fields to extract est bleue. Les autres liens sont gris.
2. Vous pouvez ajouter autant de colonnes extraire que vous le souhaitez, supprimer des colonnes, ou en modifier lordre, laide de la barre doutils. Ajoutez ou supprimez une colonne laide des boutons 236 et .
Modifiez lordre des colonnes laide des boutons et .
3. Dans le champ Column name, nommez les libells des colonnes qui safficheront dans la vue daperu du schma (Schema preview). 4. Cliquez sur Refresh preview pour afficher laperu du schma. Les champs apparaissent ainsi dans laperu du schma dans lordre impos. L'aperu n'est pas disponible si vous chargez un fichier XSD.
5. Cliquez sur Next pour finaliser le schma final.
7.8.1.5. tape 5 : Schma final

Le schma gnr affiche les colonnes slectionnes dans le fichier XML. Vous pouvez personnaliser ce schma selon vos besoins ou recharger le schma dorigine laide du bouton Guess.
237
Configurer un schma XML pour un fichier de sortie (Output)
1. Ajoutez ou supprimez une colonne laide des boutons 2. Modifiez lordre des colonnes laide des boutons 3. Cliquez sur Finish. Le nouveau schma saffiche dans le Repository sous le nud File xml correspondant. et . et .
7.8.2. Configurer un schma XML pour un fichier de sortie (Output)

Cette section dcrit la dfinition et le chargement dun schma XML pour un fichier de sortie (Output). Pour dfinir et charger un schma XML dentre (Input), consultez la Section 7.8.1, Configurer un schma XML pour un fichier dentre (Input) .
238

Dans cette tape, vous allez dfinir les proprits gnrales du fichier, telles que le nom (champ Name), l'objectif (champ Purpose) et une Description. 1. Dans la vue Repository, dveloppez le nud Metadata. 2. Cliquez-droit sur File XML et slectionnez Create file XML dans le menu contextuel.
3. Saisissez les informations gnriques du schma, comme son nom (Name) et sa Description.
4. Cliquez sur Next pour dfinir le type de schma.
7.8.2.2. tape 2 : Slection du type de schma (Output)

Dans cette tape, vous allez dfinir le type de schma, Input ou Output. Dans cet exemple, slectionnez le type Output. 1. Dans la bote de dialogue, slectionnez Output XML.
239
2. Cliquez sur Next pour dfinir le fichier de sortie.
7.8.2.3. tape 3 : Dfinition du fichier Output

Vous pouvez choisir de crer votre fichier manuellement ou de le crer partir dun fichier existant. Vous pouvez choisir de le crer manuellement (en slectionnant Create manually), mais vous devrez alors configurer vousmme votre schma, vos colonnes sources et vos colonnes cibles. Le fichier sera cr lors de lutilisation dans un Job dun composant de sortie, comme le tAdvancedFileOutputXML. Dans cet exemple, crez le ficher en chargeant un ficher existant XML ou XSD. Si vous chargez un fichier XSD, les donnes seront sauvegardes dans le Repository et les mtadonnes ne seront pas affectes par la suppression ou le dplacement du fichier. vous pouvez choisir un lment comme tant la racine de votre arborescence XML. Pour crer le schma XML de sortie partir d'un fichier XML, procdez comme suit : 1. Slectionnez l'option Create from a file. 2. Cliquez sur le bouton Browse... ct du champ XML or XSD File, parcourez votre systme jusqu'au fichier XML duquel la structure doit tre applique au fichier de sortie et double-cliquez sur le fichier. La zone File Viewer affiche l'aperu de la structure XML et la zone File Content affiche au maximum les cinquante premires lignes du fichier.
240
3. Renseignez le champ Encoding si le systme ne la pas dtect automatiquement. 4. Dans le champ Limit, dfinissez le nombre de colonnes sur lesquelles effectuer la requte XPath, ou saisissez 0 si vous souhaitez leffectuer sur toutes les colonnes. 5. Dans la zone Output File Path, dans le champ Output file, renseignez le chemin daccs votre fichier de sortie. Si le fichier nexiste pas, il sera cr, lors de lutilisation, dans un Job, du composant tAdvancedFileOutputXML. Si le fichier existe dj, il sera cras. 6. Cliquez sur Next pour dfinir le schma. Pour crer le schma XML de sortie partir d'un fichier XSD, procdez comme suit : 1. Slectionnez l'option Create from a file. 2. Cliquez sur le bouton Browse... ct du champ XML or XSD File, parcourez votre systme jusqu'au fichier XSD duquel la structure doit tre applique au fichier de sortie et double-cliquez sur le fichier.
241
3. Dans la bote de dialogue qui apparat, slectionnez un lment de la liste Root, afin d'en faire la racine de votre arborescence XML et cliquez sur OK.
La zone File Viewer affiche l'aperu de la structure XML et la zone File Content affiche au maximum les cinquante premires lignes du fichier.
4. Renseignez le champ Encoding si le systme ne la pas dtect automatiquement.
242
5. Dans le champ Limit, dfinissez le nombre de colonnes sur lesquelles effectuer la requte XPath, ou saisissez 0 si vous souhaitez leffectuer sur toutes les colonnes. 6. Dans la zone Output File Path, dans le champ Output file, renseignez le chemin daccs votre fichier de sortie. Si le fichier nexiste pas, il sera cr, lors de lutilisation, dans un Job, du composant tAdvancedFileOutputXML. Si le fichier existe dj, il sera cras. 7. Cliquez sur Next pour dfinir le schma.
7.8.2.4. tape 4 : Dfinition du schma

Lorsque les oprations prcdentes sont termines, les colonnes de la zone Linker Source sont automatiquement mappes vers celles correspondantes dans la zone Linker Target, comme le montrent les flches bleues. Vous pouvez personnaliser les mappings lors de la configuration du schma. Dans cette tape, configurez le schma de sortie. Le tableau suivant dcrit comment faire : Pour... Effectuer...
Dfinir un lment de Dans la zone Linker Target, cliquez-droit sur l'lment qui vous intresse et slecboucle tionnez Set As Loop Element dans le menu contextuel. Cette opration est obligatoire pour dfinir un lment sur lequel effectuer une boucle. Dfinir un group element Dans la zone Linker Target, cliquez-droit sur l'lment qui vous intresse et slectionnez Set As Group Element dans le menu contextuel. Vous pouvez configurer l'lment parent de l'lment de boucle en tant que group element condition que l'lment parent ne soit pas la racine de l'arborescence XML. Crer un lment fils pour Dans la zone Linker Target, un lment Cliquez-droit sur l'lment qui vous intresse et slectionnez Add Sub-element dans le menu contextuel, saisissez un nom pour le sous-lment dans la bote de dialogue qui apparat, puis cliquez sur OK, ou Slectionnez l'lment qui vous intresse, cliquez sur le bouton en bas, slectionnez Create as sub-element dans la bote de dialogue qui apparat, puis cliquez sur OK. Ensuite, saisissez un nom pour le sous-lment dans la bote de dialogue suivante et cliquez sur OK.
Crer un attribut pour un Dans la zone Linker Target, lment Cliquez-droit sur l'lment qui vous intresse et slectionnez Add Attribute dans le menu contextuel, saisissez un nom pour l'attribut dans la bote de dialogue qui apparat et cliquez sur OK, ou Slectionnez l'lment qui vous intresse, cliquez sur le bouton en bas, slectionnez Create as attribute dans la bote de dialogue qui apparat, puis cliquez sur OK. Ensuite, saisissez un nom pour l'attribut dans la bote de dialogue suivante et cliquez sur OK.
Crer un espace de nom- Dans la zone Linker Target, mage pour un lment Cliquez-droit sur l'lment qui vous intresse et slectionnez Add Name Space dans le menu contextuel, saisissez un nom pour l'espace de nommage dans la bote de dialogue qui apparat et cliquez sur OK, ou
243
Pour...
Effectuer... Slectionnez l'lment qui vous intresse, cliquez sur le bouton en bas, slectionnez Create as name space dans la bote de dialogue qui apparat, puis cliquez sur OK. Ensuite, saisissez un nom pour l'espace de nommage dans la bote de dialogue suivante et cliquez sur OK.
Supprimer un ou Dans la zone Linker Target, plusieurs lments/attributs/espaces de nommage Cliquez-droit sur les lments/attributs/espaces de nommage qui vous intressent et slectionnez Delete dans le menu contextuel, ou Slectionnez les lments/attributs/espaces de nommage qui vous intressent et cliquez sur le bouton en bas, ou
Slectionnez les lments/attributs/espaces de nommage qui vous intressent et appuyez sur la touche Suppr. Supprimer un lment supprime galement ses enfants, s'il en a. Ajuster l'ordre d'un ou plu- Dans la zone Linker Target, slectionnez l'lment qui vous intressent et cliquez sieurs lment(s) sur les boutons et , afin de dplacer vers le haut ou vers le bas, respectivement, l'lment slectionn. Configurer une valeur sta- Dans la zone Linker Target, cliquez-droit sur l'lment/l'attribut/l'espace de nomtique pour un lment/attri- mage qui vous intresse et slectionnez Set A Fix Value dans le menu contextuel. but/espace de nommage La valeur que vous avez configure va remplacer toute valeur rcupre du flux d'entre dans votre Job. Vous pouvez configurer une valeur statique pour un lment fils de l'lment de boucle uniquement, condition que l'lment n'ait pas luimme d'enfants et pas de mapping source-cible sur lui. Crer un mapping source- Slectionnez la colonne qui vous intresse, dans la zone Linker Source, dposez-la cible sur le noeud qui vous intresse de la zone Linker Target et slectionnez Create as sub-element of target node, Create as attribute of target node, ou Add linker to target node selon vos besoins, dans la bote de dialogue qui apparat, puis cliquez sur OK. Si vous choisissez une option qui n'est pas permise pour le nud cible, un message d'avertissement apparat et l'opration choue. Supprimer un source-cible mapping Dans la zoneLinker Target, cliquez-droit sur le nud qui vous intresse et slectionnez Disconnect Linker dans le menu contextuel.
Crer une arborescence Cliquez-droit sur tout lment du schma dans la zone Linker Target et slectionnez XML partir d'un autre fi- Import XML Tree dans le menu contextuel afin de charger un autre fichier XML ou chier XML ou XSD XSD. Ensuite, vous devez crer manuellement les mappings source-cible et dfinir nouveau le schma de sortie. Vous pouvez slectionner et dposer plusieurs champs la fois, en utilisant les touches Ctrl ou Maj pour effectuer une slection multiple et rendre le mapping plus rapide. Vous pouvez galement effectuer une slection multiple lors des oprations de clic-droit. Dans cet exemple, le schma de sortie est bas sur le fichier charg customer.xml. Configurez une boucle sur l'lment customer et dfinissez le nud id comme lment fils, plutt que comme attribut dans le fichier charg. Pour ce faire : 1. Dans la zone Linker Target, cliquez-droit sur llment customer, puis, dans le menu contextuel, slectionnez Set As Loop Element.
244
2. Cliquez-droit sur le nud id et slectionnez Delete dans le menu contextuel.
3. Slectionnez la colonne id, dans la zone Linker Source, et dposez-la dans l'lment customer de la zone Linker Target. La bote de dialogue [Selection] souvre et vous demande de dfinir la relation source-cible.
245
4. Slectionnez loption Create as sub-element of target node et cliquez sur OK pour valider votre choix. Une flche bleue relie alors les deux colonnes.
5. Cliquez sur Next pour passer ltape suivante.

Ltape 5 affiche le schma final gnr.
246
Configurer un schma File Excel
Vous pouvez personnaliser le nom de la mtadonne dans le champ Name (par dfaut metadata), ajouter un commentaire dans le champ Comment et apporter des modifications laide de la barre doutils, par exemple : Ajoutez ou supprimez une colonne laide des boutons Modifiez lordre des colonnes laide des boutons et . et .
Cliquez sur Finish pour terminer la cration du fichier XML de sortie. Le nouveau schma apparat dans le Repository, sous le nud File xml correspondant.
7.9. Configurer un schma File Excel

Dans le Repository, cliquez droit sur File Excel dans larborescence, puis slectionnez Create file Excel dans le menu contextuel.
247
tape 1 : Proprits gnrales
Procdez de la mme manire que pour une connexion au fichier dlimit. Cliquez droit sous Metadata dans le Repository, puis slectionnez Create file Excel.

Renseignez les informations gnrales du schma, notamment les champs Name et Description.

Cliquez sur Browse pour dfinir le chemin daccs au fichier charger et renseignez le champ File. Tous les types de fichiers Excel sont pris en charge, notamment les fichiers .xlsx de la version Excel 2007.
248
tape 3 : Affinage du schma
La zone File viewer and sheets settings donne un instantan du fichier et vous permet de placer les marqueurs de position. Dans la liste Set sheets parameters, cochez la case gauche de la feuille Excel charger. Par dfaut, laperu affiche le contenu de la premire feuille Excel. Vous pouvez aussi slectionner une autre feuille dans la liste droulante et vrifier que le fichier est lu correctement dans la table daperu. Cliquez sur Next pour continuer.
7.9.3. tape 3 : Affinage du schma

Ltape suivante ouvre la fentre de paramtrage du schma.
249
tape 4 : Schma final
De la mme manire que pour le schma de fichier dlimit, vous pouvez affiner la dfinition du schma en prcisant les sparateurs de champs et de lignes (Field et Row Separator), le nombre de lignes den-tte, etc.
Renseignez les champs First column (premire colonne) et Last column (dernire colonne), pour dfinir les colonnes devant tre lues dans le fichier. Vous pouvez tre amen supprimer la colonne A par exemple, car elle peut contenir des donnes ne devant pas tre traites.
Cochez aussi la case Set heading row as column names pour conserver les libells des colonnes. Noubliez pas de cliquez sur le bouton Refresh pour avoir un aperu des modifications apportes. Puis cliquez sur Next pour continuer.

Ltape 4 affiche le schma final gnr. Remarquez que tous les caractres du fichier pouvant tre mal interprts par le programme par la suite, sont remplacs par un caractre neutre. Par exemple, les tirets souligns remplacent les astrisques. Vous pouvez personnaliser le nom de la mtadonne (par dfaut, metadata) et apporter des modifications laide de la barre doutils.
250
Configurer un schma File LDIF
Vous pouvez galement restaurer ou mettre jour le schma du fichier Excel en cliquant sur Guess. Notez cependant que toute modification ou personnalisation du schma nest pas conserve lorsque vous cliquez sur Guess. Cliquez sur Finish. Le nouveau schma apparat dans le Repository, sous le nud File Excel correspondant.
7.10. Configurer un schma File LDIF

Les fichiers LDIF sont des fichiers annuaires distincts par leurs attributs. Les mtadonnes File LDIF centralisent ces fichiers de type LDIF ainsi que leur description dattributs.
Procdez de la mme faon que pour les connexions de fichiers dlimits ou positionnels. Cliquez droit sur Metadata dans le Repository et slectionnez Create file Ldif. Assurez-vous que les modules requis pour lutilisation de cette fonctionnalit sont bien installs. Pour plus dinformations, visitez http://talendforge.org/wiki/doku.php

Pour commencer, renseignez les informations gnriques, notamment Name et Description.

Puis dfinissez les paramtres de connexion au fichier Ldif en renseignant le champ File path.
251
La fonctionnalit de connexion un serveur distant nest pour linstant pas oprationnelle pour la rcupration de fichier LDIF. Laperu de fichier affiche les 50 premires lignes du fichier.

La liste des attributs du fichier de description saffiche en haut de la fentre. Cochez les cases correspondant aux attributs que vous souhaitez extraire du fichier de description LDIF.
252
Cliquez sur Refresh Preview pour prendre en compte dans laperu du fichier, les attributs slectionns. DN est volontairement omis de la liste des attributs proposs car cet attribut cl est automatiquement inclus dans laperu de fichier, et par consquent dans le schma gnr.

Le schma gnr affiche les colonnes du fichier de description. Vous pouvez le personnaliser selon vos besoins ou recharger le schma original laide du bouton Guess. Cliquez sur Finish. Le nouveau schma saffiche comme une nouvelle entre de larborescence du Repository sous le nud de connexion LDIF appropri.
7.11. Configurer un schma LDAP

Dans le Repository, cliquez droit sur le nud LDAP, puis slectionnez Create LDAP schema dans le menu contextuel.
253
Contrairement lassistant de connexion DB, lassistant LDAP regroupe la fois la connexion au fichier et la dfinition du schma.

Pour la premire tape, renseignez les informations gnrales du schma, notamment les champs Name et Description. Pour plus dinformations, consultez Section 7.2.1, Etape 1 : Proprits gnrales .
7.11.2. tape 2 : Connexion au serveur

Renseignez les informations de connexion.
Vrifiez votre connexion laide de bouton Check Network Parameter, puis cliquez sur le bouton Next. Champ Hostname Port Encryption method Description Serveur LDAP adresse IP Port dcoute annuaire LDAP LDAP : aucun codage nest utilis LDAPS : LDAP scuris TLS : le certificat est utilis Cliquez sur Next pour valider cette tape et continuer.
7.11.3. tape 3 : Authentification et acquisition du DN

Dans cette fentre, renseignez les informations dauthentification et le mode daccs aux donnes.
254
tape 3 : Authentification et acquisition du DN
Cliquez sur Check authentication pour vrifier vos droits daccs.
Champ Authentication method
Description Pour une Simple authentication, renseignez le champ Authentication Parameters Anonymous authentication ne ncessite aucun paramtre dauthentification. Bind DN or User : connectez-vous en fonction de la mthode dauthentification LDAP choisie. Bind password : renseignez le mot de passe. Save password : cochez cette case pour enregistrer les informations dauthentification.
Authentication Parameters
Get Base DN from Root DSE / Base Chemin daccs larborescence de lutilisateur. DN Le bouton Fetch Base DNs redirige le DN automatiquement la racine. Alias Dereferencing Never permet lamlioration des performances de recherche si vous tes sr quaucun alias nest drfrenc. Par dfaut, utilisez Always. Always : les alias sont toujours drfrencs. Never : les alias ne jamais sont drfrencs. Searching : cette option drfrence les alias uniquement aprs la rsolution du nom.
255
Champ
Description Finding : cette option drfrence les alias uniquement lors de la rsolution du nom. Redirection des requtes utilisateur : Ignore ne tient pas compte des redirections des requtes. Follow tient compte des redirections des requtes.
Referral Handling
Limit
Limite le nombre denregistrements lus
Cliquez sur Fetch Base DNs pour conserver le DN et cliquez sur Next pour continuer.

Slectionnez les attributs que vous souhaitez inclure dans la structure du schma. Ajoutez un filtre si vous souhaitez uniquement des donnes particulires.
Cliquez sur Refresh Preview pour afficher les colonnes slectionnes ainsi quun chantillon des donnes. Puis cliquez sur Next pour continuer.
256

Cette dernire tape affiche le schma LDAP gnr. Vous pouvez modifier le schma laide de la barre doutils sous le tableau.
Si lannuaire LDAP ayant donn lieu au schma a chang, cliquez sur le bouton Guess pour gnrer le schma une nouvelle fois. Notez que les modifications que vous avez apportes au schma seront perdues si vous cliquez sur le bouton Guess. Cliquez sur Finish. Le nouveau schma saffichera dans le Repository, sous le nud LDAP correspondant.
7.12. Configurer un schma Salesforce

Dans le Repository, cliquez-droit sur le nud Salesforce dans larborescence, puis slectionnez Create Salesforce schema dans le menu contextuel.
Procdez de la mme manire que pour toute autre connexion de mtadonnes.
257

Renseignez les informations gnrales du schma, notamment son nom dans le champ Name et sa Description.
7.12.2. tape 2 : Connexion au compte Salesforce

Ladresse du service Web Salesforce apparat par dfaut dans le champ Web service URL.
Dans les champs User name et Password, saisissez votre identifiant et mot de passe de connexion au service Web Salesforce. Cliquez sur Check login pour vrifier que votre connexion fonctionne correctement. Cliquez sur Finish pour fermer lassistant.
7.12.3. tape 3 : Rcuprer les modules Salesforce

Cette tape rcupre les modules Salesforce partir de la connexion que vous avez dfinie dans ltape 2.
258
tape 3 : Rcuprer les modules Salesforce
Dans la vue Repository, dveloppez le nud Connection et cliquez-droit sur la connexion dfinie dans ltape 2 puis slectionnez Retrieve Salesforce Modules dans le menu contextuel. Dans la zone Select Schema to create, vous pouvez rduire la slection des schmas affichs laide dun filtre. Saisissez dans le champ Name Filter le nom du schma que vous souhaitez retrouver. Pour rcuprer plus de modules, cochez la case des schmas respectifs.
259
tape 4 : Rcuprer les schmas Salesforce
Cliquez sur le bouton Check Connection afin de vrifier le statut de cration puis cliquez sur Finish pour sauvegarder les modules que vous avez rcuprs.
7.12.4. tape 4 : Rcuprer les schmas Salesforce

Cette tape ouvre la fentre de paramtrage du schma en fonction du module rcupr dans ltape 3.
Cliquez-droit sur le module rcupr prcdemment et slectionnez Retrieve Salesforce Schemas dans le menu contextuel.
Dans la zone Browse data column and set query condition, vous pouvez filtrer les donnes affiches. Pour cela, saisissez le nom de la colonne que vous souhaitez filtrer puis la valeur que vous souhaitez mettre en avant dans le champ Query Condition. Les colonnes de la liste Column sont tries par ordre alphabtique. Dcochez la case order the fields pour les lister de manire alatoire.
Cliquez sur Refresh Preview si vous avez saisi une requte, afin que laperu soit mis jour. Par dfaut, laperu montre toutes les colonnes de lobjet slectionn.
260
Puis cliquez sur Next pour continuer.

Ltape 5 affiche le schma final gnr. Vous pouvez personnaliser le nom de la mtadonne (par dfaut, metadata) et apporter des modifications laide de la barre doutils.
Vous pouvez galement rcuprer ou mettre jour le schma Salesforce en cliquant sur Guess. Notez cependant que toute modification ou personnalisation du schma nest pas conserve lorsque vous cliquez sur Guess. Cliquez sur Finish. Le nouveau schma apparat dans le Repository, sous le nud Salesforce correspondant. Vous pouvez glisser-dposer la mtadonne du Repository dans lespace de modlisation graphique. Une bote de dialogue souvre alors et vous pouvez choisir dutiliser dans votre Job un tSalesforceInput ou un tSalesforceOutput.
261
Configurer un schma gnrique
Pour plus dinformations concernant laction de dposer des mtadonnes de composants dans lespace de modlisation graphique, consultez la Section 4.2.2.2, Dposer des composants partir du rpertoire Metadata .
7.13. Configurer un schma gnrique

Talend Open Studio for Data Integration vous permet de crer entirement un nouveau schma si aucun des schmas proposs ne correspond vos besoins ou si vous navez pas de schma dj constitu dans un fichier source. La procdure de cration se fait en deux tapes : Cliquez-droit sur Generic Schema dans le Repository et slectionnez Create generic schema.

Un assistant de connexion souvre. Renseignez les informations gnrales de schma, notamment Name et Description. Le champ Status est un champ optionnel, vous pouvez le modifier dans Window > Preferences. Cliquez sur Next pour continuer.

Aucun schma nest affich par dfaut si aucun schma na t prdfini. Vous pouvez nommer le schma ou utiliser le nom par dfaut (metadata) et ajouter un commentaire si vous le souhaitez. Puis dans la zone Schema, modifiez la structure du schma selon vos besoins. La barre doutils vous offre la possibilit dajouter, supprimer ou dplacer les colonnes de votre schma. Vous avez aussi la possibilit dimporter et dexporter des schmas au format XML. Cliquez sur Finish pour terminer la cration du schma gnrique. Tous les schmas crs sont sauvegards sous le nud Generic Schemas correspondant.
262
Configurer une connexion MDM
7.14. Configurer une connexion MDM

Talend Open Studio for Data Integration vous permet de centraliser les informations dune ou plusieurs connexion(s) MDM sous le nud Metadata de la vue Repository. Vous pouvez utiliser lune de ces connexions tablies pour vous connecter au serveur MDM. Vous pouvez galement paramtrer une connexion MDM en cliquant sur licne de la vue Basic settings des composants tMDMInput et tMDMOutput. Pour plus dinformations, consultez le Guide de rfrence desComposants Talend Open Studio. Selon loption que vous slectionnez, lassistant vous permet de crer soit un schma XML Input (dentre), soit un schma XML Output (de sortie), soit un schma XML Receive (de rception). Plus tard, dans un Job Talend, le composant tMDMInput utilise le schma dentre dfini pour lire des donnes matre stockes dans des documents XML. Le tMDMOutput utilise le schma de sortie dfini, soit pour crire des donnes matre dans un document XML sur le serveur MDM, soit pour mettre jour des documents XML existants. Le tMDMReceive utilise le schma XML dfini pour recevoir, des dclencheurs et des processus MDM, un enregistrement MDM au format XML
7.14.1. tape 1 : Dfinir la connexion

Pour tablir une connexion MDM, procdez comme suit : Dans la vue Repository, dveloppez le nud Metadata et cliquez-droit sur Talend MDM. Slectionnez Create MDM dans le menu contextuel. Lassistant de connexion saffiche.
Remplissez les champs Name, Purpose et Description. Le champ Status est un champ personnalis pouvant tre dfini. Pour plus dinformations, consultez la Section 2.6.8, Dfinir les paramtres des Statuts .
263
tape 1 : Dfinir la connexion
Cliquez sur Next afin de passer ltape suivante.
Remplissez les informations de connexion au serveur MDM, y compris les informations dauthentification, puis cliquez sur Check afin de vrifier la connexion que vous avez cre. Une bote de dialogue souvre pour confirmer que votre connexion a t cre avec succs. Cliquez sur OK afin de fermer la bote de dialogue de confirmation, puis cliquez sur Next afin de passer ltape suivante.
Dans la liste Version, slectionnez la version des donnes matre du serveur MDM auquel vous souhaitez vous connecter. Dans la liste Data-Model, slectionnez le modle de donnes par rapport auquel vous souhaitez valider les donnes matre. Dans la liste Data-Container, slectionnez le conteneur de donnes o sont stockes les donnes matre auxquelles vous souhaitez accder. Cliquez sur Finish afin de valider vos changements et fermer la bote de dialogue.
264
tape 2 : Dfinir un schma MDM
La connexion nouvellement cre saffiche sous le noeud Talend MDM dans le dossier Metadata dans la vue Repository.
Vous devez maintenant rcuprer le schma XML des entits mtier lies cette connexion MDM.
7.14.2. tape 2 : Dfinir un schma MDM
7.14.2.1. Dfinir un schma dentre MDM

Cette section dcrit la dfinition et le chargement dun schma MDM XML dentre. Pour dfinir et charger un schma MDM XML de sortie, consultez la Section 7.14.2.2, Dfinir un schma de sortie MDM . Pour dfinir les valeurs retrouver partir dune ou plusieurs entit(s) lie(s) une connexion MDM procdez comme suit : Dans la vue Repository, dveloppez le nud Metadata puis cliquez-droit sur la connexion MDM pour laquelle vous souhaitez rcuprer les valeurs de lentit/des entits. Slectionnez Retrieve Entity dans le menu contextuel. Une bote de dialogue saffiche.
265
Slectionnez loption Input MDM afin de charger un schma XML dentre, puis cliquez sur Next afin de passer ltape suivante.
Dans le champ Entities, slectionnez lentit mtier (schma XML) partir de laquelle vous souhaitez rcuprer les valeurs. Le nom saffiche automatiquement dans le champ Name. Vous tes libre de saisir le nom que vous voulez dans ce champ. Cependant, il est conseill de saisir le nom de lentit pour laquelle vous rcuprez le schma. Cliquez sur Next pour passer ltape suivante.
266
Le schma de lentit que vous avez slectionne, saffiche dans le panneau Source Schema. Dans la bote de dialogue ouverte, vous pouvez configurer les paramtres prendre en compte lors de la dfinition du schma XML. La bote de dialogue relative au schma est divise en quatre panneaux : Panneau Source Schema Target schema Preview File viewer Description Arborescence de lentit charge. Informations dextraction et ditration. Aperu du schma cible. Visionneur des donnes brutes.
Dans la zone Xpath loop expression, saisissez lexpression absolue du chemin XPath vers le nud de la structure XML sur lequel appliquer litration. Vous pouvez galement glisser le nud du schma source dans le champ Xpath du schma cible. Le lien saffiche en orange. Le champ Xpath loop expression est obligatoire.
267
Au besoin, dfinissez une limite (Loop limit) afin de restreindre litration un certain nombre de nuds.
Dans la capture dcran ci-dessus, utilisez Features comme lment sur lequel effectuer une boucle, puisquil est rpt dans lentit Product : <Product> <Id>1</Id> <Name>Cup</Name> <Description/> <Features> <Feature>Color red</Feature> <Feature>Size maxi</Feature> <Features> ... </Product> <Product> <Id>2</Id> <Name>Cup</Name> <Description/> <Features> <Feature>Color blue</Feature> <Feature>Thermos</Feature> <Features> ... </Product> Ce faisant, le composant tMDMInput utilisant la connexion MDM va crer une nouvelle ligne pour chaque lment Feature rencontr. Afin de dfinir les champs extraire, glissez le nud correspondant du schma source dans le champ Relative or absolute XPath expression.
268
Cliquez sur le bouton [+] afin dajouter des lignes la table, puis slectionnez les champs extraire. Appuyez sur la touche Ctrl ou Maj pour slectionner plusieurs nuds, groups ou spars, et glissez-les dans la table. Au besoin, saisissez un nom pour chaque colonne rcupre, dans le champ Column name. Vous pouvez prioriser lordre des champs extraire, en slectionnant le champ et en utilisant les flches montante et descendante. Le lien du champ slectionn saffiche en bleu, et tous les autres en gris. Cliquez sur Finish afin de valider vos modifications et fermer la bote de dialogue. Le schma nouvellement cr saffiche sous le nud Talend MDM correspondant dans la vue Repository.
Pour modifier le schma cr, procdez comme suit : Dans la vue Repository, dveloppez les nuds Metadata puis Talend MDM et parcourez votre rpertoire jusquau schma que vous souhaitez modifier. Cliquez-droit sur le nom du schma puis slectionnez Edit Entity dans le menu contextuel. Une bote de dialogue souvre.
269
Modifiez le schma comme vous le souhaitez. Vous pouvez changer le nom du schma selon vos besoins, et vous pouvez galement personnaliser la structure du schma dans le panneau correspondant. La barre doutils vous permet dajouter, supprimer ou dplacer des colonnes dans votre schma. Cliquez sur Finish afin de fermer la bote de dialogue. La connexion MDM dentre (tMDMInput) est maintenant prte tre dpose dans lun de vos Jobs.
7.14.2.2. Dfinir un schma de sortie MDM

Cette section dcrit la dfinition et le chargement dun schma XML MDM de sortie. Pour dfinir et charger un schma XML MDM dentre, consultez la Section 7.14.2.1, Dfinir un schma dentre MDM . Pour dfinir les valeurs crire dans une ou plusieurs entit(s) lie(s) une connexion MDM spcifique, procdez comme suit : Dans la vue Repository, dveloppez le noeud Metadata et cliquez-droit sur la connexion MDM pour laquelle vous souhaitez crire les valeurs de lentit. Slectionnez Retrieve Entity dans le menu contextuel. Une bote de dialogue saffiche.
270
Slectionnez loption Output MDM afin de dfinir un schma XML de sortie, puis cliquez sur Next pour procder ltape suivante.
Dans le champ Entities, slectionnez lentit mtier (schma XML) dans laquelle vous souhaitez crire les valeurs. Le nom saffiche automatiquement dans le champ Name. Vous tes libre de saisir le nom que vous voulez dans ce champ. Cependant, il est conseill de saisir le nom de lentit pour laquelle vous rcuprez le schma. Cliquez sur Next pour procder ltape suivante.
271
Un schma identique celui de lentit slectionne est automatiquement cr dans le panneau Linker Target, et les colonnes sont mappes automatiquement du panneau source au panneau cible. Lassistant dfinit automatiquement llment Id comme tant llment de boucle. Vous pouvez toujours choisir deffectuer une boucle sur un autre lment. Vous pouvez dfinir les paramtres prendre en compte lors de la dfinition du schma XML. Cliquez sur Schema Management pour ouvrir une bote de dialogue. Effectuez les modifications ncessaires la dfinition du schma XML que vous souhaitez crire dans lentit slectionne.
Votre schma dans la zone Linker Source doit correspondre au schma dans la zone Linker Target, vous devez donc dfinir les lments dans lesquels vous souhaitez crire des valeurs.
272
Cliquez sur OK pour fermer la bote de dialogue. Le schma dfini saffiche dans la colonne Schema list.
Dans le panneau Linker Target, cliquez-droit sur llment que vous souhaitez dfinir comme lment de boucle et slectionnez Set as loop element. Cela limitera litration un ou plusieurs noeud(s). Ce faisant, le composant tMDMOutput utilisant cette connexion MDM crera une nouvelle ligne pour chaque lment ayant une feature diffrente. Vous pouvez prioriser lordre des champs crire, en slectionnant le champ et en utilisant les flches montante et descendante. Cliquez sur Finish afin de valider vos modifications et fermer la bote de dialogue. Le schma nouvellement cr saffiche sous la connexion MDM correspondante dans la vue Repository.
Pour modifier le schma cr, procdez comme suit : Dans la vue Repository, dveloppez les nuds Metadata et Talend MDM puis parcourez le rfrentiel jusquau schma que vous souhaitez modifier.
273
Cliquez-droit sur le nom du schma et slectionnez Edit Entity dans le menu contextuel. Une bote de dialogue saffiche.
Modifiez le schma comme vous le souhaitez. Vous pouvez changer le nom du schma selon vos besoins, et vous pouvez galement personnaliser la structure du schma dans le panneau correspondant. La barre doutils vous permet dajouter, supprimer ou dplacer des colonnes dans votre schma. Cliquez sur Finish afin de fermer la bote de dialogue. La connexion MDM de sortie (tMDMOutput) est maintenant prte tre dpose dans lun de vos Jobs.
7.14.2.3. Dfinir un schma de rception MDM

Cette section dcrit la dfinition dun schma MDM XML de rception bas sur une connexion MDM. Pour dfinir le schma XML que vous souhaitez recevoir selon une connexion MDM spcifique, procdez comme suit : Dans la vue Repository, dveloppez le nud Metadata puis cliquez-droit sur la connexion MDM pour laquelle vous souhaitez rcuprer les valeurs de lentit. Slectionnez Retrieve Entity dans le menu contextuel. Une bote de dialogue souvre.
274
Slectionnez loption Receive MDM afin de dfinir un schma XML de rception puis cliquez sur Next pour passer ltape suivante.
Dans le champ Entities, slectionnez lentit mtier (schma XML) selon laquelle vous souhaitez recevoir le schma XML. Le nom saffiche automatiquement dans le champ Name. Vous pouvez saisir tout texte dans ce champ, mme sil est recommand de saisir le nom de lentit selon laquelle vous souhaitez recevoir le schma XML. Cliquez sur Next pour passer ltape suivante.
275
Le schma de lentit slectionne saffiche dans le panneau Source Schema. Vous pouvez dfinir les paramtres prendre en compte lors de la dfinition du schma XML. La bote de dialogue relative au schma est divise en quatre panneaux : Panneau Source Schema Target schema Preview File viewer Description Arborescence de lentit charge. Informations dextraction et ditration. Aperu du schma cible. Visionneur des donnes brutes.
Dans la zone Xpath loop expression, saisissez lexpression absolue du chemin XPath vers le nud de la structure XML sur lequel appliquer litration. Vous pouvez galement glisser le nud du schma source dans le champ Xpath du schma cible. Le lien saffiche en orange. Le champ Xpath loop expression est obligatoire.
276
Au besoin, dfinissez une limite (Loop limit) afin de restreindre litration un certain nombre de noeuds.
Dans la capture dcran ci-dessus, utilisez Features comme lment sur lequel effectuer une boucle, puisquil est rpt dans lentit Product : <Product> <Id>1</Id> <Name>Cup</Name> <Description/> <Features> <Feature>Color red</Feature> <Feature>Size maxi</Feature <Features> ... </Product> <Product> <Id>2</Id> <Name>Cup</Name> <Description/> <Features> <Feature>Color blue</Feature> <Feature>Thermos</Feature> <Features> ... </Product> Ce faisant, le composant tMDMReceive utilisant la connexion MDM va crer une nouvelle ligne pour chaque lment Feature rencontr. Afin de dfinir les champs extraire, glissez le nud correspondant du schma source dans le champ Relative or absolute XPath expression.
277
Cliquez sur le bouton [+] afin dajouter des lignes la table, puis slectionnez les champs extraire. Appuyez sur la touche Ctrl ou Maj pour slectionner plusieurs nuds, groups ou spars, et glissez-les dans la table. Au besoin, saisissez un nom pour chaque colonne reue, dans le champ Column name. Vous pouvez prioriser lordre des champs recevoir, en slectionnant le champ et en utilisant les flches montante et descendante. Le lien du champ slectionn saffiche en bleu, et tous les autres en gris. Cliquez sur Finish afin de valider vos modifications et fermer la bote de dialogue. Le nouveau schma cr saffiche sous la connexion MDM correspondante, dans la vue Repository.
Pour modifier le schma cr, procdez comme suit : Dans la vue Repository, dveloppez les nuds Metadata et Talend MDM puis parcourez le rfrentiel jusquau schma que vous souhaitez modifier. Cliquez-droit sur le nom du schma et slectionnez Edit Entity dans le menu contextuel. Une bote de dialogue saffiche.
278
Configurer un schma Web Service
Modifiez le schma comme vous le souhaitez. Vous pouvez changer le nom du schma selon vos besoins, et vous pouvez galement personnaliser la structure du schma dans le panneau correspondant. La barre doutils vous permet dajouter, supprimer ou dplacer des colonnes dans votre schma. Cliquez sur Finish pour fermer la bote de dialogue. La connexion MDM de rception (tMDMReceive) est maintenant prte tre dpose dans lun de vos Jobs.
7.15. Configurer un schma Web Service

Talend Open Studio for Data Integration vous permet de stocker vos connexions Web Service dans le Repository.
7.15.1. Configurer un schma simple

Cette section dcrit la dfinition dun schma Web Service.

Dans cette tape, vous allez dfinir les proprits gnrales du fichier. Dans la vue Repository, dveloppez le nud Metadata. Cliquez-droit sur Web Service, et slectionnez Create Web Service schema dans le menu contextuel.
279
Configurer un schma simple
Remplissez les informations gnriques du schma, comme son nom (Name) et sa Description.
Cliquez sur Next pour passer ltape suivante et slectionner le type de schma.
7.15.1.2. tape 2 : URI et dfinition des mthodes

Dans cette tape, dfinissez lURI et les paramtres ncessaires pour obtenir les valeurs.
280
Configurer un schma simple
Dans la zone Web Service Parameter : Dans le champ Web Service, renseignez lURI qui transmettra les valeurs souhaites. Si ncessaire, cochez la case Need authentication? puis saisissez respectivement votre identifiant et votre mot de passe, dans les champs User et Password. Si vous utilisez un proxy http, cochez la case Use http proxy, et renseignez les proprits (respectivement lhte, le port, lidentifiant et le mot de passe). Dans le champ Method, dfinissez la mthode en la nommant. Dans le tableau Value, ajoutez ou supprimez autant de valeurs que vous souhaitez, en cliquant sur le bouton Add (Ajouter) ou Remove (Supprimer). Puis cliquez sur Refresh Preview pour vrifier que les paramtres sont corrects.
Laperu Preview affiche les valeurs qui doivent tre transmises par la mthode du Service Web base sur les paramtres saisis.

Vous pouvez modifier le nom du schma (par dfaut, metadata) et modifier le schma laide de la barre doutils.
281
Configurer une connexion FTP
Ajoutez ou supprimez une colonne laide des boutons Modifiez lordre des colonnes laide des boutons Cliquez sur Finish. Le nouveau schma saffiche dans le Repository sous le nud Web Service appropri. et . et .
7.16. Configurer une connexion FTP

Si vous vous connectez rgulirement un serveur FTP vous pouvez centraliser les informations de connexion cette base de donnes sous le noeud Metadata de la vue Repository.

Pour crer une connexion un serveur FTP, suivez la procdure dcrite ci-dessous. Dveloppez le nud Metadata dans la vue Repository.
282
tape 2 : Connexion
Cliquez-droit sur FTP puis slectionnez Create FTP dans le menu contextuel. Un assistant de connexion souvre.
Renseignez les proprits gnrales du schma, notamment les champs Name et Description. Le champ Status est un champ personnalis que vous pouvez dfinir dans les Prfrences (Window > Preferences). Pour plus dinformations concernant la dfinition des prfrences, consultez la Section 2.5, Configuration des prfrences de Talend Open Studio for Data Integration . Cliquez sur Next une fois termin. Ltape suivante vous permet de renseigner les donnes de connexion au serveur FTP.
7.16.2. tape 2 : Connexion

Dans cette tape, renseignez les informations et les paramtres de connexion votre serveur FTP.
283
tape 2 : Connexion
Dans la zone Server : Dans les champs Username et Password, saisissez respectivement votre identifiant de connexion au serveur et votre mot de passe. Dans le champ Host, saisissez le nom de lhte de votre serveur FTP. Dans le champ Port, saisissez le numro du port correspondant. Dans la liste Encoding, slectionnez lencodage utilis. Dans la liste Connection Model, slectionnez le mode de connexion que vous souhaitez utiliser. Slectionnez Passive si vous souhaitez que le serveur FTP dtermine le port de connexion pour le transfert des donnes. Slectionnez Active si vous souhaitez dterminer vous-mme ce port. Dans la zone Parameter, slectionnez le type dutilisation du serveur FTP. Pour une utilisation standard de votre serveur FTP, vous navez pas besoin de slectionner une option. Cochez la case SFTP Support pour utiliser votre serveur FTP via le protocole de scurit SSH. Une liste Authentication method apparat alors. Slectionnez Public key ou Password selon ce que vous utilisez. Cochez la case FTPs Support pour utiliser votre serveur via le protocole de scurit SSL. Cochez la case Use Socks Proxy si vous souhaitez utiliser un proxy Socks, puis renseignez les informations du proxy (respectivement le nom de lhte, le numro du port, lidentifiant et le mot de passe de lutilisateur). Cliquez sur Finish pour fermer lassistant. Toutes les connexions ainsi cres apparaissent sous le nud des connexions aux serveurs FTP, dans la vue Repository. 284 Guide Utilisateur de Talend Open Studio for Data Integration
Exporter une mtadonne en tant que contexte
Vous pouvez glisser-dposer la mtadonne du Repository dans lespace de modlisation graphique. Une bote de dialogue souvre alors et vous pouvez choisir quel composant utiliser dans votre Job. Pour plus dinformations concernant laction de dposer des mtadonnes dans lespace de modlisation graphique, consultez la Section 4.2.2.2, Dposer des composants partir du rpertoire Metadata .
7.17. Exporter une mtadonne en tant que contexte

Pour chaque mtadonne (fichier ou base de donnes), vous pouvez exporter les informations de connexion en tant que Contexte. Lors de la dernire ou avant dernire tape de configuration de schma, cliquez sur Export as Context Lassistant de cration de Contexte souvre. Lors de ltape 1, renseignez le nom du contexte. Par dfaut, il prend le nom de la mtadonne. Cliquez sur Next. Lors de ltape 2, les variables de contexte qui ont t cre automatiquement sont affiches dans une table trois onglets. Vrifiez que les valeurs des variables des onglets Values sont correctes. Cliquez sur Finish pour valider la cration.
285
Chapitre 8. Gestion des routines

Ce chapitre dfinit les routines, fournit des cas dutilisation et explique comment crer et grer vos propres routines ou personnaliser les routines systme. Pour avoir un aperu des routines principales ainsi que dautres exemples dutilisation, consultez l'Annexe D, Routines systme. Avant de commencer un processus mtier, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez lAnnexe A, Interface de Talend Open Studio for Data Integration .
Dfinition des routines
8.1. Dfinition des routines

Les routines sont des fonctions Java plus ou moins complexes, gnralement utilises pour factoriser du code et ainsi tendre les possibilits de traitement des donnes dans un ou plusieurs Job(s) technique(s). Vous pouvez ainsi centraliser dans la vue Repository tous les morceaux de codes utiliss frquemment ou tirer parti des mthodes dj en place dans votre entreprise en les appelant via les routines. Cette factorisation facilite galement la rsolution des problmes ventuels et permet la mise jour la vole du code utilis dans des Jobs multiples. En outre, certaines routines systme reprennent les mthodes Java les plus courantes, dans une syntaxe Talend, qui vous permettent de faire remonter les erreurs Java directement dans le Studio, facilitant ainsi lidentification et la rsolution des problmes au cours du dveloppement de vos processus dintgration avec Talend. Les routines peuvent tre de deux types : les routines systme : un certain nombre de routines systme sont fournies par dfaut. Elles sont classes selon le type de donnes quelles traitent : numrique, chane de caractres, date... les routines utilisateur : ce sont les routines que vous crez ou adaptez partir de routines existantes. Il nest pas ncessaire de connatre le langage Java pour crer et utiliser les routines Talend. Toutes les routines sont conserves sous le nud Code > Routines de la vue Repository sur la gauche du Studio. Pour plus dinformations concernant les routines systme, consultez la Section 8.2, Accs aux routines systme . Pour plus dinformations concernant la cration des routines utilisateur, consultez la Section 8.4.1, Crer des routines personnalises . Vous pouvez galement dfinir les dpendances des routines dans des Jobs. Pour ce faire, cliquez-droit sur un Job dans la vue Repository et slectionnez Set up routine dependencies. Dans la bote de dialogue qui souvre, toutes les routines sont dfinies par dfaut. Vous pouvez utiliser la barre doutils afin de supprimer les routines, si ncessaire.
8.2. Accs aux routines systme

Pour accder aux routines systme, cliquez sur Code > Routines > system. Les routines ou fonctions systme sont regroupes par classe selon leur usage. Le dossier system, ainsi que son contenu est en lecture seule.
288
Personnalisation des routines systme
Chaque classe rpertorie dans le dossier system contient plusieurs routines (fonctions). Double-cliquez sur la classe que vous souhaitez ouvrir. Toutes les routines, autrement dit toutes les fonctions prsentes dans une classe, se composent d'un commentaire explicatif suivi du code correspondant Java. Appuyez sur Ctrl + O dans la routine ouverte. Une bote de dialogue affiche une liste des diffrentes routines de la catgorie. Cliquez sur la routine souhaite. La vue bascule vers la section comprenant le texte descriptif de la routine et le code correspondant. La syntaxe dappel des routines est sensible la casse. Pour plus dinformations concernant une slection des routines les plus courantes (en Java), consultez l'Annexe D, Routines systme.
8.3. Personnalisation des routines systme

Si les routines systme ne rpondent pas exactement vos besoins, vous pouvez les personnaliser en copiant leur contenu dans des routines utilisateur que vous crez. Pour personnaliser une routine systme : Crez dabord une routine utilisateur en suivant les tapes dcrites dans la Section 8.4.1, Crer des routines personnalises .Cette routine souvre dans lespace de travail et contient lexemple de base de routine. Puis dans Code > Routines > system, slectionnez une classe de routines systme qui contient la ou les routine(s) que vous souhaitez personnaliser. Double-cliquez sur la classe contenant la routine pour louvrir dans lespace de travail. Guide Utilisateur de Talend Open Studio for Data Integration 289
Gestion des routines personnalises
Retrouvez la routine/fonction dont vous souhaitez copier tout ou partie, laide du panneau Outline sur la gauche du studio.
Dans lespace de travail, slectionnez tout ou partie du code, et copiez-le via Ctrl+C Cliquez sur longlet correspondant votre routine utilisateur et collez le code du presse-papier (Ctrl+V). Adaptez ensuite le code vos besoins, et appuyez sur Ctrl+S afin de lenregistrer. Nous vous recommandons dutiliser la partie commentaire (en bleu) pour dtailler les paramtres dentre et de sortie de votre routine et ainsi en faciliter la maintenance et la rutilisation.
8.4. Gestion des routines personnalises

Talend Open Studio for Data Integration vous offre la possibilit de crer des routines personnalises, de les modifier, ou de modifier des routines existantes, afin de rpondre vos besoins spcifiques.
8.4.1. Crer des routines personnalises

Vous pouvez crer vos propres routines pour rpondre vos besoins particuliers de factorisation. Comme les routines systme, ces routines utilisateur seront centralises dans la vue Repository (rfrentiel) sous Code > Routines. Vous pourrez ainsi les organiser par dossier selon vos besoins et les appeler facilement dans tous vos Jobs. Pour crer un nouvelle routine : Dans la vue Repository, cliquez sur Code pour accder aux Routines,
290
Crer des routines personnalises
Puis cliquez-droit sur Routines et slectionnez Create Routine.
Lassistant [New routine] souvre. Saisissez les informations ncessaires la cration de la routine, telles que son nom, sa description... Cliquez sur Finish pour valider la cration et accder lditeur.
La routine utilisateur nouvellement cre apparat directement sous le noeud Routines dans la vue Repository. Lespace de travail souvre sur un modle de routine contenant par dfaut un exemple simple, compos dun commentaire en bleu, suivi du code correspondant. Nous vous recommandons de documenter votre routine utilisateur laide dun commentaire dtaill. Ce commentaire inclut gnralement les paramtres dentre et de sortie attendus pour lutilisation de votre routine, ainsi que le rsultat retourn par la routine et un exemple dillustration. Ces informations sont gnralement utiles pour la maintenance des routines et le travail collaboratif. Lexemple de code suivant est fourni par dfaut : public static void helloExample(String message) {
291
diter des routines
if (message == null) { message = "World"; //$NON-NLS-1$ } System.out.println("Hello " + message + " !"); daptez ou remplacez ce modle par votre propre code et sauvegardez-le laide de Ctrl+S, ou refermez le fichier pour lenregistrer automatiquement. Vous pouvez galement copier tout ou partie dune classe ou routine systme vers une routine utilisateur laide des raccourcis du presse-papier : Ctrl+C et Ctrl+V afin de les adapter vos besoins. Pour plus dinformations concernant la personnalisation des routines, consultez la Section 8.3, Personnalisation des routines systme .
8.4.2. diter des routines

Vous pouvez tout moment modifier les routines que vous avez cres. Rappel : Le dossier system, ainsi que toutes les routines systme, est en lecture seule. Pour diter vos routines utilisateur : Cliquez-droit sur la routine que vous souhaitez diter, puis slectionnez Edit Routine. La routine souvre dans lespace de travail, et vous pouvez la modifier. Une fois adapte vos besoins, appuyez sur Ctrl+S afin de lenregistrer. Si vous souhaitez rutiliser une routine systme pour vos besoins spcifiques, consultez la section Section 8.3, Personnalisation des routines systme .
8.4.3. diter les bibliothques des routines utilisateur

Vous pouvez diter la bibliothque de chaque routine utilisateur en important des fichiers .jar externes pour la routine slectionne. Ces fichiers externes seront affichs, comme les modules, dans la vue Modules de votre Studio. Pour plus dinformations concernant la vue Modules, consultez Section 4.5.4, Installer des modules externes . Le fichier .jar de la bibliothque importe sera galement list dans le fichier bibliothque de votre Studio. Pour diter une bibliothque de routine utilisateur, procdez comme suit : Dans la vue Repository, dveloppez les nuds Code > Routines. Cliquez-droit sur la routine utilisateur dont vous souhaitez diter la bibliothque, puis slectionnez Edit Routine Library. La bote de dialogue [Import External Library] souvre.
292
diter les bibliothques des routines utilisateur
Cliquez sur New pour ouvrir une nouvelle bote de dialogue dans laquelle vous pourrez importer la bibliothque externe. Vous pouvez supprimer tout fichier de routine dj import en slectionnant le fichier dans la liste Library File et en cliquant sur le bouton Remove.
Saisissez le nom du fichier bibliothque dans le champ Input a librarys name suivi du format de fichier (.jar), ou Slectionnez loption Browse a library file et cliquez sur Browse pour dfinir le chemin daccs au fichier dans le champ correspondant. Au besoin, saisissez une description dans le champ Description puis cliquez sur OK afin de confirmer vos modifications. Le fichier bibliothque import est affich dans la liste Library File, dans la bote de dialogue [Import External Library]. Cliquez sur Finish pour fermer la bote de dialogue. Le fichier bibliothque est import dans le dossier bibliothque de votre Studio et saffiche dans la vue Module de votre Studio. Pour plus dinformations concernant la vue Modules, consultez la Section 4.5.4, Installer des modules externes .
293
Appel dune routine partir dun Job
8.5. Appel dune routine partir dun Job

Prrequis : Pour pouvoir excuter votre routine, vous devez avoir cr au minimum un Job. Pour plus dinformations sur la cration dun Job, consultez la Section 4.2.1, Crer un Job du Guide Utilisateur Talend Open Studio for Data Integration. Vous avez la possibilit dappeler toutes les routines (utilisateur et systme) partir des composants de vos Jobs afin dexcuter automatiquement votre routine lors de lexcution du Job qui la contient. Les routines enregistres dans le dossier Routines du rfrentiel sont accessibles dans tous les champs de saisie (texte ou code) des composants Talend utiliss dans vos Jobs, via la liste dauto-compltion (Ctrl+Espace).
Pour faire appel lune de ces routines, il vous suffit dappeler le nom de la classe suivi du nom de la routine puis des paramtres attendus, tel que : <ClassName>.<RoutineName>
8.6. Cas dutilisation : crer un fichier la date du jour

Le scnario suivant illustre lutilisation dune routine. Le Job se compose dun composant unique qui appelle une routine systme.
Dans la Palette, cliquez sur le dossier File > Management, puis glissez un tFileTouch dans lditeur graphique. Ce composant permet de crer un fichier vide. Double-cliquez sur le composant afin dafficher sa vue Basic settings dans longlet Component. Dans le champ FileName, saisissez le chemin daccs votre fichier, ou cliquez sur le bouton [...] afin de parcourir votre rpertoire.
294
Cas dutilisation : crer un fichier la date du jour
Fermez les guillemets avant lextension de votre fichier, tel que : "D:/Input/customer".txt. Ajoutez le signe plus (+) entre les guillemets fermants et lextension du fichier. Puis appuyez sur Ctrl+Espace pour ouvrir la liste exhaustive des routines. Dans la liste dauto-compltion qui saffiche, slectionnez TalendDate.getDate pour utiliser la routine de Talend qui permet dobtenir la date courante. Modifiez le format de date fourni par dfaut si besoin. Saisissez + aprs la variable getDate pour terminer lappel de routine. Puis entourez de guillemets lextension du fichier.
Si vous tes sous Windows, les : entre les heures et les minutes, et entre les minutes et les secondes doivent tre retirs. Appuyez sur F6 afin dexcuter votre Job. Le composant tFileTouch a cr un fichier vide qui porte la date du jour, telle que rcupre lors de lexcution de la routine appele GetDate.
295
Chapitre 9. SQL Templates

Les modles SQL sont des groupes darguments de requtes prdfinis, excuts en mode ELT. Ce chapitre donne une dfinition du mode ELT, indique ce que sont les modles SQL et fournit lutilisateur des exemples de scnarios, afin dexpliquer comment utiliser les modles SQL existants, ou comment crer vos modles SQL personnaliss. Avant de commencer un processus mtier, vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez la Annexe A, Interface de Talend Open Studio for Data Integration .
Quest-ce que lELT ?
9.1. Quest-ce que lELT ?

Extract, Load and Transform (ELT), ou, en franais, Extraire, Charger et Transformer, est un processus de manipulation de donnes li aux bases de donnes, et plus particulirement aux data warehouses. Ce mode est diffrent du mode ETL habituel (Extract, Transform, Load). En mode ELT, les donnes sont extraites, charges dans la base de donnes, puis transformes dans la base de donnes, lemplacement dfini, avant toute utilisation. Ces donnes sont migres en masse et le processus de transformation seffectue aprs le chargement des donnes dans le SGBD cible, en format brut. Cela permet de librer de la bande passante. Cependant, le mode ELT nest pas optimal dans toutes les situations. Par exemple : SQL est moins puissant que Java, le nombre de transformations de donnes est limit. les utilisateurs du mode ELT doivent avoir des comptences en personnalisation de SQL et de SGBD. Si vous utilisez le mode ELT avec Talend Open Studio for Data Integration, vous ne pouvez ni passer ni rejeter une ligne de donnes, comme vous pouvez le faire avec lETL. Pour plus dinformations concernant le rejet de lignes, consultez la section Section 4.3.1, Types de connexions . Les modles SQL sont conus pour faciliter lutilisation du mode ELT.
9.2. Dfinition des SQL Templates Talend

Le SQL est un langage standardis de requtes, utilis pour accder aux informations des bases de donnes et les grer. Le SQL peut tre utilis pour les requtes sur les donnes, les mises jour, la cration et la modification de schmas et le contrle daccs aux donnes. Talend Open Studio for Data Integration fournit de nombreux modles SQL pour simplifier les tches les plus communes. Il comprend galement un diteur SQL vous permettant de personnaliser ou de crer vos propres modles SQL, afin de rpondre vos besoins. Ces modles SQL sont utiliss avec les composants de la famille Talend ELT, tels que le tSQLTemplate, le tSQLTemplateFilterColumns, le tSQLTemplateCommit, le tSQLTemplateFilterRows, le tSQLTemplateRollback, le tSQLTemplateAggregate et le tSQLTemplateMerge. Ces composants excutent les instructions SQL slectionnes. A laide des oprateurs UNION, EXCEPT et INTERSECT, vous pouvez modifier les donnes directement dans le SGBD sans utiliser le systme de mmoire. De plus, avec ces modles SQL, vous pouvez optimiser les performances de votre SGBD, en stockant et en rcuprant vos donnes selon vos besoins structurels. Talend Open Studio for Data Integration fournit les types suivants de modles SQL, sous le nud SQL templates de la vue Repository : Modles SQL system : ils sont classs selon le type de base de donnes. Modles SQL personnaliss : ce sont les modles que vous avez crs ou adapts des modles existants. Des informations plus prcises concernant les modles SQL sont prsentes dans les sections suivantes. Pour plus dinformations concernant les composants de la famille ELT, consultez le Guide de Rfrence des composants de Talend Open Studio for Data Integration. Comme la plupart des modles SQL sont crs pour une base de donnes spcifique, si vous changez de base de donnes dans votre systme, vous devrez galement changer de modles, ou en dvelopper de nouveaux.
298
Grer les SQL Templates Talend
9.3. Grer les SQL Templates Talend

Talend Open Studio for Data Integration vous permet, via le dossier SQL Templates de la vue Repository, dutiliser des modles SQL systme ou personnaliss dans les Jobs que vous crez dans le Studio, laide des composants de la famille ELT. Les sections suivantes vous expliquent comment grer ces deux types de modles SQL.
9.3.1. Les types de SQL Templates systme

Cette section fournit des informations dtailles concernant les diffrents types de modles SQL prdfinis. Les instructions de chaque groupe de modles varient dune base de donnes lautre, selon les oprations effectuer. Elles sont galement groupes dans chaque dossier, selon leur type. Le tableau ci-dessous prsente ces types ainsi que les informations lies chacun. Nom Aggregate Fonction Composants associs Paramtres requis dans le composant Nom de la base de donnes Nom de la table source Nom de la table cible Commit Envoie une instruction de tSQLTemplate tSQLTempla- Null Commit au SGBDR. teAggregate tSQLTemplateCommit tSQLTemplateFilterColumns tSQLTemplateFilterRows tSQLTemplateMerge tSQLTemplateRollback Envoie une instruction Roll- tSQLTemplate tSQLTempla- Null back au SGBDR. teAggregate tSQLTemplateCommit tSQLTemplateFilterColumns tSQLTemplateFilterRows tSQLTemplateMerge tSQLTemplateRollback Supprime une source table. tSQLTemplate tSQLTempla- Nom de la table (lors teAggregate tSQLTemplateFil- de lutilisation du tSQLterColumns tSQLTemplateFil- Template) terRows Nom de la table source Supprime une table cible. tSQLTemplateAggregate tSQL- Nom de la table cible TemplateFilterColumns tSQLTemplateFilterRows
Ralise lagrgation (sum, tSQLTemplateAggregate average, count, etc.) dun ensemble de donnes.
Rollback
DropSourceTable
DropTargetTable
FilterColumns
Slectionne et extrait un en- tSQLTemplateAggregate tSQL- Nom de la table cible (et semble de donnes dans des TemplateFilterColumns tSQL- schma) colonnes donnes du SGB- TemplateFilterRows Nom de la table source (et DR. schma) Slectionne et extrait un en- tSQLTemplateFilterRows semble de donnes dans des lignes donnes du SGBDR. Nom de la table cible (et schma)
FilterRow
299
Accder aux SQL Templates systme
Nom de la table source (et schma) Conditions MergeInsert Insre des enregistrements tSQLTemplateMerge dune table source vers une TemplateCommit table cible. tSQL- Nom de la table cible (et schma) Nom de la table source (et schma) Conditions MergeUpdate Met jour la table cible tSQLTemplateMerge avec les enregistrements de TemplateCommit la table source. tSQL- Nom de la table cible (et schma) Nom de la table source (et schma) Conditions
9.3.2. Accder aux SQL Templates systme

Pour accder un modle SQL systme, dveloppez le nud SQL Templates de la vue Repository.
Chaque dossier contient un sous-dossier system, dans lequel se trouvent des instructions SQL prdfinies, et un sous-dossier UserDefined dans lequel vous pouvez stocker les instructions SQL que vous avez cres ou personnalises.
300
Accder aux SQL Templates systme
Chaque dossier systme contient diffrents types de modles SQL, chaque modle tant cr pour accomplir une tche ddie. A lexception du dossier Generic, les modles SQL sont groups dans diffrents dossiers, selon le type de base de donnes avec lequel les utiliser. Les modles du dossier Generic ne sont ddis aucune base de donnes, ils sont standards et conviennent toutes. A partir de ceux-ci, vous pouvez dvelopper des modles SQL plus spcifiques que ceux dfinis par Talend Open Studio for Data Integration. Les dossiers system et leur contenu sont en lecture seule. Dans la vue Repository, procdez comme suit pour ouvrir un modle SQL : Dans la vue Repository, dveloppez le nud SQL Templates et parcourez jusquau modle que vous souhaitez ouvrir. Double-cliquez sur la classe que vous voulez ouvrir, par exemple aggregate, dans le dossier Generic. La vue du modle aggregate saffiche dans lespace de travail.
Vous pouvez lire les instructions aggregate prdfinies dans la vue du modle, ainsi que les paramtres, tels que TABLE_NAME_TARGET, operation, qui sont dfinir lors de la cration de Jobs lis. La configuration peut ensuite facilement tre paramtre, via les composants associs, comme expliqu dans la section Section 9.2, Dfinition des SQL Templates Talend . A chaque fois que vous cliquez sur un modle SQL ou que vous ouvrez un modle SQL, la vue des proprits correspondante ce modle saffiche en bas du Studio. Par exemple, vous cliquez le modle aggregate ou vous louvrez, ses proprits seront prsentes comme suit :
301
Crer des SQL Templates personnaliss
Pour plus dinformations concernant les types de modles SQL, consultez Section 9.3.1, Les types de SQL Templates systme . Pour plus dinformations concernant lutilisation des modles SQL avec les composants associs, consultez Section 4.4.3, Utiliser les SQL Templates .
9.3.3. Crer des SQL Templates personnaliss

Comme la transformation que vous devez effectuer en mode ELT peut dpasser les possibilits des modles SQL, Talend Open Studio for Data Integration vous permet de dvelopper vos propres modles SQL, condition de respecter quelques rgles dcriture. Ces modles SQL sont stocks dans les dossiers User-defined, regroups selon la base de donnes dans laquelle ils seront utiliss.
Pour plus dinformations concernant les rgles dcriture des modles SQL, consultez lAnnexe C, Rgles dcriture des SQL Templates. Pour crer un modle SQL personnalis : Dans la vue Repository, dveloppez le nud SQL Templates, puis la catgorie dans laquelle vous souhaitez crer le modle SQL.
302
Exemple dutilisation des SQL Templates systme
Cliquez-droit sur UserDefined et slectionnez Create SQL Template pour ouvrir lassistant [SQL Templates].
Saisissez les informations requises pour crer le modle, puis cliquez sur Finish pour fermer lassistant. Le nouveau modle apparat sous le nud UserDefined, dans la vue Repository. Un diteur de modles SQL souvre dans lespace de modlisation graphique. Vous pouvez saisir le code du nouveau modle. Pour plus dinformations concernant la cration de modles SQL personnaliss et leur utilisation dans des Jobs, consultez le Guide de Rfrence Talend Open Studio for Data Integration.
9.3.4. Exemple dutilisation des SQL Templates systme

Puisque beaucoup dinstructions SQL sont communes, standardises, Talend Open Studio for Data Integration vous permet de bnficier de plusieurs modles SQL systme. Cette section vous prsente un exemple dutilisation des modles SQL systme, travers les tapes de lutilisation de modles SQL systme Mysql dans un Job qui :
303
ouvre une connexion une base de donnes MySQL, collecte des donnes regroupes par valeurs spcifiques partir dune table de la base de donnes et crit des donnes agrges dans une table cible de la base de donnes, supprime la table source do proviennent les donnes agrges, lit la table cible et liste les rsultats dexcution du Job. Pour vous connecter la base de donnes et agrger les colonnes de la table : A partir de la Palette, glissez les composants suivants dans lespace de modlisation graphique : tMysqlConnection, tSQLTemplateAggregate, tSQLTemplateCommit, tMysqlInput, et tLogRow. Cliquez-droit sur le tMysqlConnection et dans le menu contextuel, slectionnez Trigger > OnComponentOk afin de lier le tMysqlConnection au tSQLTemplateAggregate. Connectez le tSQLTemplateAggregate, le tSQLTemplateCommit et le tMysqlInput laide de liens OnComponentOk. Connectez le tMysqlInput au tLogRow laide dun lien Main > Row.
Dans lespace de modlisation graphique, slectionnez le composant tMysqlConnection et cliquez sur longlet Component pour dfinir ses proprits. Dans la vue Basic settings, configurez manuellement les paramtres de connexion.
304
Dans lespace de modlisation graphique, slectionnez le tSQLTemplateAggregate et cliquez sur longlet Component pour dfinir ses proprits (Basic settings). Dans la liste Database type, slectionnez la base de donnes correspondante. Dans la liste Component list, slectionnez le composant de connexion adquat, si plus dune connexion est ouverte dans le Job. Saisissez le nom de la base de donnes, de la table source et de la table cible dans les champs correspondants, puis cliquez sur les boutons [...] ct des champs Edit schema, afin de dfinir la structure des donnes, dans la table source et dans la table cible. Le schma de la table source comprend trois colonnes : First_Name, Last_Name et Country. Le schma de la table cible comprend deux colonnes : country et total. Dans cet exemple, regroupez les citoyens par nationalit, et comptez le nombre de personnes dans chaque pays. Pour ce faire, dfinissez les paramtres Operations et Groupby selon vos besoins.
Dans le tableau Operations, cliquez sur le bouton [+] afin dajouter une ou plusieurs lignes, puis cliquez sur la ligne Output column pour slectionner la colonne de sortie qui contiendra les donnes comptes. Cliquez sur la ligne Function, puis slectionnez lopration effectuer. Dans le tableau Group by, cliquez sur le bouton [+] afin dajouter une ou plusieurs lignes, puis cliquez sur la ligne Output column pour slectionner la colonne de sortie qui contiendra les donnes agrges.
305
Cliquez sur longlet SQL template pour ouvrir la vue correspondante.
Cliquez deux fois sur le bouton [+] sous le tableau SQL template list afin dajouter deux modles SQL. Cliquez sur la ligne du premier modle SQL et slectionnez le modle MySQLAggregate dans la liste droulante. Ce modle gnre du code pour agrger des donnes, selon la configuration des Basic settings. Rptez lopration et slectionnez le modle MySQLDropSourceTable pour la ligne du deuxime modle. Ce modle gnre du code pour supprimer la table source do proviennent les donnes agrges. Afin dajouter de nouveaux modles SQL un composant ELT charg de les excuter, vous pouvez simplement glisser le(s) modle(s) de votre choix ce composant soit dans lespace de travail soit dans le tableau SQL template list de ce composant. Les modles dfinis dans le tableau SQL template list sont prioritaires par rapport la configuration paramtre dans la vue Basic settings, et sont excuts en ordre descendant. Dans cet exemple, si vous slectionnez uniquement MySQLDropSourceTable dans la liste, la table source sera supprime dfinitivement, et lagrgation ne pourra tre effectue. Dans lespace de modlisation graphique, slectionnez le composant tSQLTemplateCommit et cliquez sur longlet Component afin de dfinir ses proprits. Dans la liste Database type, slectionnez la base de donnes que vous utilisez. Dans la liste Component list, slectionnez le composant de connexion adquat, si plus dune connexion est ouverte. Dans lespace de modlisation graphique, slectionnez le composant tMysqlInput,et cliquez sur longlet Component pour dfinir ses proprits.
306
Cochez la case Use an existing connection pour utiliser la connexion la base de donnes dfinie dans le composant tMysqlConnection. Afin de dfinir le schma, slectionnez Repository et cliquez sur le bouton [...] pour slectionner la table de la base de donnes dont le schma est utilis. Dans cet exemple, la table cible contenant les donnes agrges est slectionne. Dans le champ Table Name, saisissez le nom de la table sur laquelle effectuer votre requte. Dans cet exemple, la table est celle qui contient les donnes agrges. Dans la zone Query, saisissez linstruction de la requte pour slectionner les colonnes afficher. Sauvegardez votre Job et appuyez sur F6 pour lexcuter. La table source est supprime.
Une table compose de deux colonnes, citizencount, est cre dans la base de donnes. Elle regroupe les citoyens par nationalit et affiche le total de personnes dans chaque pays.
307
Annexe A. Interface de Talend Open Studio for Data Integration

Cette annexe dcrit linterface de Talend Open Studio for Data Integration.
Fentre principale
A.1. Fentre principale

La fentre principale de Talend Open Studio for Data Integration est linterface partir de laquelle vous pouvez grer tous les types de processus dintgration de donnes. La fentre multi-panneaux de Talend Open Studio for Data Integration est compose des vues suivantes : Menus Barres doutils Rfrentiel (Repository) Espace de modlisation (Design workspace) Diverses vues de configuration organises en onglets pour chaque lment du Job dintgration de donnes cr dans lespace de modlisation Aperu schma (Outline) et Aperu du code (Code Viewer) Outline view and Code Viewer. La capture dcran ci-dessous vous montre la fentre principale de Talend Open Studio for Data Integration, ses panneaux et ses vues.
Les diffrentes vues et leurs fonctionnalits associes sont dcrites dans la suite de ce manuel.
310
Barre doutils et Menus
A.2. Barre doutils et Menus

En haut de la fentre principale de Talend Open Studio for Data Integration, les barres doutils et menus rassemblent les fonctionnalits communes Talend ainsi que certaines fonctionnalits Eclipse.
A.2.1. Barre de menu de Talend Open Studio for Data Integration

Les menus de Talend Open Studio for Data Integration permettent daccder : la plupart des fonctionnalits standard, notamment Enregistrer (Save), Imprimer (Print), Quitter (Exit), accessibles au niveau de lapplication. certaines fonctions natives dEclipse utiliser principalement au niveau du workspace, ainsi que certaines fonctions spcifiques Talend Open Studio for Data Integration. Le tableau ci-dessous dcrit les menus et sous-menus disponible dans la barre de menu de Talend Open Studio for Data Integration. Les menus de la barre de menu sont lgrement diffrents selon llment avec lequel vous travaillez : un Business Model ou un Job. Menu File Sous-menu Close Close All Save Description Ferme la vue courante ouverte dans lespace de modlisation du Studio. Ferme toutes les vues ouvertes dans lespace de modlisation du Studio. Enregistre toutes les modifications apportes dans la vue courante. Pour plus dinformations, consultez la Section 3.6, Enregistrement dun Business Model Save as Save All Print Switch project Enregistre en tant que nouveau Job. Enregistre toutes les modifications apportes dans toutes les vues ouvertes. Option indisponible. Ferme le projet courant et ouvre la fentre de login permettant douvrir un nouveau projet dans le Studio.
Edit project pro- Ouvre un bote de dialogue permettant de personnaliser les proprits du perties projet. Pour plus dinformations, consultez la Section 2.6, Personnalisation des paramtres du projet . Import Ouvre un assistant permettant dimporter diffrents types de ressources (fichiers, lments, prfrences, catalogues XML, etc.) de diffrentes sources. Ouvre un assistant permettant dexporter diffrents types de ressources (fichiers, lments, prfrences, catalogues XML, etc.) vers diffrentes destinations. Ferme la fentre principale du Studio. Ouvre un fichier partir du Studio.
Export
Exit Open File Edit
Undo Move Node Annule la dernire action effectue dans lespace de modlisation du Studio.
311
Barre de menu de Talend Open Studio for Data Integration
Menu
Sous-menu Redo Cut Copy Paste Delete Select All
Description Reproduit la dernire action effectue dans lespace de modlisation du Studio. Coupe lobjet slectionn dans lespace de modlisation du Studio. Copie lobjet slectionn dans lespace de modlisation du Studio. Colle lobjet pralablement copi dans lespace de modlisation du Studio. Supprime lobjet slectionn dans lespace de modlisation du Studio. Slectionne tous les composants prsents dans lespace de modlisation du Studio. Affiche limage du Job ouvert en plus grand. Affiche limage du Job ouvert en plus petit. Affiche la grille dans lespace de modlisation graphique. Tous les lments salignent alors sur la grille.
View
Zoom In Zoom Out Grid
Snap to Geome- Active la fonction Snap to Geometry (Aligner sur la grille). try Window Perspective Show View... Ouvre une liste de diffrentes perspectives selon les lments de la liste. Ouvre la bote de dialogue [Show View] permettant dafficher les diffrentes vues dans le Studio.
Maximize Active Agrandit la vue courante. View or Editor... Preferences Ouvre la bote de dialogue [Preferences] permettant de paramtrer les prfrences de Talend Open Studio for Data Integration. Pour plus dinformations concernant les prfrences, consultez la Section 2.5, Configuration des prfrences de Talend Open Studio for Data Integration . Help Welcome Ouvre une page daccueil contenant des liens vers la documentation de Talend Open Studio for Data Integration et vers les sites pratiques de Talend. Ouvre laide en ligne dEclipse.
Help Contents
About Talend Affiche : Open Studio for Data Integration -la version du logiciel utilis -des informations dtailles sur la configuration du logiciel pouvant tre utile en cas de problme -des informations dtailles sur le(s) plug-in(s) -des informations dtailles concernant les fonctionnalits de Talend Open Studio for Data Integration. Export logs Ouvre un assistant vous permettant dexporter tous les fichiers .log gnrs par le Studio et des informations sur la configuration de votre ordinateur dans un fichier archive. Up- Find and Install... : Ouvre un assistant [Install/Update] permettant de chercher les mises jour des fonctionnalits installes ou de chercher de nouvelles fonctionnalits installer. Manage Configuration... : Ouvre une bote de dialogue [Product Configuration] dans laquelle grer la configuration de Talend Open Studio for Data Integration.
Software dates
312
Barre doutils de Talend Open Studio for Data Integration
A.2.2. Barre doutils de Talend Open Studio for Data Integration

La barre doutils vous permet un accs rapide aux fonctions les plus courantes de Talend Open Studio for Data Integration. Les icnes de la barre doutils sont lgrement diffrentes selon llment avec lequel vous travaillez : un Business Model ou un Job. Le tableau ci-dessous dcrit les icnes de la barre doutils et leurs fonctions. Nom Save Save as Export items Icne Description Enregistre le Job Design courant. Enregistre en tant que nouveau Job. Exporte les lments du Repository dans un fichier archive, pour les dployer en dehors de Talend Open Studio for Data Integration. Si vous souhaitez importer les lments exports dans une version plus rcente de Talend Open Studio for Data Integration ou dun autre ordinateur, assurez-vous davoir inclu les fichiers source dans larchive, en cochant la case adquate. Importe les lments du Repository dun fichier archive dans la version courant de Talend Open Studio for Data Integration. Pour plus dinformations, consultez la Section 5.2.1, Import dlments . Lance lassistant de recherche de Job vous permettant douvrir tout Job list dans la vue Repository. Excute le Job courant ouvert dans lespace de modlisation. Pour plus dinformations, consultez la Section 4.2.7, Excuter un Job Lance lassistant de cration. A partir de ce menu, vous pouvez crer nimporte quel lment du Repository : Business Models, Job Designs, contextes, routines, mtadonnes, etc. Lance la fentre [Project Settings] des paramtres du projet. A partir de cette fentre, vous pouvez ajouter une description au projet en cours et personnaliser laffichage de la Palette. Pour plus dinformations, consultez la Section 2.6, Personnalisation des paramtres du projet . Cherche les mises jour disponibles pour vos Jobs. Lance lassistant [Export Talend projects] dExport de projet. Pour plus dinformations concernant lExport de projet, consultez la Section 2.4.6, Exporter un projet .
Import items
Find a specific job Run job Create
Project settings
Detect and update all jobs Export projects Talend
A.3. Repository
Le rfrentiel, Repository, est une arborescence regroupant les lments techniques disponibles pour la description des Business Models et la conception des Job Designs. Le Repository vous donne accs aux Business Models et Job Designs ainsi qu toutes les routines et documentations rutilisables pour leur conception. Ce Repository centralise et conserve localement tous les lments contenus dans un projet.
313
Repository
La capture dcran ci-dessous montre les lments stocks dans le Repository.
Le bouton
vous permet de mettre jour l'arborescence et d'y inclure les dernires modifications.
Sauvegardez toutes vos donnes dans les divers dossiers projets (Business Models et Job Designs) et de mtadonnes (Routines, DB/File connections, toute documentation significative, etc.). Le tableau ci-dessous dcrit les nuds de la vue Repository.
Nud Business Models
Description Toutes les reprsentations graphiques des processus mtier dun projet sont regroupes sous le nud Business Models. Double-cliquez sur le nom pour louvrir dans lespace de modlisation. Pour plus dinformations, consultez le Chapitre 3, Conception dun Business Model .
Job Designs
Le dossier Job Designs montre larborescence des Jobs crs dans le projet courant. Double-cliquez sur le nom dun Job pour louvrir dans lespace de modlisation graphique. Pour plus dinformations, consultez le Chapitre 4, Conception dun Job dintgration de donnes. Le dossier Context groupe les fichiers contenant les variables de contextes que vous souhaitez rutiliser dans diffrents Jobs, comme les chemin daccs ou les informations de connexion. Pour plus dinformations, consultez Section 4.4.2, Centraliser les Contextes et les Variables . Le dossier Code est une librairie regroupant les routines disponibles dans ce projet et les autres pices de code pouvant tre rutilises dans le projet. Cliquez sur lentre de larborescence afin de dvelopper la pice de code correspondante. Pour plus dinformations, consultez le Chapitre 7, Gestion des mtadonnes.
Contexts
Code
SQL Templates
Le dossier SQL Templates regroupe tous les modles SQL systme et offre la possibilit de crer des modles SQL personnaliss. Pour plus dinformations, consultez Section 4.4.3, Utiliser les SQL Templates . Le dossier Metadata rassemble les fichiers contenant les informations redondantes que vous souhaitez rutiliser dans diffrents Jobs, comme les schmas ou les informations de proprits. Pour plus dinformations, consultez le Chapitre 7, Gestion des mtadonnes. Le dossier Documentation regroupe tout type de documents, de tout format, par exemple, des spcifications ou la description dun format technique particulier dun fichier. Double-cliquez pour ouvrir le document dans lapplication correspondante. Pour plus dinformations, consultez Section 5.6.1, Gnrer la documentation HTML . Recycle bin, la Corbeille rassemble tous les lments supprims partir de tout dossier du Repository.
Metadata
Documentation
Recycle bin
314
Espace de modlisation graphique
Nud
Description Les lments supprims sont toujours prsents dans vos fichiers systme, dans la Corbeille, jusqu ce que vous cliquiez-droit sur licne de la Corbeille et slectionnez Empty Recycle bin. Dveloppez la Corbeille afin de voir les dossiers, les sous-dossiers ou lments qu'elle contient. Vous pouvez agir directement sur un lment depuis la Corbeille, le restaurer ou le supprimer dfinitivement en cliquant-droit dessus et en slectionnant l'action souhaite dans la liste.
A.4. Espace de modlisation graphique

Lespace de modlisation graphique de Talend Open Studio for Data Integration vous permet de concevoir graphiquement les Business Models (processus mtier) mais galement les Job Designs (processus techniques). Pour plus dinformations, consultez la Section 3.2, Cration ou ouverture dun Business Model et la Section 4.2.1, Crer un Job . Pour les Business Models et les Job Designs : les Job Designs et Business Models ouverts sont organiss par un systme donglets au-dessus de cet espace de modlisation. Pour les Job Designs uniquement : Sous cet espace de modlisation, plusieurs onglets sont galement disponibles : longlet Designer : cest longlet ouvert par dfaut lors de la cration dun Job. Il affiche le Job en mode graphique ; longlet Code : il permet de visualiser le code et met en vidence les ventuelles erreurs de langage ; Les avertissements sont indiqus en jaune tandis que les erreurs sont indiques en rouge.
Une Palette est rattache lespace de modlisation pour vous permettre daccder rapidement tous les lments graphiques (formes et composants techniques) rpondant vos besoins.
315
Onglets de configuration
A.5. Onglets de configuration

Les onglets de configuration sont situs dans la partie infrieure de lespace de modlisation graphique. Chaque onglet ouvre une vue affichant les proprits de llment slectionn dans lespace de modlisation graphique. Ces proprits peuvent tre dites pour modifier ou dfinir les paramtres relatifs un composant prcis ou un Job complet.
Les onglets Component, Run Job et Error Log regroupent toutes les informations relatives aux lments graphiques slectionns dans lespace de modlisation ou lexcution elle-mme du Job complet. Les onglets Modules et Scheduler se trouvent dans la mme zone que les onglets Component, Run Job et Error Log. Ces deux vues sont indpendantes des Jobs, actifs ou inactifs, ouverts dans lespace de modlisation. Vous pouvez afficher plus donglets et ouvrir la vue correspondante directement si vous slectionnez Window > Show view puis, dans la bote de dialogue, dveloppez un nud et slectionnez llment que vous souhaitez afficher. Les sections ci-dessous dcrivent la vue de chaque onglet de configuration. Onglet Component Description Cette vue fournit des informations spcifiques sur les paramtres de chaque composant de la Palette. Pour crer un Job qui fonctionne, vous devez renseigner les champs de cette vue Component, et ce pour tous les composants du Job. Pour plus dinformations concernant la vue Component, consultez Section 4.2.6, Dfinir les proprits dun composant . Run Job Cet onglet, comme son nom le suggre, affiche lexcution du Job technique. Cet onglet joue le rle dune console de log pour afficher le rsultat dune excution. Pour plus dinformations concernant lexcution dun Job, consultez Section 4.2.7, Excuter un Job . Error Log Cette vue est gnralement utilise lors de lexcution des Jobs, car elle affiche les ventuelles erreurs dexcution. Longlet Error Log a galement une fonction informative, notamment pour indiquer quun composant Java est en cours dexcution.
316
Onglets de configuration
Onglet
Description Longlet Error Log est masqu par dfaut. Comme pour tout autre onglet, cliquez sur Window > Show views, puis dveloppez le nud PDE Runtime et slectionnez Error Log pour lafficher. Cette vue indique quel module est requis pour lutilisation du composant correspondant.. Consultez la vue Modules pour vrifier les modules prsents ou manquants pour lexcution de vos Jobs. Pour plus dinformations, consultez Section 4.5.4, Installer des modules externes .
Modules
Scheduler
Cette vue vous permet de planifier une tche qui excutera priodiquement le Job slectionn via le programme crontab. Pour plus dinformations, consultez Section 4.5.5, Lancer un Job priodiquement .
Vue Job
La vue Job affiche de nombreuses informations relatives au Job ouvert dans lespace de modlisation graphique. Cette vue contient les onglets suivants : Onglet Main Cet onglet affiche des informations simples concernant le Job ouvert dans lespace de modlisation graphique, cest--dire son nom, son auteur, son numro de version, etc. Ces informations sont en lecture seule. Pour les diter, vous devez fermer votre Job, cliquer-droit sur son libell dans la vue Repository et cliquez sur Edit properties dans le menu contextuel. Onglet Extra Cet onglet affiche les paramtres supplmentaires comme les fonctions de multi thread et de chargement de contexte implicite. Pour plus dinformations, consultez Section 4.6.7.2, Fonctions Extra Onglet Stats & Logs Cet onglet vous permet dactiver/dsactiver les statistiques et les logs du Job complet. Vous pouviez dj utiliser ces fonctions pour chaque composant de votre Job, en utilisant et configurant les composants adquats : tFlowMeterCatcher, tStatCatcher, tLogCatcher. Pour plus dinformations concernant ces composants, consultez le Guide de Rfrence des Composants Talend Open Studio. De plus, vous pouvez dornavant appliquer ces fonctionnalits la totalit de votre Job actif (cest--dire tous les composants de votre Job) en une seule fois, sans utiliser les composants Catcher mentionns plus haut. Ainsi, tous les composants sont rcuprs et transfrs dans un fichier log ou une table de donnes en fonction de votre Job. Vous pouvez galement dfinir les paramtres courants comme prfrences en cliquant sur le bouton Save to preferences. Pour plus dinformations concernant le fonctionnement automatique des Stats & Logs, consultez Section 4.6.7.1, Automatiser lutilisation de statistiques & logs Onglet Version Cet onglet regroupe les diffrentes versions du Job ouvert, ainsi que leurs date et heure de cration et de modification.
Talend change
Ex- Cette vue vous donne accs dans Talend Exchange une liste de composants compatibles avec votre version de Talend Open Studio for Data Integration mais qui ne sont pas installs dans votre Palette. Vous pouvez ensuite tlcharger ces composants pour les rutiliser dans les Job Designs crs dans votre Studio.
317
Panneau des onglets outline et code
Onglet
Description Pour plus dinformations, consultez Section 4.5.3, Tlcharger/charger des composants de la communaut . Cette vue affiche tous les messages lis aux icnes lies aux composants en cas de problme, par exemple lorsquil manque une partie de la configuration. Trois types dicnes/messages existent : Error, Warning et Infos. Pour plus dinformations, consultez Section 4.6.3, Grer les icnes davertissement/derreur sur les composants .
Problems
Job Hierarchy Cette vue affiche, sous forme darborescence, les Jobs enfant du Job parent slectionn. Pour faire apparatre cette vue, cliquez-droit sur un Job parent dans le Repository et slectionnez loption Open Job Hierarchy dans le menu contextuel. Vous pouvez galement afficher cette vue en suivant le chemin Window > Show view... > Talend > Job Hierarchy. La hirarchie dun Job napparatra que si vous crez un Job parent et un ou plusieurs enfant(s) laide du composant tRunJob. Pour plus dinformations concernant le tRunJob, consultez le Guide de Rfrence Composants Talend Open Studio. Properties Lorsque vous insrez une forme dans lditeur graphique, longlet Properties vous permet dutiliser un grand ventail doutils de formatage pour vous aider personnaliser votre Business Model et amliorer sa lisibilit.
A.6. Panneau des onglets outline et code

Ce panneau est situ sous la vue Repository. Il affiche des informations dtailles concernant le Job ou le Business Model ouvert dans lespace de modlisation graphique. Ce panneau est compos de deux onglets, Outline et Code Viewer, qui fournissent des informations concernant le Job ou le Business Model affich, ainsi que le code gnr. Pour plus dinformations, consultez la Section 4.6.5, Afficher les onglets Code ou Outline de votre Job .
A.7. Raccourcis clavier

Le tableau ci-dessous rassemble tous les raccourcis clavier utiliss dans Talend Open Studio for Data Integration : Raccourci F2 F4 F6 Ctrl + F2 Ctrl + F3 Ctrl + H Ctrl + G Ctrl + R Pour Afficher la vue Component. Afficher la vue Run Job. Contexte Application globale Application globale
Excuter le Job courant ou afficher la vue Run Job si aucun Application globale Job nest ouvert. Afficher la vue Module. Afficher la vue Problems. Affiche longlet Designer du Job courant. Afficher longlet Code du Job courant. Restaurer la vue Repository initiale. Application globale Application globale Application globale Application globale Dans la vue Repository
318
Raccourcis clavier
Raccourci Ctrl + Shift + F3 Ctrl + Shift + J F7 F5 F8 F5 Ctrl+L
Pour Synchroniser les templates javajet. Ouvrir un Job. Passer en mode Debug. Rafrachir la vue Repository. Arrter le Job courant. Rafrachir le statut dinstallation des Modules. Excuter les requtes SQL.
Contexte Application globale Application Windows) globale (sous
Dans la vue Run Job Dans la vue Repository Dans la vue Run Job Dans la vue Modules Commande Windows) Talend (sous
Ctrl+Barre despace Accder aux variables globales et de contexte. Cela peut tre Dans un champ de la vue des messages derreur ou le numro de ligne, en fonction du Component composant slectionn.
319
Annexe B. De la thorie la pratique, exemple de Job

Ce chapitre est destin aux utilisateurs de Talend Open Studio for Data Integration qui cherchent des cas rels dutilisation de Talend Open Studio for Data Integration afin de matriser le produit le mieux possible. Ce chapitre est un complment du Guide de rfrence des Composants Talend Open Studio.
Exemple de Job comprenant un tMap
B.1. Exemple de Job comprenant un tMap

B.1.1. Prsentation du scnario
Pour illustrer le fonctionnement de Talend Open Studio for Data Integration, vous trouverez ci-dessous un scnario refltant un cas dutilisation rel. Dans ce scnario, vous devez charger un fichier dans une table MySQL en appliquant des transformations la vole. Et dans une tape suivante, vous slectionnez les donnes charger en appliquant un filtre dynamique. Avant de commencer le Job, vrifiez les donnes en entre (Input) et les donnes attendues en sortie (Output).
B.1.1.1. Donnes en entre

Le contenu du fichier en entre est une liste des clients de toutes les rgions de ltat de Californie. Ces donnes seront donc charges dans une table de donnes. La structure du fichier, communment appele Schma dans Talend Open Studio for Data Integration comprend les colonnes suivantes : First name (prnom) Last name (nom) Address (adresse) City (ville)
B.1.1.2. Donnes en sortie

Vous souhaitez charger uniquement les donnes des clients habitant dans certaines rgions (Counties) de la Californie dans la nouvelle base de donnes : les rgions dOrange et de Los Angeles. La structure de la table est lgrement diffrente, ainsi les donnes devant tre charges dans la table de donnes doivent tre structures de la manire suivante : Key (Cl, Type entier) Name (Type chane, longueur max. 40) Address (Type chane, longueur max. 40) County (Type chane, longueur max. 40) Pour charger cette table, vous devez utiliser les processus de mapping suivants : La colonne Key est alimente par un entier auto-incrment. La colonne Name est renseigne avec une concatnation des donnes First Name et Last Name. Les donnes de la colonne Address sont les mmes que celles de la colonne Address du fichier dentre et elles seront mises en majuscule avant dtre charges. La colonne County est alimente par le nom de la rgion dans laquelle se situe la ville. Un fichier de rfrence vous aidera filtrer les villes des rgions dOrange et de Los Angeles.
322
Du scnario au Job
B.1.1.3. Donnes de rfrence

Etant donn que les donnes des rgions dOrange et de Los Angeles doivent tre charges dans la base de donnes, vous devez mapper les villes de Californie avec leur rgion respective, afin de pouvoir filtrer uniquement les villes dOrange et de Los Angeles. Pour cela, utilisez un fichier de rfrence contenant la liste des villes situes dans ces rgions, par exemple : City Agoura Hills Alhambra Aliso Viejo Anaheim Arcadia County Los Angeles Los Angeles Orange Orange Los Angeles
Le fichier de rfrence de ce Job se nomme LosAngelesandOrangeCounties.txt.
B.1.2. Du scnario au Job

Pour mettre ce scnario en pratique, sparez ce Job en quatre tapes. Etape 1 : Cration du Job, configuration des paramtres et lecture du fichier dentre Etape 2 : Mapping et transformations de donnes Etape 3 : Dfinition des paramtres du fichier de rfrence, mapping correspondant laide du composant tMap et slection du mode Inner Join. Etape 4 : Redirection des donnes en sortie dans une table MySQL
B.1.2.1. Etape 1 : Cration du Job, dfinition des donnes dentre, lecture du fichier
Aprs avoir lanc Talend Open Studio for Data Integration, crez une connexion au rfrentiel local en appuyant sur le bouton ... droite de Connection. Dans le champ User Email, saisissez votre e-mail puis cliquez sur OK. Cliquez sur le bouton Demo et slectionnez Java pour importer les Jobs du projet DEMO JAVA. Cette opration demande un peu de temps mais elle vous donnera accs plusieurs dizaines dexemples de Jobs illustrant les fonctionnalits principales de Talend Open Studio for Data Integration. Cliquez ensuite sur OK pour lancer le Studio. Puis cliquez sur le lien Start using Talend Open Studio for Data Integration now! pour accder directement la fentre principale. Cette fentre est divise en plusieurs espaces : A gauche : le Rfrentiel (Repository) dans lequel sont rfrencs tous les Jobs, Business Models, Mtadonnes, Code partag, Documentation, etc. Au centre : lEditeur (espace de modlisation principal)
323
Du scnario au Job
En bas : les onglets Component et Job, etc. A droite : la Palette des composants mtier ou techniques en fonction de loutil utilis dans Talend Open Studio for Data Integration. Sur la gauche du Studio, le Rfrentiel donne accs aux trois principaux outils de Talend Open Studio for Data Integration: Le Business Modeler : Pour plus dinformations, consultez la Section 3.3, Modlisation dun Business Model . Le Job Designer : Pour plus dinformations, consultez la Section 4.2.1, Crer un Job . Le Metadata Manager : Pour plus dinformations, consultez la Section 4.4.1, Centraliser les mtadonnes . Pour crer le Job, cliquez dabord sur llment Job Designs du Rfrentiel avec le bouton droit de la souris et slectionnez la premire option du menu : Create Job. Dans la bote de dialogue qui apparat alors lcran, seul le premier champ Name est obligatoire. Saisissez California1 et cliquez sur Finish. Un Job vide souvre ensuite dans la fentre principale et la Palette de composants techniques apparat (par dfaut, droite du Studio) affichant une dizaine de familles de composants, notamment : Databases, Files, Internet, Data Quality, etc. Plus de 400 composants sont disponibles actuellement. Pour lire le fichier California_Clients, utilisez le composant tFileInputDelimited. Ce composant se trouve dans la famille File > Input de la Palette. Cliquez sur ce composant et placez-le la gauche de lespace de modlisation. Dfinissez maintenant les proprits de lecture de ce composant : chemin daccs, sparateur de colonnes, encodage, etc. Pour ce faire, utilisez le Metadata Manager. Cet outil possde de nombreux assistants qui vous aideront dfinir les paramtres ncessaires et vous permettront de conserver ces proprits qui pourront tre rutilises en un seul clic dans de futurs Jobs. Puisque votre fichier dentre est un fichier plat dlimit, cliquez sur Metadata > File Delimited dans le Rfrentiel et dans le menu contextuel du nud File Delimited, slectionnez loption Create file delimited. Lassistant spcifique aux fichiers dlimits souvre : A ltape 1, seul le champ Name est obligatoire : saisissez le nom California_clients et passez ltape suivante. A ltape 2, slectionnez le fichier dentre (California_Clients.csv) via le bouton Browse.... Un extrait du fichier apparat immdiatement dans la zone File viewer en bas de lassistant, afin que vous puissiez en vrifier le contenu. Cliquez sur Next. A ltape 3, dfinissez les paramtres du fichier : encodage, sparateurs de colonnes et de lignes, etc. Puisque votre fichier dentre est standard, vous pouvez garder la plupart des valeurs par dfaut. La premire ligne de votre fichier est un en-tte contenant les noms des colonnes. Pour rcuprer automatiquement ces noms, cochez la case Set heading row as column names et cliquez sur Refresh Preview. Cliquez sur Next pour passer ltape suivante. A ltape 4, dfinissez chaque colonne de votre fichier. Lassistant intgre des algorithmes qui essayent de deviner le type et la longueur des donnes contenues dans les colonnes du fichier en analysant les premires lignes. La description des donnes (appel schma dans Talend Open Studio for Data Integration) peut tre modifie tout moment. Pour ce scnario particulier, ces informations peuvent tre gardes telles quelles. La mtadonne California_clients est maintenant dfinie. Vous pouvez donc lutiliser dans votre composant dentre. Slectionnez le composant tFileInputDelimited que vous avez dpos dans lespace de modlisation et slectionnez la vue Component Settings dans le bas de la fentre. Slectionnez longlet vertical Basic Settings. Dans cet onglet, vous trouverez toutes les proprits techniques ncessaires au composant. Au lieu de les saisir une une, utilisez la mtadonne que vous venez de crer.
324
Du scnario au Job
Slectionnez Repository dans la liste droulante Property type. Un nouveau champ apparat : cliquez sur le bouton [...] et slectionnez la mtadonne correspondante dans la liste, California_clients. Notez que tous les paramtres sont automatiquement renseigns.
A cette tape, terminez votre flux en envoyant tout simplement les donnes lues dans le fichier dentre vers une sortie standard (StdOut). Pour ce faire, ajoutez un composant tLogRow (de la famille Logs & Errors). Pour lier ces deux composants, cliquez-droit sur le composant dentre et slectionnez Row > Main. Puis cliquez sur le composant de sortie tLogRow. Ce Job est maintenant prt tre excut. Pour lexcuter, slectionnez la vue Run dans le bas de la fentre. Activez les statistiques en cochant la case Statistics dans longlet Advanced settings de la vue Run, puis excutez le Job en cliquant sur le bouton Run, dans longlet Basic Run.
325
Du scnario au Job
Le contenu du fichier dentre apparat dans la console de la vue Run.
B.1.2.2. Etape 2 : Mapping et transformations

Vous allez maintenant enrichir votre Job en ajoutant des transformations la vole. Pour effectuer ses transformations, utilisez le composant tMap dans votre Job. Ce composant est multiple et peut grer des : entres et sorties multiples, recherches de rfrence (simple, produit cartsien, premire et dernire correspondance, etc.), jointures (inner join, outer join), transformations, rejets , etc. Supprimez la connexion reliant vos deux composants via un clic-droit sur cette connexion et en slectionnant loption Delete. Puis placez le tMap entre les deux autres composants et reliez-le au composant dentre comme vous lavez fait prcdemment. Enfin, pour lier le composant tMap la sortie standard, cliquez-droit sur le tMap et slectionnez Row > *New Output* (Main). Saisissez out1 dans la bote de dialogue et cliquez sur le composant tLogRow pour crer la connexion. Logiquement, une bote de dialogue apparat (pour la rtro-propagation des schmas), ignorez-la en cliquant sur No. Maintenant, double-cliquez sur le tMap pour accder son interface. A gauche, vous trouverez le schma (description) de votre fichier dentre (row1). A droite, votre sortie est encore vide pour le moment (out1). Dposez les colonnes FirstName et LastName de la gauche vers la droite dans la colonne Name, comme le montre la capture dcran suivant. Puis dposez les autres colonnes Address et City dans leur ligne respective.
Puis effectuez les transformations suivantes sur chaque colonne : Changez les donnes de la colonne Name de la manire suivante : row1.Firstname row1.LastName + " " +
Cette action concatne les colonnes Firstname et Lastname dans une seule colonne en respectant la syntaxe Java employe. Changez les donnes de la colonne Address de la row1.Address.toUpperCase()Cette action met ladresse en majuscule. manire suivante :
Puis supprimez la colonne LastName de la table out1, et augmentez la longueur des colonnes restantes. Pour cela, cliquez sur longlet Schema Editor situ en bas de lditeur du [Map Editor] et procdez comme suit :
326
Du scnario au Job
Slectionnez la colonne supprimer du schma, et cliquez sur licne reprsentant une croix rouge. Slectionnez la colonne dont vous souhaitez augmenter la longueur. Saisissez la longueur que vous voulez dans la colonne Length. Dans cet exemple, modifiez la longueur de chaque colonne restante en 40. Comme les noms et prnoms des clients sont concatns, il est ncessaire daugmenter la longueur de la colonne name, afin de prendre en compte la longueur complte du nom. Aucune transformation nest effectue sur la colonne City. Cliquez sur OK pour valider les modifications et fermer lditeur. Si vous excutez votre Job cette tape (via longlet Run, comme prcdemment), vous remarquerez que les changements que vous avez apports ont t implments.
Ladresse a t mise en majuscule et les prnoms et noms ont t regroups dans une seule colonne.
B.1.2.3. Etape 3 : Dfinition du fichier de rfrence, mapping des donnes de rfrence, slection du mode Inner Join
Dfinissez la mtadonne correspondant au fichier LosAngelesandOrangeCounties.txt laide de lassistant, comme vous lavez fait dans ltape 1 avec le fichier California_clients.
327
Du scnario au Job
A ltape 1 de lassistant, nommez cette mtadonne LA_Orange_cities. Puis dposez cette nouvelle mtadonne en haut de lespace de modlisation, cela crera automatiquement un composant de lecture pointant vers cette mtadonne. Reliez ce composant au tMap.
Double-cliquez de nouveau sur le composant tMap pour ouvrir son interface. Notez que la table de rfrence (row2) correspondant au fichier LosAngelesandOrangeCounties.txt, apparat gauche de la fentre dans la zone Input dentre, juste en dessus de votre flux dentre principal (row1). Maintenant, dfinissez la jointure entre le flux principal et le flux de rfrence. Dans ce scnario, la jointure est simple dfinir puisque la colonne City est prsente dans les deux fichiers dentre et que les donnes correspondent parfaitement. Mais si a navait pas t le cas, il aurait t possible de rapprocher les donnes (padding, changement de casse, etc.) directement ce niveau. Pour tablir la jointure, dposez la colonne City de la premire table dentre vers la colonne City de la table de rfrence. Un lien violet apparat pour matrialiser cette jointure.
Maintenant, vous pouvez utiliser la colonne County de la table de rfrence dans la table de sortie (out1).
328
Du scnario au Job
Enfin, cliquez sur le bouton OK pour valider les modifications et excutez ce nouveau job. La sortie suivante saffichera dans la console :
Comme vous pouvez le voir, la dernire colonne ne contient que les villes des rgions dOrange et de Los Angeles. Pour les autres villes, cette colonne reste vide. Ceci est d au fait que par dfaut le tMap tablit une jointure Left Outer Join. Si vous souhaitez appliquer un filtre permettant de nafficher que les donnes pour lesquelles une correspondance a t trouve par le tMap, cliquez sur le bouton tMap settings et slectionnez Inner Join dans la liste Join Model sur la table de rfrence (row2).
B.1.2.4. Etape 4 : Sortie vers une table MySQL

Votre Job fonctionne merveille. Pour le finaliser, redirigez le flux de sortie vers une table MySQL. Pour cela, crez tout dabord une mtadonne dcrivant la connexion la base de donnes MySQL. Double-cliquez sur DemoMySQL dans le rpertoire Metadata > MySQL du Rfrentiel ( condition que vous ayez bien import le projet Demo) pour lancer lassistant Metadata. A ltape 2 de lassistant, renseignez les paramtres de connexion la base de donnes. Vrifiez la validit de cette connexion en cliquant sur le bouton Check. Enfin, validez vos modifications en cliquant sur Finish. Dposez cette mtadonne droite de lespace de modlisation en maintenant la touche Ctrl enfonce pour crer automatiquement un composant tMysqlOutput. Supprimez le composant tLogRow de votre job. Reconnectez le flux de sortie out1 du tMap vers le composant tMysqlOutput (Clic-droit > Row > out1) :
329
Utilisation de la fonctionnalit Output Stream
Dans longlet Basic Settings de ce composant : Saisissez LA_Orange_clients dans le champ Table pour nommer votre table cible qui va tre cre la vole. Slectionnez loption Drop table if exists and create dans le champ Action on table. Cliquez sur Edit Schema et sur le bouton Reset DB type (le bouton en forme de base de donnes dans la barre doutils) pour renseigner automatiquement le type de base de donnes, si ncessaire. Excutez nouveau le Job. La table cible devrait tre automatiquement cre et remplie en moins dune seconde. Dans ce scnario, seuls quatre composants diffrents sont utiliss, mais la Palette en contient plus de 450 (bases de donnes, Webservices, FTP, etc.). Dautres composants, raliss cette fois par la communaut, sont disponibles sur le site communautaire : talendforge.org. Pour plus dinformations concernant les composants, consultez le Guide de rfrence des Composants Talend Open Studio.
B.2. Utilisation de la fonctionnalit Output Stream

B.2.1. Prsentation du scnario
Le scnario suivant a pour objectif de montrer comment utiliser la fonctionnalit de flux de sortie dans un certain nombre de composants, afin d'amliorer considrablement les performances en sortie. Dans ce scnario, un fichier .csv prdfini contenant des informations client est charg dans une table d'une base de donnes. Les donnes charges sont slectionnes l'aide d'un composant tMap et crites dans un fichier de sortie local, ainsi que dans la console, via la fonctionnalit Output stream.
B.2.1.1. Donnes d'entre

Le fichier d'entre, dont les donnes seront charges dans la table de la base de donnes, contient des informations clients varies.
330
Cration du Job
La structure du fichier appele Schema dans Talend Open Studio for Data Integration comprend les colonnes suivantes : id (Type : Integer) CustomerName (Type : String) CustomerAge (Type : Integer) CustomerAddress (Type : String) CustomerCity (Type : String) RegisterTime (Type : Date)
B.2.1.2. Donnes de sortie

Le composant tMap est utilis pour slectionner les colonnes id, CustomerName et CustomerAge dans les donnes d'entre. Les donnes slectionnes sont crites en sortie via la fonctionnalit de flux de sortie. Les donnes attendues en sortie doivent avoir la structure suivante : id (Type : Integer) CustomerName (Type : String) CustomerAge (Type : Integer) Ces trois colonnes proviennent des colonnes des donnes d'entre.
B.2.2. Cration du Job

Pour crer ce Job, vous devez effectuer les quatre tapes suivantes : 1. Cration du Job, configuration du schma d'entre et lecture du fichier d'entre selon le schma dfini. 2. Dfinition de la commande activant la fonctionnalit de flux de sortie. 3. Mapping des donnes via le composant tMap. 4. Ecriture en sortie du flux de donnes slectionn. Vous pouvez voir le Job termin dans la capture d'cran ci-dessous. Pour consulter les instructions dtailles relatives la cration du Job, lisez les sections suivantes.
331
Cration du Job
B.2.2.1. tape 1 : Lire les donnes d'entre d'un fichier local

Utilisez le composant tFileInputDelimited pour lire le fichier customers.csv contenant les donnes d'entre. Ce composant se trouve dans la famille File/Input de la Palette. Cliquez sur ce puis dposez-le dans l'espace de modlisation graphique. 1. Double-cliquez sur le composant tFileInputDelimited afin d'ouvrir sa vue Basic settings et dfinir ses proprits de base.
2. Cliquez sur le bouton [...] ct du champ File name/Stream et parcourez votre systme jusqu' votre fichier d'entre. Vous pouvez galement saisir manuellement le chemin d'accs ce fichier. 3. Cliquez sur Edit schema pour ouvrir une bote de dialogue dans laquelle configurer la structure du fichier d'entre. 4. Cliquez six fois sur le bouton [+] pour ajouter six colonnes, puis, dans la colonne Type, slectionnez Integer pour les colonnes id et CustomerAge, String pour les colonnes CustomerName, CustomerAddress et CustomerCity. Slectionnez Date pour la colonne RegisterTime.
5. Cliquez sur OK pour fermer la bote de dialogue.
B.2.2.2. tape 2 : Configurer la commande pour activer la fonctionnalit Output Stream

Utilisez le tJava pour dfinir la commande de cration d'un fichier de sortie et un rpertoire contenant le fichier de sortie. Pour ce faire, dposez un composant tJava dans l'espace de modlisation graphique. 1. Double-cliquez sur le tJava pour ouvrir sa vue Basic settings et dfinir ses proprits.
332
Cration du Job
2. Dans le champ Code, saisissez la commande suivante : new java.io.File("C:/myFolder").mkdirs(); globalMap.put("out_file",new der/customerselection.txt",false)); java.io.FileOutputStream("C:/myFol-
La commande saisie ci-dessus cr un nouveau rpertoire C:/myFolder pour sauvegarder le fichier de sortie customerselection.txt. Vous pouvez personnaliser la commande selon vos besoins. 3. Reliez le tJava au tFileInputDelimited l'aide d'un lien Trigger > On Subjob Ok. Cela dclenche le tJava lorsque le sous-job commenant par le tFileInputDelimited est correctement excut.
B.2.2.3. tape 3 : Mapper les donnes l'aide du composant tMap

Dposez un composant tMap dans l'espace de modlisation graphique. 1. Double-cliquez sur le tMap afin d'afficher sa vue Basic settings et configurer ses proprits de base.
2. Cliquez sur le bouton [...] ct du Map Editor pour ouvrir une bote de dialogue dans laquelle configurer le mapping. 3. Cliquez sur le bouton [+] de gauche pour ajouter six colonnes au schma d'entre, ces colonnes devant tre id, CustomerName, CustomerAge, CustomerAddress, CustomerCity, RegisterTime.
333
Cration du Job
4. Cliquez sur le bouton [+] droite pour ajouter un schma de sortie.
5. Slectionnez New output et cliquez sur OK pour sauvegarder votre schma de sortie. Le schma de sortie est vide. 6. Cliquez sur le bouton [+] sous la table out1 pour ajouter trois colonnes aux donnes de sortie.
7. Dposez les colonnes id, CustomerName et CustomerAge de la gauche la droite, dans leurs lignes respectives.
334
Cration du Job
8. Cliquez sur OK pour sauvegarder les paramtres.
B.2.2.4. tape 4 : Ecrire en sortie le flux de donnes slectionn

Dposez un composant tFileOutputDelimited dans l'espace de modlisation graphique. 1. Double-cliquez sur le tFileOutputDelimited afin d'ouvrir sa vue Basic settings et configurer ses proprits de base. 2. Cochez la case Use Output Stream pour activer le champ Output Stream et saisissez dans le champ Output Stream la commande suivante : (java.io.OutputStream)globalMap.get("out_file") Vous pouvez personnaliser la commande dans le champ Output Stream en appuyant sur les touches Ctrl+Espace pour utiliser l'autocompltion et slectionner des commandes built-in. Vous pouvez galement saisir manuellement votre commande. Dans ce scnario, la commande utilise dans le champ Output Stream appelle la classe java.io.OutputStream pour crire le flux de donnes filtr dans un fichier local, spcifi dans la zone Code du tJava.
3. Reliez le tFileInputDelimited au tMap l'aide d'un lien Row > Main puis reliez le tMap au tFileOutputDelimited l'aide du lien Row > out1, dfini dans le Map Editor du tMap.
335
Cration du Job
4. Cliquez sur le bouton Sync columns pour rcuprer le schma du composant prcdent. Pour crire dans la console les donnes slectionnes, ajoutez un composant tLogRow (de la famille Logs & Errors) dans le Job. 1. Dposez le tLogRow dans l'espace de modlisation graphique. 2. Double-cliquez sur ce composant afin d'ouvrir sa vue Basic settings. 3. Slectionnez l'option Table dans la zone Mode.
4. Reliez le tFileOutputDelimited au tLogRow l'aide d'un lien Row > Main. 5. Cliquez sur Sync columns pour rcuprer le schma dfini dans le composant prcdent. Ce Job est maintenant prt tre excut.
Appuyez sur les touches Ctrl+S afin de sauvegarder votre Job et appuyez sur F6 pour l'excuter. Le contenu de donnes slectionnes s'affiche dans la console.
336
Cration du Job
Les donnes slectionnes sont galement crites dans le fichier local customerselection.txt.
Pour un exemple de Job utilisant cette fonctionnalit, consultez le composant tFileOutputDelimited du Guide de rfrence des Composants Talend Open Studio. Pour consulter les principes de la fonctionnalit Use Output Stream, consultez la Section 4.5.7, Utiliser la fonctionnalit Use Output Stream .
337
Annexe C. Rgles dcriture des SQL Templates

Ce chapitre illustre les rgles appliques la cration des modles SQL, dont le but est de permettre aux utilisateurs de Talend Open Studio for Data Integration de lire, de comprendre et de dvelopper les modles SQL pour une utilisation plus personnelle de leur Studio. Ces rgles fournissent des informations que vous devez respecter lors de lcriture dune instruction modle, dune ligne de commentaire et dune syntaxe. Ces rgles fournissent galement des guides pour lutilisation du code SQL dans des exemples dutilisation prcis, comme par exemple laccs aux nombreux paramtres dfinis dans les composants.
Instructions SQL
C.1. Instructions SQL

Une instruction SQL peut tre nimporte quelle instruction SQL valide excutable par la JDBC lie. Le code des modles SQL est un groupe dinstructions SQL. Les rgles de base pour crire une instruction SQL dans lditeur de modles SQL sont : Une instruction SQL doit se terminer par ;. Une instruction SQL peut stendre sur plusieurs lignes. Dans ce cas, seule la dernire ligne doit se terminer par ;.
C.2. Lignes de commentaire

Une ligne de commentaire commence par # ou --. Chaque ligne dbutant par # ou -- sera ignore lors de la gnration du code. Aucune exception nest faite pour les lignes dans la partie du milieu dune instruction SQL, ou lintrieur de la syntaxe <%... %>.
C.3. La syntaxe <%...%>

Cette syntaxe peut stendre sur plusieurs lignes. Les points suivants listent ce que vous pouvez faire avec cette syntaxe, et ce quoi vous devez faire attention. Vous pouvez dfinir de nouvelles variables, utiliser le code logique Java, comme if, for et while et galement obtenir les valeurs des paramtres. Par exemple, si vous souhaitez obtenir le paramtre FILE_NAME, utilisez le code comme suit : <% String filename = __FILE_NAME__; %> Cette syntaxe ne peut tre utilise dans une instruction SQL. Elle doit tre utilise entre deux instructions SQL spares. Par exemple, la syntaxe dans le code suivant est valide : #sql sentence DROP TABLE temp_0; <% #loop for (int i=1; i<10; i++) ( %> #sql sentence DROP TABLE temp_<%=i %>; <% ) %> #sql sentence DROP TABLE temp_10;
340
La syntaxe <%=...%>
Dans cet exemple, la syntaxe est utilise entre deux modles SQL spars : DROP TABLE temp_0; et DROP TABLE temp_<%=i%>;. Les instructions SQL ont pour but de supprimer plusieurs tables, en commenant par temp_0. Le code entre <% et %> gnre un nombre de squences dans la boucle, afin d'identifier les tables supprimer et fermer la boucle aprs la gnration du nombre de squences. A l'intrieur de cette syntaxe, la syntaxe <%=...%> ou </.../> ne doit pas tre utilise. <%=%> et </.../>, sont galement des syntaxes lies aux modles SQL. Les sections suivantes donnent des informations relatives ces syntaxes. Les paramtres auxquels les modles SQL peuvent accder grce cette syntaxe sont simples. Ils sont souvent utiliss lors de connexions et peuvent tre facilement dfinis dans les composants, par exemple TABLE_NAME, DB_VERSION, SCHEMA_TYPE, etc.
C.4. La syntaxe <%=...%>

Cette syntaxe ne peut stendre sur plusieurs lignes et elle est utilise dans des instructions SQL. Les points suivants listent ce que vous pouvez faire avec cette syntaxe, et ce quoi vous devez faire attention. Elle peut tre utilise pour gnrer toute valeur de variable et toute valeur des paramtres existants. Les caractres despacement sont autoriss aprs <%=. A lintrieur de la syntaxe, la syntaxe <%%> ou <//> ne doit pas tre utilise. Linstruction dans lexemple ci-dessous est valide : #sql sentence DROP TABLE temp_<%=__TABLE_NAME__ %>; Le code est utilis pour supprimer la table dfinie laide dun composant associ. Pour plus dinformations concernant les composants associs aux modles SQL, consultez le Guide de rfrence des Composants. Pour plus dinformations concernant la syntaxe <%...%>, consultez la Section C.3, La syntaxe <%...%> . Pour plus dinformations concernant la syntaxe </.../>, consultez la section suivante. Les paramtres auxquels les modles SQL peuvent accder grce cette syntaxe sont simples. Ils sont souvent utiliss lors de connexions et peuvent tre facilement dfinis dans les composants, par exemple TABLE_NAME, DB_VERSION, SCHEMA_TYPE, etc.
C.5. La syntaxe </.../>

Cette syntaxe ne peut stendre sur plusieurs lignes. Les points suivants listent ce que vous pouvez faire avec cette syntaxe, et ce quoi vous devez faire attention. Elle peut tre utilise pour gnrer la valeur des paramtres existants. La valeur gnre ne doit pas tre entoure de guillemets.
341
Le code pour accder aux lments du schma des composants
Aucun caractre despacement n'est autoris aprs </ ou avant />. A lintrieur de cette syntaxe, la syntaxe <%%> ou <%=%> ne doit pas tre utilise. Linstruction crite dans lexemple ci-dessous est valide : #sql sentence DROP TABLE temp_</TABLE_NAME/>; L'instruction accde au paramtre TABLE_NAME et supprime la table correspondante. Pour plus dinformations concernant la syntaxe <%...%>, consultez la section Section C.4, La syntaxe <%=... %> . Pour plus dinformations concernant la syntaxe <%=...%>, consultez la section prcdente. Les sections suivantes prsentent un code plus spcifique pour accder des paramtres plus complexes. Les paramtres auxquels les modles SQL peuvent accder grce cette syntaxe sont simples. Ils sont souvent utiliss lors de connexions et peuvent tre facilement dfinis dans les composants, par exemple TABLE_NAME, DB_VERSION, SCHEMA_TYPE, etc.
C.6. Le code pour accder aux lments du schma des composants

Les lments du schma des composants sont prsents dans une liste comprenant le nom des colonnes des schmas (spars par un point .). Ces lments sont crs et dfinis par les utilisateurs dans les composants. Le code ci-dessous propose un exemple daccs certains lments du schma des composants. Dans cet exemple, le nom de la variable ELT_METADATA_SHEMA est utilis pour obtenir le schma du composant. <% String query = "select "; SCHEMA(__ELT_METADATA_SHEMA__); for (int i=0; i < __ELT_METADATA_SHEMA__.length ; i++) { query += (__ELT_METADATA_SHEMA__[i].name + ","); } query += " from " + __TABLE_NAME__; %> <%=query %>; Dans cet exemple, selon vos objectifs, le code __ELT_METADATA_SHEMA__[i].name peut tre remplac par __ELT_METADATA_SHEMA__[i].dbType, __ELT_METADATA_SHEMA__ [i].isKey, __ELT_METADATA_SHEMA__[i].length ou __ELT_METADATA_SHEMA__[i].nullable pour accder aux autres champs des colonnes du schma. Linstruction extraite est SCHEMA(__ELT_METADATA_SHEMA__);. Dans cette instruction, ELT_METADATA_SHEMA est le nom de la variable reprsentant les paramtres du schma extraire. Le nom utilis dans ce code est simplement un exemple. Vous pouvez changer ce nom en nom dune autre variable, afin de reprsenter les paramtres de schma, selon votre systme de nommage. Vrifiez que le nom que vous saisissez nentrera en conflit avec aucun autre paramtre. Pour plus dinformations concernant les schmas des composants, consultez la Section 4.2.6.1, Onglet Basic Settings .
342
Le code pour accder aux proprits de la matrice du composant
C.7. Le code pour accder aux proprits de la matrice du composant

Les proprits de la matrice du composant sont cres et modifies par les utilisateurs selon les diffrents objectifs de transformation des donnes. Ces proprits sont dfinies par des paramtres dans des tableaux. Par exemple, les paramtres operation ou groupby peuvent tre dfinis par les utilisateurs dans le composant tSQLTemplateAggregate. Vous pouvez accder ces paramtres de transformation, naturellement plus flexibles et complexes, de deux faons diffrentes. Lapproche </.../>. </.../> est lune des syntaxes utilises par les modles SQL. Cette approche ncessite souvent du code dur pour chaque paramtre extraire. Par exemple, un nouveau paramtre est cr par lutilisateur et nomm NEW_PROPERTY. Si vous souhaitez y accder en utilisant </NEW_PROPERTY/>, le code ci-dessous est requis. else if (paramName.equals("NEW_PROPERTY")) { List<Map<String, String>> newPropertyTableValue = (List<Map<String, String>>) ElementParameterParser.getObjectValue(node, "__NEW_PROPERTY__"); for (int ii = 0; ii <newPropertyTableValue.size(); ii++) { Map<String, String> newPropertyMap =newPropertyTableValue.get(ii); realValue += ...;//append generated codes } } Lapproche EXTRACT(__GROUPBY__);. Le code ci-dessous montre la seconde mthode daccs au paramtre de transformation (GROUPBY). <% String query = "insert into " + __TABLE_NAME__ + "(id, name, date_birth) select sum(id), name, date_birth from cust_teradata group by"; EXTRACT(__GROUPBY__); for (int i=0; i < __GROUPBY_LENGTH__ ; i++) { query += (__GROUPBY_INPUT_COLUMN__[i] + " "); } %> <%=query %>; Lors de lencodage des instructions, respectez les rgles comme suit :
343
Le code pour accder aux proprits de la matrice du composant
Linstruction extraite doit utiliser EXTRACT(__GROUPBY__);. Les majuscules sont requises, et les caractres despacement ne sont pas autoriss. Cette instruction doit tre utilise entre <% et %>. Utilisez le code __GROUPBY_LENGTH__, dans lequel le nom du paramtre, suivi de _LENGTH, permet dobtenir le numro de ligne des paramtres du tableau GROUPBY dfinis dans la zone Groupby de la vue Component. Il peut tre utilis entre <% et %> ou <%= et %>. Utilisez le code __GROUPBY_INPUT_COLUMN__[i] afin dextraire les valeurs des paramtres. Il peut tre utilis entre <% et %> ou entre <%= et %>. Pour accder aux paramtres correctement, nutilisez pas le mme prfixe pour le nom de plusieurs paramtres. Par exemple, dans un composant, vitez de dfinir deux paramtres avec le nom PARAMETER_NAME et PARAMETER_NAME_2, car plusieurs prfixes semblables produisent des erreurs lors de la gnration du code.
344
Annexe D. Routines systme

Cette annexe donne un aperu dune slection des routines les plus couramment employes, ainsi que des exemples dutilisation. Dans cette annexe, les routines sont prsentes dans lordre dans lequel elles apparaissent dans le Repository. Elles sont rassembles selon leur type et chaque type est dtaill dans une section diffrente. Pour plus dinformations concernant la dfinition des routines, laccs aux routines systme ou la gestion des routines systme ou personnalises, consultez le Chapitre 8, Gestion des routines. Avant de commencer un processus mtier (Job), vous devez vous tre familiaris avec linterface graphique de Talend Open Studio for Data Integration. Pour plus dinformations, consultez la Annexe A, Interface de Talend Open Studio for Data Integration .
Routines de type Numeric
D.1. Routines de type Numeric

Les routines numriques permettent de retourner des nombres entiers ou dcimaux afin de les utiliser comme paramtres dans un ou plusieurs composant(s) dun Job, par exemple pour ajouter un identifiant numrique. Pour accder ces routines, double-cliquez sur la classe Numeric du dossier system. La classe Numeric contient plusieurs routines, notamment : squentielle (sequence), alatoire (random) et dcimale (convertImpliedDecimalFormat) : Routine sequence Description Syntaxe
Retourne un identifiant numrique incr- Numeric.sequence("Nom du Parament. mtre", valeur de dbut, valeur dincrment) Cre une squence si elle nexiste pas et at- Numeric.resetSequence (Identitribue une nouvelle valeur de dbut. fiant de la squence, valeur de dbut) Supprime une squence. Numeric.RemoveSequence fiant de la squence) (Identi-
resetSequence
removeSequence random convertImplied DecimalFormat
Retourne un entier au hasard entre les va- Numeric.random(valeur limite de leurs minimale et maximale. dbut, valeur limite de fin) Retourne un dcimal laide dun modle Numeric.convertImpliedDecimal dcimal implicite. Format("Format Cible", valeur convertir)
D.1.1. Exemple de cration squentielle

Vous pouvez tester simplement la routine sequence, laide dun composant tJava par exemple, pour contrler la cration dun identifiant incrment automatiquement :
Lidentifiant numrique est gnr et incrment automatiquement par la routine :
D.1.2. Exemple de conversion dcimale implicite

Vous pouvez tester simplement la routine convertImpliedDecimalFormat laide dun composant tJava, pour vrifier la conversion dun nombre dcimal implicite :
La valeur saisie en paramtre est convertie automatiquement par la routine selon le format dcimal implicite fourni :
346
Routines de type Relational
D.2. Routines de type Relational

Les routines relationnelles permettent de vrifier une affirmation base sur des boolens. Pour accder ces routines, double-cliquez sur la classe Relational du dossier system. La classe Relational contient plusieurs routines notamment : Routine ISNULL Description Syntaxe
vrifie si la variable donne est de valeur Relational.ISNULL(variable vnulle. rifier)
Vous pouvez tester une routine Relational, comme la routine ISNULL, laide dun composant tJava par exemple :
Dans cet exemple, le rsultat de la vrification saffiche dans la vue Run :
D.3. Routines de type StringHandling

Les routines de traitement des chanes de caractres permettent deffectuer diffrents types doprations et de vrifications, bases sur des mthodes Java, sur des expressions alphanumriques. Pour accder ces routines, double-cliquez sur la classe StringHandling du dossier system. La classe StringHandling contient notamment les routines suivantes : Routine ALPHA Description Syntaxe
vrifie si lexpression est trie par ordre al- StringHandling.ALPHA("chane phabtique. Retourne le boolen true si vrifier") lordre alphabtique est vrifi, et false, dans le cas inverse.
IS_ALPHA
vrifie si lexpression ne contient que des StringHandling.IS_ALPHA("chane caractres alphabtiques. Retourne le boo- vrifier") len true si cest le cas, et false dans le cas inverse. remplace un lment dune chane de ca- StringHandling.CHANGE("chane ractres par llment de remplacement d- vrifier", "chane fini et retourne la nouvelle chane. remplacer","chane de remplacement") retourne le nombre doccurrences dune StringHandling.COUNT("chane sous-chane dans une chane de caractres. vrifier", "chane compter")
CHANGE
COUNT DOWNCASE
convertit toutes les majuscules dune ex- StringHandling.DOWNCASE("chane pression en minuscules et retourne la nou- convertir") velle chane.
347
Exemple de vrification de tri alphabtique
Routine UPCASE
Description
Syntaxe
convertit toutes les minuscules dune ex- StringHandling.UPCASE("chane pression en majuscules et retourne la nou- convertir") velle chane. entoure une expression de guillemets StringHandling.DQUOTE("chane doubles. traiter")
DQUOTE INDEX
retourne la position, dans une chane de ca- StringHandling.INDEX("chane ractres, du premier caractre de la sous- vrifier", "sous-chane recherchane recherche. che") Si la sous-chane recherche nexiste pas dans la chaine, -1 est retourn.
LEFT
retourne une sous-chane correspondant StringHandling.LEFT("chane vaux n premiers caractres dune chane de rifier", nombre de caractres) caractres. retourne une sous-chane correspondant StringHandling.RIGHT("chane aux n derniers caractres dune chane de vrifier", nombre de caractres) caractres. retourne la longueur dune chane de carac- StringHandling.LEN("chane vtres. rifier") retourne une chane faite du nombre de ca- StringHandling.SPACE(nombre ractres vides indiqu. despaces crer) entoure une expression de guillemets StringHandling.SQUOTE("chane simples. traiter")
RIGHT
LEN SPACE SQUOTE STR TRIM
retourne un caractre rpt le nombre de StringHandling.STR(caractre fois indiqu. gnrer, nombre de rptition) supprime les espaces et les tabulations en StringHandling.TRIM("chane dbut et fin dune chane de caractres et traiter") retourne la nouvelle chane. supprime tous les espaces et les tabulations StringHandling.BTRIM("chane aprs le dernier caractre non vide dune traiter") chane de caractres et retourne la nouvelle chane. supprime tous les espaces et les tabulations StringHandling.FTRIM("chane jusquau premier caractre non vide dune traiter") chane de caractres et retourne la nouvelle chane.
BTRIM
FTRIM
D.3.1. Exemple de vrification de tri alphabtique

Vous pouvez tester simplement la routine ALPHA, laide dun composant tJava par exemple, pour vrifier si la chane est trie dans lordre alphabtique :
La vrification retourne un boolen.
348
Exemple de vrification de type alphabtique
D.3.2. Exemple de vrification de type alphabtique

Vous pouvez tester simplement la routine IS_ALPHA, laide dun composant tJava par exemple, pour vrifier si la chane est de type alphabtique ou non :
D.3.3. Exemple de remplacement de chane

Vous pouvez tester simplement la routine CHANGE, laide dun composant tJava par exemple, pour contrler le remplacement dune chane par une autre :
D.3.4. Exemple de vrification de chane

Vous pouvez tester simplement la routine INDEX, laide dun composant tJava par exemple, pour vrifier si la chane contient ou pas un caractre ou une chane de caractres :
La routine retourne un entier qui correspond la position du premier caractre de la chane recherche, ou retourne -1 si la chane recherche na pu tre trouve :
D.3.5. Exemple de calcul de longueur de chane

Vous pouvez tester simplement la routine LEN, laide dun composant tJava par exemple, pour contrler la longueur dune chane :
349
Exemple de nettoyage despaces inutiles
La vrification retourne un entier correspondant la longueur de la chane, y compris les espaces et caractres vides :
D.3.6. Exemple de nettoyage despaces inutiles

Vous pouvez tester simplement la routine FTRIM, laide dun composant tJava par exemple, afin de retirer, entre autres, une tabulation en tte de chane :
La vrification retourne la chane nettoye des espaces/tabulations prsents en dbut de chane.
D.4. Routines de type TalendDataGenerator

Les routines de gnration de donnes factices sont des fonctions qui permettent de gnrer des ensembles de donnes de test. Elles se basent sur les listes (factices) de noms, prnoms, adresses, villes et Etats fournies par Talend. Ces routines sont gnralement utilises au moment du dveloppement des Jobs, laide dun tRowGenerator par exemple, pour viter dutiliser des donnes de production ou de lentreprise. Pour accder ces routines, double-cliquez sur la classe TalendDataGenerator du dossier system : Routine getFirstName Description Syntaxe
retourne un prnom pris alatoire- TalendDataGenerator.getFirstName() ment dans une liste factice de prnoms amricains courants. retourne un nom de famille pris ala- TalendDataGenerator.getLastName() toirement dans une liste factice de noms de famille amricains courants. retourne une adresse prise alatoire- TalendDataGenerator.getUsStreet() ment dans une liste factice de rues amricaines courantes. retourne une ville prise alatoirement TalendDataGenerator.getUsCity() dans une liste de villes connues des Etats-Unis. retourne le nom dun Etat pris ala- TalendDataGenerator.getUsState() toirement dans une liste des Etats amricains. retourne le code pris alatoirement TalendDataGenerator.getUsStateId() dans une liste dabrviations correspondant aux Etats amricains.
getLastName
getUsStreet
getUsCity
getUsState
getUsStateId
Aucun paramtre dentre nest attendu car la liste des donnes factices est fournie par Talend.
350
Exemple de gnration de donnes factices
Vous pouvez personnaliser les donnes factices en modifiant les routines de gnration de donnes. Pour plus dinformations concernant la personnalisation des routines, consultez Section 8.3, Personnalisation des routines systme .
D.4.1. Exemple de gnration de donnes factices

Vous pouvez tester simplement les diffrentes fonctions de gnration de donnes alatoires, telles que getFirstName, getLastName, getUSCity, etc. laide dun composant tJava, pour tester, par exemple, la cration dune liste de donnes dun client factice :
Lensemble des donnes prises alatoirement dans les listes de donnes factices est affich dans la vue Run :
D.5. Routines de type TalendDate

Les routines de traitement de dates permettent deffectuer diffrents types dopration et de vrification sur le format des expressions de type Date. Pour accder ces routines, double-cliquez sur la classe TalendDate du dossier system : Routine addDate Description Syntaxe
ajoute n jours, n mois, n heures, n minutes TalendDate.addDate("String date ou n secondes une Date Java et retourne initiale", "format Date - ex: la nouvelle date. yyyy/MM/dd", entier n,"format de la donne ajouter - ex :yyyy"). Le paramtre de format de donne Date est : "yyyy", "MM", "dd", "HH", "mm", "ss" ou "SSS". compare tout ou partie de deux dates, selon TalendDate.compareDate(Date le modle date si spcifi. Retourne 0 si les date1, Date date2, "format comdates sont identiques, 1 si la premire date parer - ex : yyyy-MM-dd ") est ultrieure la deuxime et -1 si elle est antrieure la deuxime. retourne la diffrence entre deux dates, en TalendDate.diffDate(Date1(), nombre de jours, mois ou annes selon le Date2(), "format de donnes comparamtre de comparaison spcifi. parer - ex yyyy")
compareDate
diffDate
351
Routines de type TalendDate
Routine diffDateFloor
Description
Syntaxe
retourne la diffrence entre deux dates, en TalendDate.diffDateFloor(Date1(), nombre dannes, mois, jours, heures, mi- Date2(), "format de donnes comnutes, secondes ou millisecondes selon le parer - ex MM") paramtre de comparaison spcifi. retourne une expression de type date for- TalendDate.formatDate("format de mate selon le modle date spcifi. date - ex : yyyy-MM-dd HH:mm:ss ", Date() formater) transforme une date en une chane de ca- TalendDate.formatDateLocale("format ractres de type date/heure selon le modle cible", java.util.Date date, "code et la locale spcifis. Retourne la nouvelle de la langue ou du pays") date formate. retourne la date courante. Aucun paramtre TalendDate.getCurrentDate() dentre nest attendu. retourne les date et heure courantes dans TalendDate.getDate("Format de le format spcifi (optionnel). Cette chane chane de caractre - ex : CCYYpeut contenir des chanes de caractres MM-DD") fixes, ou des variables lies la date. Par dfaut, le format de la chane de caractres attendu est DD/MM/CCYY. change le jour dune date en premier jour TalendDate.getFirstDayMonth(Date) du mois courant et retourne la nouvelle date. change le jour dune date en dernier jour du TalendDate.getLastDayMonth(Date) mois courant et retourne la nouvelle date. retourne une partie dune date dans le format spcifi. Cette chane peut contenir des chanes de caractres fixes, ou des variables lies la date. TalendDate.getPartOfDate("Chane de caractres indiquant la partie de la date rcuprer", "Chane de caractres au format date parser")
formatDate
formatDateLocale
getCurrentDate getDate
getFirstDayOf Month getLastDayOf Month getPartOfDate
getRandomDate retourne une date alatoire, au format ISO. TalendDate.getRandomDate("Chane de caractre de type Date, de ", String maxDate) isDate vrifie si lexpression est de type Date et TalendDate.isDate(Date() vricorrespond au modle spcifi. Retourne le fier, "format de date cible - ex : boolen true si cest le cas, et false yyyy-MM-dd HH:mm:ss ") dans le cas inverse. transforme une chane de caractres en TalendDate.parseDate("format date Date. Retourne une date formate en stan- de la chane parser", "Chane de dard. caractres au format date parser") TalendDate.parseDateLocale("format date de la chane parser", "Chane de caractres au format date parser", "code de la langue ou du pays")
parseDate
parseDateLocale parse une chane de caractres correspondant un modle spcifi, et en extrait une date. Retourne une date formate selon la locale spcifie. setDate
modifie une partie de la date en entre par TalendDate.setDate(Date, entier un entier spcifi et bas sur le format sp- n, "format de la donne changer cifi. - ex :yyyy")
352
Exemple de formatage dune Date
D.5.1. Exemple de formatage dune Date

Vous pouvez tester simplement la routine formatDate, laide dun composant tJava par exemple, pour vrifier quune expression de type date est dans le format spcifi :
La date du jour est instancie par la fonction Java new date()et saffiche dans la vue Run :
D.5.2. Exemple de vrification dune Date

Vous pouvez tester simplement la routine isDate, laide dun composant tJava par exemple, pour vrifier quune expression de type date est dans le format spcifi :
Un boolen saffiche dans la vue Run :
D.5.3. Exemple de comparaison de Dates

Vous pouvez tester simplement la routine formatDate, laide dun composant tJava par exemple, pour vrifier si la date du jour est ultrieure une date spcifie, selon le format dfini :
La date du jour est instancie par la fonction Java new date()et la valeur -1 saffiche dans la vue Run pour indiquer que la date du jour est en fait antrieure la date de rfrence :
D.5.4. Exemple de configuration de Date

Vous pouvez tester simplement la routine setDate, laide dun composant tJava, pour changer lanne de la date courante par exemple :
353
Exemple de parsage de Date
La date courante suivie de la nouvelle date configure saffiche dans la vue Run :
D.5.5. Exemple de parsage de Date

Vous pouvez tester simplement la routine parseDate, laide dun composant tJava, pour mettre une chane de type date au format Date par exemple :
La chane de caractres est transforme en Date et la date est retourne :
D.5.6. Exemple de rcupration dune partie dune Date

Vous pouvez tester simplement la routine getPartOfDate, laide dun composant tJava, pour rcuprer une partie dune date, par exemple :
Dans cet exemple, sont retourns le jour du mois (DAY_OF_MONTH), le mois (MONTH), lanne (YEAR), le numro de jour de lanne (DAY_OF_YEAR) et le numro de jour de la semaine (DAY_OF_WEEK). Toutes les donnes retournes sont de type numrique.
Dans la console de la vue Run, la chane de caractres qui renvoie aux mois (MONTH) va de 0 11 : 0 correspondant janvier, et 11 correspondant dcembre.
354
Exemple de formatage de la Date courante
D.5.7. Exemple de formatage de la Date courante

Vous pouvez tester simplement la routine getDate, laide dun composant tJava, pour rcuprer la date courante et la formater selon un modle spcifi, par exemple :
La date courante est retourne selon le format spcifi (optionnel) :
D.6. Routines de type TalendString

Les routines de traitement de chanes de caractres Talend permettent deffectuer diverses oprations sur des expressions alphanumriques. Pour accder ces routines, double-cliquez sur la classe TalendString du dossier system. La classe TalendString contient notamment les routines suivantes :
Routine replaceSpecial CharForXML
Description retourne une chane de caractres o les caractres spciaux (ex : <, >, &...) ont t remplacs par des caractres XML quivalents.
Syntaxe TalendString.replaceSpecialCharForXML ("chane de caractres contenant les caractres spciaux - ex: Thelma & Louise")
checkCDATAFor XML
identifie les chanes de caractres TalendString.checkCDATAForXML("chane commenant par <![CDATA[ et se de caractres parser") terminant par ]]> en tant que XML et les retourne sans modification. Transforme les chanes identifies comme non-XML sous une forme compatible XML et les retourne ainsi formates. parse la chane de caractres en entre et en retire le/les caractres de remplissage en dbut ou en fin de chane selon la valeur dalignement spcifie: -1 pour les caractres de remplissage de fin de chane, 1 pour ceux de dbut de chane et 0 pour les deux. Puis retourne la chane nettoye. TalendString.talendTrim("chane de caractres parser", "caractre de remplissage retirer", position du caractre)
talendTrim
removeAccents
enlve les accents dune chane de ca- TalendString.removeAccents("Chane de ractres et retourne cette chane non caractres") accentue.
getAsciiRandom gnre une chane de caractres ala- TalendString.getAsciiRandomString String toire, du nombre de caractres spci- (entier de la longueur de chane) fis.
355
Exemple de formatage XML dune chane
D.6.1. Exemple de formatage XML dune chane

Vous pouvez tester simplement la routine replaceSpecialCharForXML, laide dun composant tJava, pour formater une chane de caractres pour le XML, par exemple :
Dans cet exemple, le caractre "&" est remplac pour tre intelligible en XML :
D.6.2. Exemple de trimming dune chane

Vous pouvez tester simplement la routine talendTrim, laide dun composant tJava, pour retirer des caractres de remplissage en dbut et en fin de chane, par exemple :
Les caractres toiles sont retirs alternativement en dbut puis en fin de chane, et enfin des deux cts :
D.6.3. Exemple de dsaccentuation dune chane

Vous pouvez tester simplement la routine removeAccents, laide dun composant tJava, pour remplacer les caractres accentus, par exemple :
Les caractres avec accent sont remplacs par des caractres sans accent :
356

TalendOpenStudio DI UG 50b FR

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

TalendOpenStudio DI UG 50b FR

Загружено:

Авторское право:

Доступные форматы

Talend Open Studio

for Data Integration Guide utilisateur