La réplication de données consiste à copier des données d'un endroit à un autre et s'effectue généralement entre les utilisateurs de différentes bases de données qui doivent partager le même niveau d'informations. La réplication peut également impliquer d'autres sources et cibles de données, et devenir plus complexe en termes de transformation et de durée.
Ceci est le premier de deux articles couvrant la réplication de base de données dans l'interface graphique IRI Workbench. IRI Workbench est l'IDE gratuit basé sur Eclipse™ qui prend en charge tous les produits IRI, y compris IRI NextForm (pour la migration des données et des bases de données) et IRI Voracity (une plate-forme de gestion totale des données qui inclut NextForm et al.). IRI Workbench crée et exécute des tâches de réplication de données via des assistants, des scripts et des diagrammes de flux de travail.
Voici quelques-unes des manières dont les réplications se produisent :
- Les données d'une base de données sont copiées dans une autre base de données sur le même serveur ou sur un autre.
- Les données de deux bases de données ou plus sont combinées en une seule base de données.
- Les utilisateurs obtiennent des copies initiales complètes de la base de données, puis des mises à jour périodiques au fur et à mesure que les données changent.
- Les données sont sélectivement extraites d'une base de données et répliquées dans un fichier externe.
La réplication de données vous permet de ne répliquer qu'une partie de la base de données ; c'est-à-dire des tables, des colonnes et/ou des lignes sélectionnées. La réplication de toutes les tables fait partie de la mise en miroir de la base de données. Cependant, les modifications apportées aux schémas, contraintes, procédures et autorisations d'accès ne sont pas aussi faciles à reproduire et peuvent impliquer des processus distincts.
Exemple de base dans IRI Workbench
Nous utiliserons un assistant de création de travail à partir du menu NextForm de la barre d'outils IRI Workbench pour ce premier exemple de réplication de données. Nous allons copier les données d'une table Oracle à la fois dans une table MySQL et dans un fichier plat modifié. Ce deuxième article illustre la réplication des seules données mises à jour dans une table en évaluant les valeurs de colonne d'horodatage.
Le menu NextForm contient trois assistants de création de tâches :
- Nouvelle tâche de reformatage
- Nouvelle tâche de migration à source unique
- Nouvelle tâche de migration multi-tables
Nous allons utiliser l'assistant New Reformat Job pour effectuer cette réplication. Pour un travail plus complexe, nous utiliserions un autre assistant NextForm ou un assistant de travail ETL dans le menu Voracity (ou créerions manuellement un nouveau flux de travail).
Voici la structure des tables source et cible :
Étape 1 :Spécifiez le nom et les options de tâche
Dans le menu NextForm de la barre d'outils supérieure, sélectionnez l'assistant Nouvelle tâche de reformatage. Pour cet exemple, entrez le nom du fichier de travaildatareplication . NextForm ajoute l'extension .ncl. Vous pouvez également ajouter toute information pertinente sur ce travail qui apparaîtra sous forme de commentaires dans le script.
Dans la liste des boutons radio, laissez la sélection par défaut de Créer un script car il s'agit d'un travail autonome et ne fait pas partie d'un flux ou d'un projet par lots plus important.
Étape 2 :Identifiez la source
Sur l'écran suivant, Sources de données, cliquez sur Ajouter une source de données . La source dans cet exemple est une base de données connectée à ODBC, donc sélectionnez ODBC, puis cliquez sur Parcourir pour sélectionner le nom de la source de données (DSN) et la table.
Étape 3 :Spécifiez les métadonnées sources
Pour que le logiciel IRI puisse déplacer et manipuler les données dans son moteur (dans ce cas, répliquer dans NextForm), vous avez besoin de métadonnées pour la source et les cibles définies dans le script de travail, au format de fichier de définition de données (DDF) d'IRI.
Vous pouvez créer automatiquement les DDF pour n'importe quelle source (ou cible) dans IRI Workbench. Cette fonctionnalité est intégrée ici, où vous pouvez choisir soit de Découvrir les métadonnées ou Ajouter des métadonnées existantes . Dans ce cas, nous ajouterons des métadonnées existantes, qui ont été créées d'une manière différente. Ce choix et ses résultats sont affichés dans la boîte de dialogue suivante :
Cliquez sur Mise en page du champ source pour voir la disposition des données.
Cliquez sur OK pour fermer la disposition du champ source. Cliquez ensuite sur Suivant sur la page Sources de données pour ouvrir la page Cible de données.
Étape 4 :Définir la ou les cibles
Nous envoyons les données Oracle répliquées à deux cibles :une table MySQL que nous nommons customers_out , et un fichier nommé personout.csv .
Ajouter une table cible
Cliquez sur Ajouter une cible de données . Sélectionnez ODBC et cliquez sur Parcourir . Sélectionnez ensuite le nom de la source de données (DSN) Oracle et la table CUSTOMERS_REP . Cliquez sur OK pour fermer la boîte de dialogue.
Sur la page Cibles de données, mettez en surbrillance le nom de la table et cliquez sur Ajouter des métadonnées existantes . Sélectionnez cust.ddf (qui a été créé précédemment), puis cliquez sur OK .
Nous voulons limiter le nombre d'enregistrements dans ce fichier à 100. Cliquez sur Modifier les options de cible pour ouvrir l'éditeur, et dans le Outcollect champ, saisissez 100 , puis cliquez sur OK .
Ajouter un fichier cible
Encore une fois, cliquez sur Ajouter une cible de données . Sélectionnez Fichier et saisissez personout.csv , puis cliquez sur OK . Nous voulons limiter le nombre d'enregistrements dans le fichier à pas plus de 50, et nous devons également changer le format en CSV. Pour faire les deux, cliquez sur Modifier les options de cible pour ouvrir l'éditeur. Modifier le format champ vers CSV , et dans le Outcollect champ, saisissez 50 , puis cliquez sur OK .
Ajouter une fonction de chaîne au fichier cible
Nous ajouterons également une fonction de chaîne pour afficher uniquement les quatre derniers chiffres du champ SSN. Pour ce faire, cliquez sur Mise en page du champ cible, et cliquez sur l'onglet personout.csv.
Sélectionnez le champ SSN, faites un clic droit et sélectionnez Appliquer la règle > Créer une règle . Sur la page de sélection de l'assistant Nouvelle règle de champ, sélectionnez Fonctions de manipulation de chaîne . Sur la page suivante - Fonctions de manipulation de chaînes - sélectionnez sub_string . Dans le Décalage champ, entrez 6 pour le nombre de caractères à partir de la gauche du champ, et dans le champ Longueur champ, entrez 4 pour la longueur de la sous-chaîne, puis cliquez sur Terminer .
Ajouter un filtre d'inclusion
Pour continuer à modifier le fichier CSV, nous allons ajouter un filtre pour limiter les données afin d'inclure uniquement les enregistrements de CA. Cliquez sur Filtre d'enregistrement pour créer le filtre. Sélectionnez Inclure pour l'action de filtrage, puis sélectionnez Nouvelle condition pour le genre. Ouvrez le générateur d'expressions en cliquant sur l'icône Fonction. 
Dans le générateur d'expressions, sélectionnez la catégorie Opérateurs relationnels et l'élément EQ . Dans l'Expression champ en haut, saisissez STATE EQ "CA" à l'aide des outils de la barre d'outils, puis cliquez sur Terminer .
De retour sur la page Data Targets, nous décidons de repositionner les champs nom et prénom après le champ zip. Sélectionnez NOM et cliquez sur Bas jusqu'à ce que le champ soit en bas de la liste, puis sélectionnez PRÉNOM et faites de même.
Lorsque nous avons terminé d'ajouter les deux cibles, les champs et les modifications s'affichent sur la page Cibles de données.
Cliquez sur Terminer pour terminer la construction du script, qui est illustré ci-dessous dans la vue de l'éditeur à code couleur et sensible à la syntaxe d'IRI Workbench :
Résultats
Exécutez le script de travail en cliquant avec le bouton droit dans le script et en sélectionnant Exécuter en tant que> Emploi IRI . Les données cibles sont affichées dans les onglets ouverts ci-dessous :
Si vous avez des questions sur la réplication de données dans NextForm ou Voracity, contactez votre représentant IRI.
- Dans l'explorateur de sources de données, faites un clic droit sur le tableau, sélectionnez IRI > Générer DDF . Cela crée le DDF pour la table dans le dossier de projet actif et sera référencé par le moteur de manipulation de données d'IRI lors de l'exécution.
