La valeur de bonnes données de test pour les DBA est bien connue :
« Le test d'applications gourmandes en bases de données présente des défis uniques qui découlent de dépendances cachées, de différences subtiles dans la sémantique des données, des schémas de base de données cibles et des règles métier implicites. Ces défis deviennent encore plus difficiles lorsque l'application implique des bases de données intégrées et hétérogènes ou des données confidentielles. Des données de test appropriées qui simulent des problèmes de données du monde réel sont essentielles pour atteindre des références de qualité raisonnables pour la validation des entrées fonctionnelles, la charge, les performances et les tests de stress. ” – Ali Raza &Stephen Clyde, extrait de Création d'ensembles de données pour tester des bases de données relationnelles
Le test des opérations de base de données, le prototypage de l'entrepôt de données et des tâches ETL/ELT, l'externalisation en toute sécurité des échantillons de fichiers et des rapports et l'exécution de tests de performance sur les appliances DB nécessitent tous des données de test avec l'apparence de la base de données de production afin que les applications utilisant ces données de test puissent désormais effectuer avec succès avec des données réelles plus tard. Dans leur livre de 2012, Raza et Clyde comparent la génération de données de test à l'extraction de données de test.
L'IRI et ses utilisateurs savent que l'utilisation de données réelles pour les tests n'est pas souhaitable. La raison la plus évidente aujourd'hui est que les données réelles risquent d'exposer des informations personnellement identifiables (PII) qui doivent rester confidentielles. Un développeur ou un testeur ne souhaite pas exécuter de processus, ni tester un système de base de données et risquer de partager des informations client telles que des numéros de sécurité sociale, des informations de carte de crédit, des dates de naissance, etc. pendant cette phase. Les données réelles actuellement disponibles peuvent également ne pas être suffisamment robustes ou réalistes pour tester des applications ou des bases de données qui devront gérer des volumes et/ou des plages de valeurs plus importants.
Malheureusement, Raza et Clyde ont écrit leur livre avant la sortie de RowGen v3, alors qu'ils ont peut-être observé qu'il génère des données de test qui :
1) n'expose pas les PII car elles contiennent de nouvelles valeurs de colonne réelles ou aléatoires
2) maintient l'intégrité structurelle et référentielle définie dans le DDL d'origine
3) n'est pas limité aux volumes de données de la base de données d'origine ou les plages de valeurs
4) peuvent être personnalisées grâce à la génération de scripts pour répondre à des exigences complexes
5) sont pré-triées et automatiquement chargées en masse pour la population la plus rapide possible
6) sont définies par lot des scripts qui ont une flexibilité variée et peuvent être exportés, réutilisés et modifiés selon les besoins
IRI RowGen v3 est la dernière version du générateur de données de test à volume élevé le plus rapide et le plus robuste au monde pour les bases de données relationnelles. RowGen fonctionnera à partir de l'interface graphique IRI Workbench construite sur Eclipse, sur la ligne de commande ou à partir de programmes batch, pour produire la qualité et la quantité de données de test nécessaires pour refléter avec précision la portée, les dispositions et les relations au sein des bases de données de production, et à son tour, entrepôts de données et magasins de données opérationnelles.
Le nouvel assistant DB Test Data de RowGen v3, lorsqu'il est lancé à partir de l'interface graphique IRI Workbench, guide les utilisateurs tout au long de la spécification et de l'automatisation de :
Analyse – en sélectionnant le schéma et les tables à remplir, RowGen traduit les descriptions des tables de la base de données et les contraintes d'intégrité en scripts .rcl qui spécifient la structure source, les ensembles dépendants et la création des données, dans l'ordre nécessaire pour remplir les tables au bon format, et avec toutes les clés primaires, index uniques et relations de clés étrangères respectées.
Génération – en construisant et en exécutant les scripts .rcl pour créer un fichier de test par table qui peut être chargé en bloc et/ou enregistré pour une utilisation future.
Population – en chargeant en bloc les tables cibles dans le bon ordre avec des données de test pré-triées structurellement et référentiellement correctes.
Le processus peut charger rapidement d'énormes bases de données de test et se conformer à la fois aux règles commerciales et aux lois sur la confidentialité des données. Les données générées sont suffisamment réalistes et robustes pour tester les opérations de base de données et les applications de requête.
RowGen v3 prend également en charge des options basées sur des règles et des scripts pour contrôler des valeurs de champ spécifiques et des distributions de plages de valeurs qui s'adaptent aux contraintes de base de données spécifiques et représentent au mieux les taux d'apparence et d'occurrence des données en production. Les utilisateurs peuvent également représenter graphiquement et prouver visuellement que les valeurs de test sont conformes aux distributions linéaires, normalisées, pondérées ou standard.
Pour plus d'informations sur RowGen v3, consultez www.iri.com/products/rowgen, www.iri.com/products/rowgen/gui ou lisez les autres articles de la section Test Data du blog IRI.
