Une fois qu'une base de données dépasse une certaine taille, il devient coûteux — et risqué du point de vue de la sécurité — de fournir des copies pleine grandeur pour le développement, les tests et la formation. La plupart des équipes ont besoin de plus petites copies de la plus grande base de données et ont souvent les PII masquées.
Le sous-ensemble de base de données est ce processus de création d'une copie plus petite et référentiellement correcte d'une base de données plus grande à partir d'extraits de table réels. Les sous-ensembles peuvent être utilisés avec ou à la place des données de masquage ou de la synthèse des données de test pour réduire les coûts et les risques associés aux ensembles complets. Le processus de création manuelle de sous-ensembles significatifs est complexe et laborieux, étant donné que vous auriez à remplir des bases de données plus petites avec des échantillons aléatoires de chaque table de production et à vous assurer que toute structure relationnelle entre les tables était toujours correcte dans le sous-ensemble.
Un assistant de création de sous-ensembles de bases de données de bout en bout dans IRI Workbench rend ce processus plus rapide et plus facile. L'assistant est disponible pour les utilisateurs sous licence de la plate-forme de gestion de données IRI Voracity, IRI RowGen pour la génération de données de test et IRI FieldShield pour le masquage des données. Cet article présente l'assistant et montre comment il crée des sous-ensembles référentiellement corrects, avec des options pour le masquage des colonnes et le chiffrement préservant les champs.
L'assistant de création de sous-ensemble demande à l'utilisateur de sélectionner la source du sous-ensemble, sa taille et son tri, les noms des cibles du sous-ensemble et tout cryptage ou masquage que les données du sous-ensemble doivent obtenir. L'assistant crée ensuite une série de scripts de travail qui créent des tables de sous-ensemble ou des fichiers plats.
Options de travail
Cette page définit le type de sortie. Si le chargeur est laissé vide, un fichier plat avec un délimiteur de tabulation sera créé. Pour les options de base de données, ODBC ou le chargeur de base de données spécifique peut être sélectionné.
Options de sous-ensemble
Cette page est l'endroit où vous spécifiez les détails du sous-ensemble. Sélectionnez le profil de connexion et la table qui « piloteront » le sous-ensemble créé. Considérez la table de pilotage comme la table principale à partir de laquelle vous souhaitez que le sous-ensemble provienne. Par exemple, si vous souhaitez créer un sous-ensemble d'un tableau des ventes et de tous les tableaux qui y sont connectés, vous devez sélectionner ici le tableau contenant les informations sur les ventes. Sélectionnez également la taille du sous-ensemble. Par exemple, pour obtenir un sous-ensemble des 100 quantités vendues les plus élevées, vous devez effectuer un tri sur le champ Quantité vendue (comme dans cet exemple) et saisir 100 dans le nombre de lignes. Un filtre peut également être ajouté sur la table des chauffeurs.
Trier
Cette page vous permet de spécifier l'ordre de tri du sous-ensemble. Toutefois, si vous souhaitez que les lignes soient sélectionnées au hasard, laissez la liste Champs clés vide.
La page Trier comporte 3 sections notables :
- La liste des champs de saisie
- La liste des champs clés
- Options clés
Étapes :
- Si vous souhaitez un sous-ensemble de données triées, sélectionnez la colonne à trier et cliquez sur "Ajouter une clé".
- Quelques options sont disponibles dans la zone Options clés :
- Cochez la case Stable pour dupliquer les enregistrements à charger dans l'ordre dans lequel ils se trouvent dans la table de production.
- Si vous ne souhaitez aucun doublon ou uniquement des doublons dans votre sous-ensemble, cochez la case Doublons et le bouton radio approprié.
Nom de la cible
Cette page s'affiche si le type de sortie est une base de données. Il a deux fonctions. Le premier vous permet de visualiser les relations de votre tableau de pilotes. La seconde consiste à nommer les cibles de sortie pour le sous-ensemble.
La page Target Naming comporte 5 sections notables :
- Le profil cible et le schéma
- Le mode de sortie est toujours créer car cette tâche tronquera toutes les tables existantes du même nom
- Options SQL pour la tâche
- Les options de dénomination
- La liste des références
Étapes :
- Sélectionnez le profil de connexion.
- Sélectionnez le schéma.
- Spécifiez les options SQL.
- Sélectionnez l'option de dénomination pour nommer les cibles du sous-ensemble. Si un profil ou schéma différent est utilisé, cette étape est facultative :
- Tout préfixer ajoute un préfixe à chaque nom de table et le définit comme cible de cette table.
- Tous suffixent ajoute un suffixe à chaque nom de table et le définit comme cible de cette table.
- Nom individuel permet à chaque cible de sous-ensemble d'être nommée indépendamment des autres cibles.
- Consultez le Référencé par et Références listes pour vérifier que les relations de la table ont été trouvées correctement :
- Dans le Importé par list, toutes les tables par lesquelles votre table choisie est importée sont listées.
- Dans les importations list, toutes les tables avec lesquelles la table que vous avez choisie a une relation sont répertoriées.
Règles
Sur cette page, des règles peuvent être ajoutées à n'importe quelle cible. Dans cet exemple, un matcher de règles a été ajouté à tous les champs se terminant par le mot « NAME ». La règle sera appliquée à la table cible correspondante. Cette règle masquera ces deux champs par des astérisques. Il faut veiller à ne pas inclure de règles sur les champs de clé étrangère.
Résumé
Cette page résume le travail. Il affiche clairement les colonnes qui correspondent à une règle, et les tables cible correspondant aux tables source si elles n'existent pas. Notez que le DDL sera créé pour toutes les nouvelles tables.
Une fois toutes ces pages remplies, vous pouvez sélectionner Terminer. L'assistant créera ensuite des scripts de travail et un fichier batch exécutable pour Windows ou Unix que vous pourrez lancer à partir de Workbench ou de la ligne de commande pour extraire des sous-ensembles de la table des pilotes et de ses tables associées.
Voici un organigramme montrant ces huit tâches créées pour le travail dans Voracity :
Contactez [email protected] si vous avez des questions.
