Oracle
 sql >> Base de données >  >> RDS >> Oracle

Automatisez les tâches d'intégration de données IRI avec Oracle Job Scheduler

Les planificateurs de tâches sont des programmes informatiques qui contrôlent l'exécution d'autres programmes en arrière-plan ou dans le cadre de processus par lots. Cette automatisation de la charge de travail est généralement coordonnée afin que le traitement traditionnel des données en arrière-plan puisse être intégré aux activités commerciales en temps réel sans épuiser les ressources ni interférer avec d'autres applications. Le planificateur de tâches automatise les interfaces dans les flux de travail, soumet et surveille les exécutions, et met en file d'attente l'ordre d'exécution des tâches non liées afin que les opérations soient traitées dans le bon ordre et soumises à des conditions spécifiques.

Un outil populaire pour l'automatisation des processus de base de données est le planificateur de tâches intégré d'Oracle. Il peut être utilisé non seulement pour automatiser les procédures SQL et les opérations utilitaires, mais également pour les processus tiers affectant l'efficacité d'Oracle. Les administrateurs de base de données Oracle utilisent régulièrement IRI FACT, IRI CoSort et SQL*Loader pour supprimer la surcharge des transformations de la couche de base de données et améliorer le flux de travail tout au long des opérations ETL à volume élevé et des opérations de réorganisation hors ligne. Ces outils peuvent désormais être combinés et planifiés avec le Job Scheduler d'Oracle dans IRI Workbench, un environnement graphique basé sur Eclipse™.

Que ce soit dans la ligne de commande, un frontal Oracle ou des IRI dans Eclipse™, les administrateurs de base de données Oracle peuvent désormais planifier des étapes ETL interdépendantes ou configurer des opérations de déchargement/tri/rechargement (réorganisation) à l'aide du logiciel IRI. Avec Oracle Job Scheduler, DBMS_SCHEDULER, les DBA et les architectes d'entrepôt de données peuvent spécifier quand lancer les extractions FACT, les tris/transformations/rapports CoSort et/ou les chargements en masse, et spécifier les dépendances entre ces processus.

Oracle Job Scheduler aide l'utilisateur à gérer et à planifier différentes tâches afin qu'aucune intervention manuelle ne soit nécessaire. Pour utiliser le planificateur de tâches, trois petits scripts sont nécessaires :

• Procédure pour assembler le processus ETL

• Fonction pour capturer tous les messages du programme Java

• Programme Java pour gérer les appels de ligne de commande aux étapes ETL :FACT (E), CoSort SortCL (T) et Oracle SQL*Loader (L)

Une fois les scripts prêts, l'utilisateur peut alors créer une procédure pour automatiser le travail souhaité. L'utilisateur peut spécifier la date et l'heure de début de la procédure. L'utilisateur peut également spécifier la fréquence d'exécution de la tâche (hebdomadaire, quotidienne, horaire ou à une heure et une date spécifiques jusqu'à toutes les 30 secondes).

Le planificateur gérera les étapes afin qu'elles soient exécutées dans le bon ordre. Il est également possible de définir des vérifications personnalisées pour s'assurer que l'étape suivante ne commence que si la précédente a réussi ou rempli certains critères.

Dans l'exemple ci-dessous, l'utilisateur a sélectionné la procédure "runFlow" pour lancer des étapes définies tous les mardis à 8h00 et tous les vendredis à 15h00.


DÉCLARER
JobNo user_jobs.job%TYPE;
v_date1 date :=to_date('20130312 080000′,'yyyymmdd hh24miss');
v_date2 date :=to_date('20130315 150000 ′,'yyyymmdd hh24miss');
BEGIN
dbms_job.submit( JobNo,  –Job ID
'begin runFlow; end;', ​​— Procédure à exécuter
v_date1, — start s'exécutant à
'SYSDATE + 7' — intervalle de travaux
);
COMMIT;
dbms_job.submit(  JobNo,  –Job ID
'begin runFlow; end; ', — Procédure à exécuter
v_date2, — commence à s'exécuter à
'SYSDATE + 7' — intervalle de travaux
);
COMMIT;
END;

L'automatisation des processus ETL de cette manière présente des avantages significatifs, en particulier pour les administrateurs de base de données Oracle déjà familiarisés avec DBMS_SCHEDULER. La méthode peut économiser les dépenses liées à des packages ETL ou de planification de tâches coûteux, minimiser les risques d'erreur humaine et exclure le besoin d'une intervention manuelle. Il est également possible d'utiliser l'intégration pour automatiser la réorganisation hors ligne et les étapes liées à l'ELT.

Si vous avez des questions sur la mise en œuvre des étapes de travail IRI dans Oracle Job Scheduler, ou si vous souhaitez obtenir l'exemple du livre blanc, contactez-nous.