DBeaver
 sql >> Base de données >  >> Database Tools >> DBeaver

Suivez ISS avec SAP Data Intelligence et SAP HANA :stockez et analysez les données

Cet exemple est utilisé comme démo dans une session INT105 – Créer des pipelines de données avec SAP Data Intelligence à SAP TechEd 2020. Vous êtes plus que bienvenu pour rejoindre cette session et regarder cette démo. Mais ce n'est pas un pré-requis, si vous voulez continuer avec ce post.

Dans le post précédent, nous avons commencé à créer un pipeline de données dans SAP Data Intelligence pour ingérer données à partir d'un point de terminaison d'API et pour transformer les données du format encodé TLE en une charge utile JSON lisible. Il est maintenant temps de charger ces données, et nous utiliserons SAP HANA, édition express, pour cela.

Bon, continuons notre voyage…

Ajouter une configuration de connexion SAP HANA

Passons à l'application de gestion des connexions dans SAP Data Intelligence.

Dans le default locataire d'une instance d'essai, vous pouvez établir une connexion HANA_LOCALHOST entre autres. Cela peut être une bonne option pour jouer avec si vous voulez lire/écrire des données de SAP HANA depuis dedans Instance d'essai Data Intelligence. Mais dans notre cas, je souhaite également pouvoir accéder aux données de la base de données SAP HANA à partir d'autres clients externes.

Créons une autre connexion. Comme je l'ai mentionné, il s'agira d'une instance hébergée dans le cloud de SAP HANA, édition express. Je l'appellerai MyHXE_HXE_SYSTEM .

Vous pouvez voir que je tourne Use TLS activée. Il vaut mieux prévenir que guérir.

Tester la connexion a réussi, alors laissez-moi Créer cette configuration.

Vérifiez les objets dans l'explorateur de métadonnées

Maintenant que la connexion a été créée, vérifions-la dans l'application Metadata Explorer. Si vous n'êtes pas familier avec l'explorateur de métadonnées, je vous recommande de consulter d'abord les didacticiels :

  • Utiliser, découvrir et profiler les données avec SAP Data Intelligence, édition d'essai

Dans l'application, allez dans Catalogue> Parcourir les connexions…

… puis à notre connexion (dans mon cas c'est MyHXE_HXE_SYSTEM ) et au SYSTEM schéma. Dans mon système, il est vide pour le moment.

Ajouter un opérateur SAP HANA au pipeline de données

De retour à l'application Modeler et à notre graphique créé dans le post précédent, ajoutons un opérateur SAP HANA Client au pipeline de données.

Connectez la out de la dernière écoute électronique port vers les data du client HANA port.

Configurons l'opérateur en définissant les paramètres suivants :

  • Nom :ISS locs to SAP HANA
  • Connexion :MyHXE_HXE_SYSTEM depuis le Gestionnaire de connexion
  • Nom du tableau :"ISS_TRACK"
  • Colonnes du tableau :[{"name":"TSTMP","type":"SECONDDATE"},{"name":"LAT","type":"DOUBLE"},{"name":"LON","type":"DOUBLE"},{"name":"ALT","type":"INTEGER"}]
  • Format d'entrée :JSON
  • Mode insertion :INSERER
  • Initialisation de la table :Créer
  • Sortie décimale :virgule flottante
  • Terminer en cas d'erreur :Faux

La configuration JSON des colonnes de table devrait nous permettre de voir une belle vue de formulaire, lorsqu'elle est ouverte dans l'aperçu des détails de la table.

Une fois cette configuration supplémentaire terminée, il est temps de sauvegarder et d'exécuter le graphique.

Et une fois qu'il est en cours d'exécution…

Vérifiez le ISS_TRACK objet dans l'explorateur de métadonnées

Revenez à l'explorateur de métadonnées. Si nécessaire, rafraîchissez l'écran pour voir les changements dans le SYSTEM schéma de MyHXE_HXE_SYSTEM connexion.

Vous devriez voir ISS_TRACK objet de type "Table" ici.

Accédez à la fiche technique de cet objet et passez à la vue Aperçu des données. Vous devriez voir les données insérées par le graphique en cours d'exécution.

Laissez le graphique s'exécuter pendant au moins 10 minutes pour collecter des données.

Exploration des données dans SAP HANA

Une fois qu'il y a au moins 10 minutes de données collectées, nous pouvons arrêter l'exécution du graphique et passer à l'exploration des données dans SAP HANA.

Si vous avez suivi mes articles précédents, alors vous savez que grâce à Mathias Kemeter j'aime utiliser le gestionnaire de base de données DBeaver grâce à sa belle visualisation intégrée des données spatiales.

Voyons quel chemin l'ISS a suivi pendant que j'exécutais un graphique collectant les données.

SELECT UTCTOLOCAL("TSTMP") AS "TSTMP", "LON", "LAT", "ALT", 
SECONDS_BETWEEN (UTCTOLOCAL("TSTMP"), NOW()) AS "Sec_Ago", 
NEW ST_POINT('Point Z('||"LON"||' '||"LAT"||' '||"ALT"||')',4326) AS "Loc3D"
FROM "ISS_TRACK";

Calculons la "vitesse au sol" du satellite - comme s'il se déplaçait à la surface de la Terre - au dernier horodatage enregistré.

SELECT TOP 1
  UTCTOLOCAL ("TSTMP", 'CET') as TIMECET,
  ROUND(IFNULL(NEW ST_Point('POINT ('||"LON"||' '||"LAT"||')', 4326).ST_Distance
  (NEW ST_Point('POINT ('||LAG("LON", 1, "LON") OVER (ORDER BY "TSTMP")||' '||LAG("LAT", 1, "LAT") OVER (ORDER BY "TSTMP")||')', 4326), 'kilometer')/
  SECONDS_BETWEEN (LAG("TSTMP", 1) OVER (ORDER BY "TSTMP"),"TSTMP"), 0), 2) AS "KMpS"
FROM
	(SELECT TOP 2 
		UTCTOLOCAL("TSTMP") AS "TSTMP", "LON", "LAT", "ALT", 
		SECONDS_BETWEEN (UTCTOLOCAL("TSTMP"), NOW()) AS "Sec_Ago", 
		NEW ST_POINT('Point Z('||"LON"||' '||"LAT"||' '||"ALT"||')',4326) AS "Loc3D"
	FROM "SYSTEM"."ISS_TRACK"
	ORDER BY "TSTMP" DESC)
ORDER BY "TSTMP" DESC

6,33 kilomètres par seconde. Sans prendre de contravention pour excès de vitesse !


No