Dans le monde d'aujourd'hui, les données sont générées à un rythme exponentiel, à tel point que les analystes prédisent que notre création mondiale de données sera multipliée par 10 d'ici 2025. Les entreprises collectent désormais des données sur tous les systèmes internes et sources externes qui ont un impact sur leur entreprise ; et cela s'accompagne d'un besoin toujours croissant d'analyser les données pour mieux comprendre comment elles peuvent être utilisées pour améliorer et améliorer leurs décisions commerciales. Apache Zeppelin, une plate-forme open source d'analyse et de visualisation de données, peut nous aider à atteindre cet objectif.

Dans cet article, vous apprendrez à ajouter un interpréteur personnalisé pour MongoDB et MySQL et à l'utiliser pour interroger et visualiser les données de collecte. Tout d'abord, commençons par un aperçu d'Apache Zeppelin et de ses fonctionnalités :

Qu'est-ce qu'Apache Zeppelin ?

Apache Zeppelin est un "bloc-notes" open source basé sur le Web qui permet l'analyse interactive de données et la création de documents collaboratifs. Le bloc-notes est intégré à des systèmes de traitement de données distribués à usage général tels qu'Apache Spark (traitement de données à grande échelle), Apache Flink (framework de traitement de flux) et bien d'autres. Apache Zeppelin vous permet de créer de beaux documents interactifs basés sur les données avec SQL, Scala, R ou Python directement dans votre navigateur.

Fonctionnalités d'Apache Zeppelin

Interface interactive Apache Zeppelin dispose d'une interface interactive qui vous permet de voir instantanément les résultats de vos analyses et d'avoir une connexion immédiate avec votre création :
Carnets de notes du navigateur Créez des blocs-notes qui s'exécutent dans votre navigateur (à la fois sur votre machine et à distance) et testez différents types de graphiques pour explorer vos ensembles de données :
Intégrations Intégrez de nombreux outils de Big Data open source différents tels que les projets Apache Spark, Flink, Hive, Ignite, Lens et Tajo.

Formulaires dynamiques

Créez dynamiquement des formulaires de saisie directement dans votre bloc-notes.

Collaboration et partage

Une communauté de développeurs diversifiée et dynamique vous donne accès à de nouvelles sources de données qui sont constamment ajoutées et distribuées via leur licence Apache 2.0 open source.

Interprète Le concept d'interpréteur Apache Zeppelin permet à n'importe quel langage/système de traitement de données d'être connecté à Zeppelin. Actuellement, Apache Zeppelin prend en charge de nombreux interpréteurs tels qu'Apache Spark, Python, JDBC, Markdown et Shell.

Commençons maintenant à créer votre interpréteur personnalisé pour MongoDB et MySQL.

Ajouter un interpréteur MySQL Sur la plate-forme Apache Zeppelin, accédez au menu déroulant en haut à droite et cliquez sur Interprète :

Voici où vous pouvez trouver une liste de tous les interprètes. Nous devons en créer un nouveau pour MySQL, alors cliquez sur le bouton "Créer" dans le coin supérieur droit :

Entrez un nom reconnaissable pour l'interpréteur (par exemple mysql), et choisissez le groupe comme JDBC : Conservez toutes les options par défaut, mais entrez les détails requis et assurez-vous qu'une connexion à votre serveur MySQL est établie :

Nous devons également ajouter un artefact personnalisé au JAR du connecteur MySQL afin que Zeppelin sache d'où l'exécuter. Téléchargez le connecteur ici, placez-le dans le dossier interpreter/jdbc puis indiquez le chemin exact vers l'artefact :

Et c'est tout! Pour tester notre interpréteur, nous devons créer une nouvelle note. Mais d'abord, configurons également notre interpréteur MongoDB.

Ajouter un interpréteur MongoDB

Retournez à votre page Interprète et cliquez sur le bouton "Créer". Nous allons utiliser cet interpréteur MongoDB open source, vous devrez donc ensuite télécharger le fichier .zip et le renommer en .jar.

Après cela, allez dans interpreters/, créez un dossier mongodb/ et collez le .jar dans le dossier.

Vous avez maintenant un nouveau groupe d'interprètes appelé mongodb. Accédez à votre page Interprète, entrez un nom convivial comme mongodb, puis choisissez mongodb dans le menu déroulant du groupe Interprète. Maintenant, entrons les détails de notre cluster ScaleGrid MongoDB nouvellement créé dans "Propriétés" qui se trouve sur la page Détails du cluster sous la section Présentation / Machines.

Et nous avons terminé ! Il est maintenant temps de tester nos nouveaux interprètes.

Créer une note Zeppelin

Pour exécuter des requêtes qui aidera à visualiser nos données, nous devons créer des notes. Dans le volet d'en-tête Zeppelin, cliquez sur "Notebook", puis sur "Créer une nouvelle note":
Assurez-vous que l'en-tête du bloc-notes affiche un état connecté comme indiqué par un point vert dans le coin supérieur droit :

Lors de la création d'une note, une boîte de dialogue s'affiche pour entrer plus d'informations. Choisissez l'interpréteur par défaut comme notre mysql nouvellement créé et cliquez sur "Créer une note".

Exécuter des requêtes sur la note

Avant de pouvoir exécuter Pour toute question, nous devons également mentionner le type d'interprète que nous utiliserons pour notre note. Nous pouvons le faire en commençant notre note par "% mysql". Cela indiquera à Zeppelin d'attendre des requêtes MySQL dans cette note.

Et maintenant, nous sommes prêts à interroger notre base de données. Aux fins de cet exemple, j'utiliserai mon installation WordPress qui contient une table wp_options typique pour interroger et visualiser ses données.

Ça marche! Vous pouvez maintenant cliquer sur les différents graphiques pour visualiser les données dans différents formats de graphique.

De même, pour MongoDB, assurez-vous d'avoir des données dans le cluster MongoDB. Vous pouvez en ajouter en accédant à l'onglet Admin et en exécutant des requêtes Mongo.

Voici un exemple de certaines données MongoDB dans la note :

Partager des liens vers vos notes Maintenant que vos données sont prêtes pour la visualisation et l'interrogation, vous pouvez les montrer à votre équipe. Vous pouvez le faire très facilement en créant un lien partageable vers la note : Ce lien partageable sera disponible pour tout le monde, et vous pouvez également choisir de partager un lien vers un graphique spécifique uniquement :

Conclusion d'Apache Zeppelin

Apache Zeppelin est un outil extrêmement utile qui permet aux équipes de gérer et d'analyser des données avec de nombreuses options de visualisation différentes, des tableaux et des liens partageables pour la collaboration. Voici quelques liens utiles pour vous aider à démarrer :

Télécharger Apache Zeppelin

Interprète MongoDB

Connecteur MySQL

Vous pouvez également explorer d'autres façons de visualiser vos données via les interfaces graphiques MongoDB, y compris les quatre principales :MongoDB Compass, Robomongo, Studio 3T et MongoBooster.

Comme toujours, si vous construisez quelque chose de génial, envoyez-nous un tweet @scalegridio

Si vous avez besoin d'aide pour l'hébergement et la gestion de Redis™*, contactez-nous à [email protected] pour plus d'informations.