Cloudera Data Platform (CDP) Data Center est une plate-forme entièrement de données qui unifie les dernières analyses open source - Spark, Impala, Hive, HBase, Kafka, Hadoop, etc. - dans un système d'analyse et de gestion des données multifonction qui comprend :
- Analyse SQL plus performante
- Traitement et gestion des flux en temps réel
- Contrôle d'accès précis basé sur des attributs
- Filtrage dynamique des colonnes et masquage des lignes
- Une augmentation de 10 fois de l'évolutivité des fichiers et des objets
J'ai utilisé un module Terraform (v0.12) qui déploie CDP Data Center sur Oracle Cloud Infrastructure (OCI).
Ce modèle prend en charge le ciblage des VCN/sous-réseaux existants pour le déploiement du cluster. Pour activer cette fonctionnalité, utilisez simplement le système de menu du schéma pour sélectionner une cible VCN existante, puis sélectionnez les sous-réseaux appropriés pour chaque type d'hôte de cluster.
1. Téléchargez le fichier zip pour le déploiement Cloudera Terraform avec Resource Manager .
2. Connectez-vous à Oracle Cloud Infrastructure (OCI)
3. Sélectionnez Gestionnaire de ressources et cliquez sur Piles
4. Cliquez sur Créer une pile .
5. Sur la pile d'informations téléchargez le fichier zip que vous avez téléchargé à l'étape 1, puis cliquez sur Suivant .
6. Dans Configurer les variables page, saisissez le contenu d'une « clé fournie par SSH » (facultatif). Remarque :Si vous déployez Cloudera Manager sur un sous-réseau privé, vous aurez besoin d'un VPN ou d'un tunnel SSH via un nœud périphérique pour accéder à la gestion du cluster. Lorsque vous créez un VPC, vous devez spécifier une plage d'adresses IPv4 pour le VPC sous la forme d'un bloc CIDR (Classless Inter-Domain Routing), par exemple 10.0.0.0/16. Cliquez sur Suivant .
7. Vérifiez votre configuration et cliquez sur Créer.
9. À partir des Actions Terraform menu sélectionnez Planifier
10. Cliquez sur Planifier
11. Attendez quelques instants que cette tâche soit terminée.
12. Terraform a été initialisé avec succès.
13. Tâche terminée réussie
14. Diagramme montrant ce qui est généralement déployé à l'aide de ce modèle. Que les ressources sont automatiquement réparties entre les "domaines d'erreur" dans un "domaine de disponibilité" pour garantir la tolérance aux pannes.
Références
Découvrez comment déployer Hadoop sur Oracle Cloud Infrastructure. Disponible sur https://docs.oracle.com/en/solutions/learn-deploy-hadoop-oci/index.html#GUID-6BC025FF-829B-4BBD-9C80-69044F61F35B
Déployez facilement Hadoop sur Oracle Cloud Infrastructure à l'aide de Resource Manager. Disponible sur https://blogs.oracle.com/cloud-infrastructure/deploy-hadoop-easily-on-oracle-cloud-infrastructure-using-resource-manager
Cloudera sur Oracle Cloud Infrastructure (modèle de déploiement Terraform). Disponible sur https://github.com/oracle-quickstart/oci-cloudera
Présentation du gestionnaire de ressources. Disponible sur https://docs.cloud.oracle.com/en-us/iaas/Content/ResourceManager/Concepts/resourcemanager.htm
Centre de données CDP. Disponible sur https://docs.cloudera.com/cdp/latest/overview/topics/cdpdc-overview.html
