Dans ce tutoriel Hadoop , nous allons aborder le concept de NameNode Automatic Failover dans Hadoop Tout d'abord, nous verrons ce qu'est le basculement et les types de basculement. Ensuite, nous couvrirons HDFS basculement automatique dans Hadoop.
Composants du basculement automatique Hadoop dans HDFS, tels que le quorum ZooKeeper, le processus ZKFailoverController (ZKFC). Enfin, nous aborderons également les rôles de ces deux composants dans Hadoop .
Qu'est-ce que le basculement ?
Le processus par lequel le système transfère son contrôle au système secondaire lorsqu'il détecte une panne est appelé basculement .
Le basculement est de deux types :
- Basculement gracieux – L'administrateur lance manuellement le basculement gracieux, par exemple, dans le cas d'une maintenance de routine. Le système n'activera pas automatiquement un basculement du nœud de nom actif vers le nœud de secours, même si le nœud actif a échoué dans le basculement gracieux.
- Basculement automatique : Le basculement automatique est le processus par lequel le système transfère automatiquement son contrôle au NameNode de secours lorsque le NameNode échoue. Dans Hadoop, le basculement automatique se produit en cas de défaillance du NameNode. Mais en cas d'échec du NameNode, le basculement démarrera automatiquement. Ce basculement est un basculement automatique.
Basculement automatique de NameNode dans Hadoop
Le basculement automatique dans Hadoop ajoute les composants ci-dessous à un déploiement Hadoop HDFS :
- Quorum ZooKeeper.
- Processus ZKFailoverController (ZKFC).
1. Quorum ZooKeeper
Zookeeper dans Hadoop est un service centralisé. Il gère les informations de configuration, les noms et fournit une synchronisation distribuée. Il offre également des services de groupe. Zookeeper gère et coordonne également un grand groupe de machines.
Pour les raisons ci-dessous, la mise en œuvre du basculement HDFS automatique repose sur Zookeeper :
- Détection d'échec- Zookeeper dans Hadoop maintient une session avec les namenodes. Lors d'un échec, la session expirera. Ainsi, le Zookeeper informera les autres namenodes de démarrer le processus de basculement.
- Élection active de NameNode- Un mécanisme simple fourni par Zookeeper pour élire uniquement un nœud comme actif. Au moment de l'échec du namenode actif, un autre namenode peut prendre un verrou exclusif dans Zookeeper indiquant qu'il veut devenir le prochain namenode actif.
2. ZKFailoverController (ZKFC)
ZKFC est un client de Zookeeper dans Hadoop qui surveille et gère le statut du namenode. Chacune des machines qui exécutent le service namenode exécute également un ZKFS. Il peut gérer :
- Surveillance de santé – Avec une commande de vérification de l'état, ZKFS envoie un ping à son nœud de nom local. Le ZKFS considère le namenode sain, tant que le namenode répond à la fois. Le moniteur de santé marquera un nœud comme défectueux, si le nœud est tombé en panne ou est entré dans un état défectueux.
- Gestion des sessions Zookeeper – ZKFC maintient une session ouverte dans Zookeeper lorsque le namenode local est sain. Il contient également un znode "verrouillé" spécial, si le namenode local est actif. Si la session expire, le verrou sera automatiquement supprimé.
- Élection basée sur les gardiens de zoo – Dans HDFS, si le namenode local est sain et que le ZKFC voit qu'aucun autre nœud ne détient actuellement le znode de verrouillage, il essaiera lui-même d'obtenir le verrou. Et, s'il réussit, il a remporté l'élection », et il gère l'exécution d'un basculement pour activer son nœud de nom local.
Conclusion
Par conséquent, le basculement automatique dans Hadoop démarre automatiquement en cas d'échec du NameNode. Le basculement automatique ajoute le quorum ZooKeeper et les composants ZKFailoverController Process (ZKFC) à un déploiement HDFS.
Zookeeper dans Hadoop est un service qui fournit la capacité de basculement automatique dans HDFS .
