Ce blog vous fournit une description de Hadoop Fonction de haute disponibilité HDFS. Dans ce blog, nous discuterons tout d'abord de ce qu'est exactement la haute disponibilité, comment Hadoop atteint la haute disponibilité, quel est le besoin de la fonctionnalité de haute disponibilité HDFS.
Nous couvrirons également l'exemple de la fonctionnalité de haute disponibilité de Hadoop dans ce didacticiel Big Data Hadoop.
Qu'est-ce que la haute disponibilité Hadoop HDFS ?
Hadoop HDFS est un système de fichiers distribué. HDFS distribue les données entre les nœuds du cluster Hadoop en créant une réplique du fichier. Le framework Hadoop stocke ces répliques de fichiers sur les autres machines présentes dans le cluster.
Ainsi, lorsqu'un client HDFS souhaite accéder à ses données, il peut facilement accéder à ces données à partir d'un certain nombre de machines présentes dans le cluster. Les données sont facilement disponibles dans le nœud le plus proche du cluster.
Dans certaines conditions défavorables comme la défaillance d'un nœud, le client peut facilement accéder à ses données à partir des autres nœuds. Cette fonctionnalité de Hadoop s'appelle Haute disponibilité .
Comment la haute disponibilité est-elle atteinte dans Hadoop ?
Dans le cluster HDFS, il existe un certain nombre de DataNodes . Après l'intervalle de temps défini, tous ces DataNodes envoient des messages de pulsation au NameNode . Si le NameNode cesse de recevoir des messages de pulsation de l'un de ces DataNodes, il suppose qu'il est mort.
Après cela, il vérifie les données présentes dans ces nœuds, puis donne des commandes à l'autre nœud de données pour créer une réplique de ces données vers d'autres nœuds de données. Par conséquent, les données sont toujours disponibles.
Lorsqu'un client demande un accès aux données dans HDFS, tout d'abord, NameNode recherche les données dans ces datanodes, dans lesquels les données sont rapidement disponibles. Et fournit ensuite l'accès à ces données au client.
Les clients n'ont pas à rechercher les données dans tous les nœuds de données. HDFS Namenode lui-même facilite la disponibilité des données pour les clients en fournissant l'adresse du nœud de données à partir duquel un utilisateur peut directement lire.
Exemple de haute disponibilité Hadoop
Hadoop HDFS offre une haute disponibilité des données. Lorsque le client demande à NameNode d'accéder aux données, le NameNode recherche tous les nœuds dans lesquels ces données sont disponibles.
Après cela, il fournit l'accès à ces données à l'utilisateur à partir du nœud dans lequel les données étaient rapidement disponibles. Lors de la recherche de données sur tous les nœuds du cluster, si NameNode trouve qu'un nœud est mort, alors à l'insu de l'utilisateur, NameNode redirige le utilisateur à l'autre nœud dans lequel les mêmes données sont disponibles.
Sans aucune interruption, les données sont mises à la disposition de l'utilisateur. Ainsi, dans des conditions de défaillance de nœud, les données sont également hautement disponibles pour les utilisateurs.
Quels étaient les problèmes des anciens systèmes ?
- Les données n'étaient pas disponibles en raison d'un plantage de la machine.
- Le client HDFS doit attendre longtemps avant d'accéder à ses données. La plupart du temps, les utilisateurs doivent attendre un certain temps jusqu'à ce que le site Web devienne opérationnel.
- Fonctionnalités et caractéristiques limitées.
- En raison de l'indisponibilité des données, l'achèvement de nombreux projets majeurs dans les organisations est prolongé pendant une longue période et les entreprises doivent donc traverser des situations critiques.
Conclusion
Par conséquent, les données In Hadoop sont hautement disponibles et accessibles malgré une panne matérielle due à de multiples copies de données. Ainsi, si un nœud ou une machine tombe en panne ou tombe en panne, les données que nous pouvons accéder aux données d'un autre chemin. En savoir plus sur les fonctionnalités HDFS.
Si vous trouvez ce blog utile sur Hadoop High Availability, veuillez partager vos réflexions dans la section des commentaires.
