Hadoop a deux composants de base qui sont HDFS et FIL. HDFS est pour stocker le Les données, FIL est pour traiter le Les données. HDFS est Système de fichiers distribués Hadoop, il a Namenode comme Service principal et Datanode comme Service esclave.

Namenode est la composante critique de Hadoop qui stocke les métadonnées des données stockées dans HDFS. Si la Namenode tombe en panne, le cluster entier ne sera pas accessible, c’est le point de défaillance unique (SPOF). Ainsi, l’environnement de production aura Haute disponibilité Namenode pour éviter l’interruption de production si un Namenode tombe en panne à cause de diverses raisons comme un crash de machine, une activité de maintenance planifiée, etc.

Hadoop 2.x fournit la faisabilité où nous pouvons avoir deux Namenodes, on sera Namenode actif et un autre sera Namenode en veille.

  • Namenode actif – Il gère toutes les opérations client.
  • Namenode en veille – Il est redondant de Namenode actif. Si NN actif descend, alors Veille NN prendra toute la responsabilité de NN actif.

Activation Haute disponibilité Namenode a besoin Gardien de zoo qui est obligatoire pour le basculement automatique. ZKFC (Contrôleur de basculement Zookeeper) est un Gardien de zoo client utilisé pour maintenir l’état de Namenode.

Exigences

Dans cet article, nous allons activer Haute disponibilité Namenode dans Gestionnaire Cloudera.

Étape 1: Installation de Zookeeper

1. Se connecter à Gestionnaire Cloudera.

http://Your-IP:7180/cmf/home
Tableau de bord Cloudera Manager
Tableau de bord Cloudera Manager

2. dans le Grappe (tecmint), sélectionnez “Ajouter un service».

Ajouter un service dans Cloudera Manager
Ajouter un service dans Cloudera Manager

3. Sélectionnez le service “Gardien de zoo».

Service de gardien de zoo
Service de gardien de zoo

4. Sélectionnez les serveurs sur lesquels nous allons avoir Gardien de zoo installée.

Ajouter le service Zookeeper
Ajouter le service Zookeeper

5. Nous allons avoir 3 gardiens de zoo former Collège des gardiens de zoo. Sélectionnez les serveurs comme indiqué ci-dessous.

Créer un collège de gardiens de zoo
Créer un collège de gardiens de zoo

6. Configurer le Gardien de zoo propriétés, ici nous avons celles par défaut. En temps réel, vous devez avoir des répertoires / points de montage séparés pour le stockage Gardien de zoo Les données. Dans Partie 1, nous avons expliqué configuration de stockage pour chaque service. Cliquez sur ‘continuer‘ procéder.

Configurer les propriétés de Zookeeper
Configurer les propriétés de Zookeeper

sept. L’installation commencera, une fois installée Gardien de zoo sera lancé. Vous pouvez voir les opérations d’arrière-plan ici.

Installation du service Zookeeper
Installation du service Zookeeper

8. Après avoir réussi l’étape ci-dessus, le statut sera ‘Fini».

Zookeeper installé
Zookeeper installé

9. Maintenant, Gardien de zoo est installé et configuré avec succès. Clique le ‘terminer».

Gardien de zoo configuré
Gardien de zoo configuré

dix. Vous pouvez voir le Gardien de zoo service sur le Gestionnaire Cloudera Tableau de bord.

Voir le service Zookeeper
Voir le service Zookeeper

Étape 2: Activation de la haute disponibilité Namenode

11. Aller à Gestionnaire Cloudera -> HDFS -> Actions -> Activer la haute disponibilité.

Activation de la haute disponibilité
Activation de la haute disponibilité

12. Entrer le Nom du service de noms comme “nameservice1”- Il s’agit d’un espace de noms commun pour les Namenode actifs et en veille.

Ajouter un nom de service de noms
Ajouter un nom de service de noms

13. Sélectionnez le Deuxième Namenode où nous allons avoir la veille Namenode.

Choisissez le deuxième Namenode
Choisissez le deuxième Namenode

14. Ici nous sélectionnons master2.tecmint.com pour veille Namenode.

Sélectionnez l'hôte pour Namenode
Sélectionnez l’hôte pour Namenode

15. Sélectionnez le Journal nœuds, ce sont des services obligatoires pour la synchronisation actif et veille Namenode.

Sélectionnez les nœuds Jouranal
Sélectionnez les nœuds Jouranal

16. Nous faisons Journal du quorum en plaçant le Journal nœud dans 3 serveurs comme mentionné ci-dessous. Sélectionnez 3 serveurs et cliquez sur «OK».

Créer un journal de quorum
Créer un journal de quorum

17. Cliquez sur ‘Continuer‘ procéder.

Attribuer des rôles au journal du quorum
Attribuer des rôles au journal du quorum

18. Entrer le Nœud de journal chemin du répertoire. Il suffit de mentionner le chemin lors de l’installation de ce répertoire qui sera automatiquement créé par le service lui-même. Nous mentionnons comme ‘/jn’. Cliquez sur ‘Continuer‘ procéder.

Ajouter le chemin du nœud de journal
Ajouter un chemin de nœud de journal

19. Il commencera à activer le La haute disponibilité.

Activation de la haute disponibilité
Activation de la haute disponibilité

20. Une fois tous les processus d’arrière-plan terminés, nous obtiendrons ‘Fini«Statut.

Haute disponibilité terminée
Haute disponibilité terminée

21. Enfin, nous recevrons une notification ‘Haute disponibilité activée avec succès». Cliquez sur ‘terminer».

Haute disponibilité activée
Haute disponibilité activée

22. Vérifiez le actif et Namenode en veille en allant à Gestionnaire Cloudera -> HDFS -> Instances.

Vérifier la haute disponibilité
Vérifier la haute disponibilité

23. Ici, tu peux pleurer deux Namenodes, on sera dans le ‘actif‘état et un autre sera dans’Etre prêt‘ Etat.

Vérifier les Namenodes
Vérifier les Namenodes
Conclusion

Dans cet article, nous avons parcouru le processus étape par étape pour activer Haute disponibilité Namenode. Il est fortement recommandé d’avoir Haute disponibilité Namenode dans tous les clusters dans un environnement temps réel. Veuillez poster vos doutes si vous rencontrez une erreur lors de ce processus. Nous verrons Haute disponibilité Resource Manager dans l’article suivant.

Si vous appréciez ce que nous faisons ici sur TecMint, vous devriez considérer:

TecMint est le site communautaire à la croissance la plus rapide et le plus fiable pour tout type d’articles, de guides et de livres Linux sur le Web. Des millions de personnes visitent TecMint! pour rechercher ou parcourir les milliers d’articles publiés disponibles GRATUITEMENT à tous.

Si vous aimez ce que vous lisez, pensez à nous acheter un café (ou 2) en guise de remerciement.

Soutenez-nous

Nous sommes reconnaissants de votre soutien sans fin.

.

Leave a Reply