Dans un article précédent, nous avons expliqué la installation de Cloudera Manager, dans cet article, vous apprendrez comment installer et configurer CDH (Cloudera Distribution Hadoop) dans RHEL / CentOS 7.
Lors de l’installation du colis CDH, nous devons nous assurer que Gestionnaire Cloudera et CDH compatibilité. La version Cloudera comporte 3 parties –
Par exemple, nous utilisons Cloudera Manager 6.3.1 et CDH 6.3.2. Ici 6 est majeur et 3 est la version mineure. Major et Minor doivent être identiques pour éviter les problèmes de compatibilité.
Exigences
Nous prendrons les 2 nœuds ci-dessous pour installer CDH. Nous avons déjà installé Cloudera Manager dans master1, nous utilisons aussi master1 en tant que serveur de dépôt.
master1.tecmint.com worker1.tecmint.com
Étape 1: Téléchargez les parcelles CDH sur le serveur maître
1. Tout d’abord, connectez-vous à master1 serveur et téléchargement Colis CDH fichiers dans le / var / www / html / cloudera-repos / cdh répertoire. Nous devons télécharger ci-dessous 3 fichiers qui devraient être compatibles avec RHEL / CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Avant de télécharger ces fichiers, assurez-vous de créer un cdh répertoire sous / var / www / html / cloudera-repos / emplacement.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Ensuite, téléchargez les 3 fichiers mentionnés ci-dessus en utilisant ce qui suit commande wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Étape 2: Configurer le repo Cloudera Manager sur les clients de travail
4. Maintenant, connectez-vous à ouvrier serveurs et copiez le fichier repo (cloudera-manager.repo) du serveur de dépôt (master1) à tous les serveurs de travail restants. Ce fichier de dépôt garantit aux serveurs que toutes les parcelles et tous les RPM requis seront téléchargés à partir du serveur de dépôt lors de l’installation.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Une fois le référentiel ajouté, répertoriez les référentiels activés pour vous assurer que cloudera-manager le repo est activé.
$ yum repolist
Étape 3: Installez les démons et l’agent Cloudera Manager sur les serveurs de travail
6. Maintenant, nous devons installer cloudera-manager-démons et agent-gestionnaire-cloudera dans tous les serveurs restants.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
sept. Ensuite, vous devez configurer le Gestionnaire Cloudera agent pour signaler le Gestionnaire Cloudera serveur.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Remplace le localhost avec Gestionnaire Cloudera Adresse IP du serveur.
8. Début Gestionnaire Cloudera Agent et vérifiez le statut.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Étape 4: Installer et configurer CDH
On a CDH colis dans master1 – serveur de dépôt. Assurez-vous que tous les serveurs ont le fichier de dépôt Cloudera Manager dans /etc/yum.repos.d/ si vous suivez l’installation automatique en utilisant Gestionnaire Cloudera.
9. Connectez-vous à Cloudera Manager en utilisant l’URL ci-dessous au port 7180 et utilisez le nom d’utilisateur et le mot de passe par défaut de Gestionnaire Cloudera.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
dix. Une fois connecté, vous serez accueilli par la page d’accueil. Vous trouverez ici les notes de version, les nouvelles fonctionnalités de Cloudera Manager.
11. Acceptez la licence et continuez.
12. Sélectionnez l’édition. La version d’essai est sélectionnée par défaut, nous pouvons continuer avec cela.
13. Maintenant, suivez les étapes d’installation du cluster. Continuez la page d’accueil.
14. Nommez le cluster et continuez, nous l’avons nommé « tecmint». Il existe 2 types de cluster que vous pouvez définir. Nous procédons avec le cluster régulier.
- Cluster régulier: Comprendra des nœuds de stockage, des nœuds de calcul et d’autres services nécessaires.
- Cluster de calcul: Ne comprendra que des nœuds de calcul. Le stockage externe peut être utilisé pour stocker des données.
15. Nous avons déjà installé Agents Cloudera Manager dans tous les serveurs. Vous pouvez trouver ces serveurs dans « Hôtes actuellement gérés». Pour une installation automatique, vous devez saisir le FQDN ou l’IP des serveurs dans le champ «Nouveaux hôtes»Option et recherche. Cloudera Manager détectera automatiquement les hôtes sur lesquels nous devons installer CDH.
Ici, cliquez sur le « Hôtes actuellement gérés« , Sélectionnez tous les hôtes en sélectionnant »Nom d’hôte‘ et continue.
16. Sélectionner le référentiel – en utilisant parcelle est la manière recommandée. Cliquez sur ‘Plus d’options‘pour configurer le référentiel.
17. Entrez l’URL du référentiel local comme indiqué ci-dessous. Supprimez tous les dépôts publics restants qui pointent vers le Web (Dépôts Cloudera).
C’est le CDH URL du référentiel local que nous avons dans master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Une fois l’URL du référentiel saisie, cette page affichera uniquement les parcelles disponibles. Continuez cette étape.
19. Désormais, les colis sont en cours de téléchargement, de distribution, de décompression et d’activation sur tous les serveurs disponibles.
20. Une fois la Colis CDH sont activés, inspectez le Grappe. Cette étape effectuera un bilan de santé du cluster. Ici, nous sautons et continuons.
Étape 5: Configuration du cluster
21. Ici, nous devons sélectionner le Prestations de service être installé dans Grappe. Certaines combinaisons emballées seront disponibles par défaut, nous allons avec Services personnalisés.
22. Dans Services personnalisés, nous installons uniquement Composants principaux (HDFS et FIL) à cette fin de démonstration.
23. Attribuez les rôles au serveur. Nous pouvons personnaliser selon nos exigences. Trouvez le tableau ci-dessous qui décrit les Répartition des rôles pour un petit cluster de base de 5 à 20 nœuds avec haute disponibilité.
24. Sélectionnez le type de base de données, le nom d’hôte, le nom de la base de données, le nom d’utilisateur et le mot de passe. Comme nous utilisons Embedded PostgreSQL, il sera sélectionné par défaut. Testez la connexion, elle devrait réussir.
25. Cette page affichera les paramètres de configuration par défaut de HDFS et Fil, y compris les répertoires de données. Passez en revue tous les détails de configuration et vous pouvez apporter des modifications si nécessaire. Puis continuez avec ceci.
26. Cette page affichera les détails de la ‘Première exécution‘commande. Vous pouvez le développer pour voir les détails de l’exécution des commandes. S’il existe des problèmes de réseau ou d’autorisation dans le cluster, cette étape échouera. Habituellement, cette étape décide de la bonne installation du Cluster Building.
27. Une fois l’étape ci-dessus terminée, cliquez sur ‘terminer‘pour terminer l’installation. Ceci est le tableau de bord de Cloudera Manager après l’installation de CDH.
http://104.211.95.96:7180/cmf/home
Conclusion
Nous avons terminé le Gestionnaire Cloudera et CDH installation réussie. dans le Tableau de bord Cloudera Manager, vous pouvez trouver un ensemble prédéfini de graphiques où vous pouvez surveiller le processeur du cluster, le disque IO, etc. Nous pouvons gérer l’ensemble du cluster en utilisant Gestionnaire Cloudera. Nous verrons toutes les opérations administratives dans les prochains articles.
Si vous appréciez ce que nous faisons ici sur TecMint, vous devriez considérer:
TecMint est le site communautaire à la croissance la plus rapide et le plus fiable pour tout type d’articles, de guides et de livres Linux sur le Web. Des millions de personnes visitent TecMint! pour rechercher ou parcourir les milliers d’articles publiés disponibles GRATUITEMENT à tous.
Si vous aimez ce que vous lisez, pensez à nous acheter un café (ou 2) en guise de remerciement.
Nous sommes reconnaissants de votre soutien sans fin.
.
