Dans cet article, nous avons décrit le processus étape par étape pour installer Gestionnaire Cloudera selon les pratiques industrielles. Dans la partie 2, nous avons déjà parcouru le Pré-requis Cloudera, assurez-vous que tous les serveurs sont parfaitement préparés.

Ici, nous allons avoir un cluster de 5 nœuds où 2 maîtres et 3 travailleurs. j’ai utilisé 5 AWS EC2 instances pour illustrer la procédure d’installation. J’ai nommé ces 5 serveurs comme ci-dessous.

master1.tecmint.com
master2.tecmint.com
worker1.tecmint.com
worker2.tecmint.com
worker3.tecmint.com

Gestionnaire Cloudera est un outil d’administration et de suivi de l’ensemble CDH. Nous, les administrateurs, l’appelons généralement un outil de gestion pour Cloudera Hadoop. Nous pouvons déployer, surveiller, contrôler et apporter des modifications de configuration à l’aide de cet outil. Ceci est très important pour gérer l’ensemble du cluster.

Vous trouverez ci-dessous les principales utilisations de Cloudera Manager.

• Déployez et configurez les clusters Hadoop de manière automatisée.
• Surveiller la santé du cluster
• Configurer les alertes
• Dépannage
• Rapports
• Création d’un rapport d’utilisation du cluster
• Configuration dynamique des ressources

Étape 1: Installation du serveur Web Apache sur CentOS

Nous allons utiliser le master1 en tant que serveur Web pour les référentiels Cloudera. De plus, Cloudera Manager est WebUI, nous devons donc avoir Apache installée. Suivez les étapes ci-dessous pour installer le serveur Web Apache.

# yum -y install httpd

Une fois httpd installé, démarrez-le et activez-le pour qu’il démarre au démarrage.

# systemctl start httpd
# systemctl enable httpd

Après avoir démarré httpd, vérifiez l’état.

# systemctl status httpd

Après avoir démarré httpd, ouvrez un navigateur dans votre système local et collez l’adresse IP de master1 dans la barre de recherche, vous devriez obtenir cette page de test pour vous assurer que httpd fonctionne correctement.

Étape 2: Configurer le DNS local pour résoudre l’IP et le nom d’hôte

Nous devons avoir un serveur DNS ou configurer / etc / hosts pour résoudre l’adresse IP et le nom d’hôte. Ici nous configurons / etc / hosts, mais en temps réel, un serveur DNS dédié sera là pour l’environnement de production.

Suivez les étapes ci-dessous pour créer une entrée pour tous vos serveurs dans / etc / hosts.

# vi /etc/hosts

Cela doit être configuré dans tous les serveurs.

13.235.27.144   master1.tecmint.com     master1
13.235.135.170  master2.tecmint.com     master2
15.206.167.94   worker1.tecmint.com     worker1
13.232.173.158  worker2.tecmint.com     worker2
65.0.182.222    worker3.tecmint.com     worker3

Étape 3: Configurer la connexion sans mot de passe SSH

Gestionnaire Cloudera est en cours d’installation sur master1 dans cette démonstration. Nous devons configurer ssh sans mot de passe à partir de master1 à tous les autres nœuds. Parce que le Gestionnaire Cloudera utilisera ssh pour communiquer à tous les autres nœuds pour installer les packages.

Suivez les étapes ci-dessous pour configurer ssh sans mot de passe à partir de master1 à tous les serveurs restants. Nous allons avoir un utilisateur ‘tecmint‘pour aller plus loin.

Créer un utilisateur ‘tecmint‘les 4 serveurs utilisant commande useradd comme montré.

# useradd -m tecmint

Pour donner le privilège root à l’utilisateur ‘tecmint‘, ajoutez la ligne ci-dessous dans / etc / sudoers fichier. Vous pouvez ajouter cette ligne sous root comme indiqué dans la capture d’écran.

tecmint   ALL=(ALL)    ALL

Passer à l’utilisateurtecmint‘et créez la clé ssh dans le master1 en utilisant la commande ci-dessous.

# sudo su tecmint
$ ssh-keygen

Copiez maintenant la clé créée sur les 4 serveurs en utilisant le ssh-copie-id commande comme indiqué.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

Vous devriez maintenant pouvoir effectuer des ssh depuis master1 pour rester tous les serveurs sans mot de passe, comme indiqué.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

Étape 4: Installation et configuration de Cloudera Manager

Nous pouvons utiliser le vendeur (Cloudera) pour installer tous les packages à l’aide des outils de gestion de packages dans RHEL / CentOS. En temps réel, la création de notre propre référentiel est la meilleure pratique car nous n’avons peut-être pas accès à Internet dans les serveurs de production.

Ici nous allons installer Cloudera Manager 6.3.1 Libération. Puisque nous allons utiliser master1 en tant que serveur de dépôt, nous téléchargeons les packages dans le chemin mentionné ci-dessous.

Créez les répertoires mentionnés ci-dessous sur master1 serveur.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Nous pouvons utiliser le outil wget pour télécharger des packages via http. Alors installez wget en utilisant la commande ci-dessous.

$ sudo yum -y install wget

Ensuite, téléchargez le Gestionnaire Cloudera tar à l’aide de la commande wget suivante.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Extrayez le fichier tar dans / var / www / html / cloudera-repos / cm6, déjà nous avons fait master1 en tant que serveur Web en installant http et nous avons testé sur le navigateur.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Maintenant, vérifiez que tous les fichiers rpm Cloudera sont là / var / www / html / cloudera-repos / cm6 / RPMS / x86_64 annuaire.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Créer /etc/yum.repos.d/cloudera-manager.repo fichiers sur tous les serveurs des hôtes du cluster avec le contenu suivant, ici master1 (65.0.101.148) est le serveur Web.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Maintenant que le référentiel a été ajouté, exécutez la commande ci-dessous pour afficher les référentiels activés.

$ yum repolist

Exécutez la commande ci-dessous pour afficher tous les packages liés à Cloudera disponibles dans le référentiel.

$ yum list available | grep cloudera*

Installez cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Exécutez la commande ci-dessous pour afficher tous les packages Cloudera installés.

$ yum list installed | grep cloudera*

Exécutez la commande ci-dessous pour démarrer le cloudera-scm-server-db qui est une base de données sous-jacente à stocker Gestionnaire Cloudera et autres métadonnées de services.

Par défaut, Cloudera vient avec postgre-sql qui est intégré dans le Gestionnaire Cloudera. Nous installons celui embarqué, dans une base de données externe en temps réel qui peut être utilisée. Ça peut être Oracle, MySQL, ou PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Exécutez la commande ci-dessous pour vérifier l’état de la base de données.

$ sudo systemctl status cloudera-scm-server-db

Configurer le db.properties pour le Gestionnaire Cloudera serveur.

$ vi /etc/cloudera-scm-server/db.properties

Configurez la valeur ci-dessous est INTÉGRÉ faire Gestionnaire Cloudera Utilisez le Base de données intégrée.

com.cloudera.cmf.db.setupType=EMBEDDED

Exécutez la commande ci-dessous pour démarrer le serveur Cloudera Manager.

$ sudo systemctl start cloudera-scm-server

Exécutez la commande ci-dessous pour vérifier l’état du Gestionnaire Cloudera serveur.

$ sudo systemctl status cloudera-scm-server

Exécutez la commande ci-dessous pour démarrer et vérifier l’état du Gestionnaire Cloudera agent.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Une fois la Serveur Cloudera Manager correctement installé et fonctionnant correctement, vous pouvez afficher l’interface utilisateur Web (page de connexion) dans le navigateur en utilisant l’adresse IP et le numéro de port 7180 qui est le numéro de port de Gestionnaire Cloudera.

https://65.0.101.148:7180

Sommaire

Dans cet article, nous avons vu le processus d’installation étape par étape Gestionnaire Cloudera sur CentOS 7. Nous verrons le CDH et d’autres installations de service dans le prochain article.