Dans cette série d’articles, nous allons couvrir l’ensemble Bâtiment Cloudera Hadoop Cluster construire avec Vendeur et Industriel les meilleures pratiques recommandées.

Partie 2: Configuration des pré-requis Hadoop et renforcement de la sécurité

Partie 3: Comment installer et configurer Cloudera Manager sur CentOS / RHEL 7

Partie 4: Comment installer CDH et configurer les emplacements de service sur CentOS / RHEL 7

Partie 5: Comment configurer la haute disponibilité pour Namenode

Partie 6: Comment configurer la haute disponibilité pour Resource Manager

Partie 7: Comment installer et configurer Hive avec une haute disponibilité

Partie 8: Comment installer et configurer Sentry (outil d’autorisation)

Partie 9: Comment installer Kerberos (Kerberiser le cluster) pour l’authentification Hadoop

Partie 10: Comment régler le cluster (réglage du fil) sur CentOS / RHEL 7

OS installation et exécution OS niveau Les prérequis sont les premières étapes pour construire un Cluster Hadoop. Hadoop peut fonctionner sur les différentes versions de la plate-forme Linux: CentOS, Chapeau rouge, Ubuntu, Debian, SUSE etc., dans la production en temps réel, la plupart des Clusters Hadoop sont construits sur RHEL / CentOS, nous utiliserons CentOS 7 pour une démonstration dans cette série de tutoriels.

Dans une organisation, l’installation du système d’exploitation peut être effectuée à l’aide de kickstart. S’il s’agit d’un cluster de 3 à 4 nœuds, l’installation manuelle est possible, mais si nous construisons un gros cluster avec plus de 10 nœuds, il est fastidieux d’installer le système d’exploitation un par un. Dans ce scénario, la méthode Kickstart entre en scène, nous pouvons procéder à l’installation de masse à l’aide de kickstart.

Obtenir de bonnes performances à partir d’un Environnement Hadoop Cela dépend de l’approvisionnement du matériel et des logiciels appropriés. Alors, construire une production Cluster Hadoop implique beaucoup de considération concernant le matériel et le logiciel.

Dans cet article, nous passerons en revue divers Benchmarks sur l’installation du système d’exploitation et quelques bonnes pratiques pour le déploiement Serveur de cluster Cloudera Hadoop sur CentOS / RHEL 7.

Considérations importantes et bonnes pratiques pour le déploiement de Hadoop Server

Voici les meilleures pratiques pour la configuration du déploiement Serveur de cluster Cloudera Hadoop sur CentOS / RHEL 7.

• Les serveurs Hadoop ne nécessitent pas de serveurs standard d’entreprise pour créer un cluster, ils nécessitent du matériel de base.
• Dans le cluster de production, il est recommandé de disposer de 8 à 12 disques de données. Selon la nature de la charge de travail, nous devons décider de cela. Si le cluster est destiné aux applications gourmandes en calcul, il est recommandé d’avoir 4 à 6 disques pour éviter les problèmes d’E / S.
• Les lecteurs de données doivent être partitionnés individuellement, par exemple – à partir de / data01 à / data10.
• La configuration RAID n’est pas recommandée pour les nœuds de travail, car Hadoop lui-même fournit une tolérance aux pannes sur les données en répliquant les blocs en 3 par défaut. Donc JBOD est le meilleur pour les nœuds de travail.
• Pour les serveurs maîtres, RAID 1 est la meilleure pratique.
• Le système de fichiers par défaut sur CentOS / RHEL 7.x est XFS. Hadoop prend en charge XFS, ext3 et ext4. Le système de fichiers recommandé est ext3 car il est testé pour de bonnes performances.
• Tous les serveurs doivent avoir la même version du système d’exploitation, au moins la même version mineure.
• Il est recommandé d’avoir un matériel homogène (tous les nœuds de travail doivent avoir les mêmes caractéristiques matérielles (RAM, espace disque et Core, etc.).
• En fonction de la charge de travail du cluster (charge de travail équilibrée, calcul intensif, intensif en E / S) et de la taille, la planification des ressources (RAM, CPU) par serveur sera différente.

Trouvez l’exemple ci-dessous pour le partitionnement de disque des serveurs de 24 To de stockage.

Installation de CentOS 7 pour le déploiement du serveur Hadoop

Ce que vous devez savoir avant d’installer CentOS 7 serveur pour Serveur Hadoop.

• Une installation minimale suffit pour Serveurs Hadoop (nœuds de travail), dans certains cas, l’interface graphique ne peut être installée que pour les serveurs maîtres ou les serveurs de gestion où nous pouvons utiliser des navigateurs pour les interfaces utilisateur Web des outils de gestion.
• La configuration des réseaux, du nom d’hôte et d’autres paramètres liés au système d’exploitation peut être effectuée après l’installation du système d’exploitation.
• En temps réel, les fournisseurs de serveurs disposeront de leur propre console pour interagir et gérer les serveurs, par exemple – les serveurs Dell disposent d’iDRAC, un périphérique intégré aux serveurs. En utilisant cette interface iDRAC, nous pouvons installer le système d’exploitation avec une image du système d’exploitation dans notre système local.

Dans cet article, nous avons installé le système d’exploitation (CentOS 7) dans la machine virtuelle VMware. Ici, nous n’aurons pas plusieurs disques pour effectuer des partitions. CentOS est similaire à RHEL (même fonctionnalité), nous verrons donc les étapes pour installer CentOS.

1. Commencer par téléchargement de l’image ISO CentOS 7.x dans votre système Windows local et sélectionnez-le lors du démarrage de la machine virtuelle. Sélectionnez ‘Installez CentOS 7‘ comme montré.

2. Sélectionnez le Langue, la valeur par défaut sera Anglais, et cliquez continuer.

3. Sélection de logiciels – Sélectionnez le ‘Installation minimale‘et cliquez’Terminé».

4. Met le mot de passe root car cela nous incitera à définir.

5. Destination d’installation – C’est l’étape importante pour être prudent. Nous devons sélectionner le disque sur lequel le système d’exploitation doit être installé, le disque dédié doit être sélectionné pour le système d’exploitation. Clique le ‘Destination d’installation‘et sélectionnez le disque, en temps réel plusieurs disques seront là, nous devons sélectionner, préférable’sda».

6. Autres options de stockage – Choisissez la deuxième option (je vais configurer le partitionnement) pour configurer le partitionnement lié au système d’exploitation comme / var, / var / log, /domicile, / tmp, /opter, /échanger.

sept. Une fois terminé, commencez l’installation.

8. Une fois l’installation terminée, redémarrez le serveur.

9. Connectez-vous au serveur et définissez le nom d’hôte.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

Sommaire

Dans cet article, nous avons passé en revue les étapes d’installation du système d’exploitation et les meilleures pratiques pour le partitionnement du système de fichiers. Ce sont toutes des directives générales, selon la nature de la charge de travail, nous pouvons avoir besoin de nous concentrer sur plus de nuances pour obtenir les meilleures performances du cluster. La planification de cluster est l’art pour Hadoop administrateur. Nous aborderons en profondeur les pré-requis au niveau du système d’exploitation et le renforcement de la sécurité dans le prochain article.

Si vous appréciez ce que nous faisons ici sur TecMint, vous devriez considérer:

TecMint est le site communautaire à la croissance la plus rapide et le plus fiable pour tout type d’articles, de guides et de livres Linux sur le Web. Des millions de personnes visitent TecMint! pour rechercher ou parcourir les milliers d’articles publiés disponibles GRATUITEMENT à tous.

Si vous aimez ce que vous lisez, pensez à nous acheter un café (ou 2) en guise de remerciement.

Nous sommes reconnaissants de votre soutien sans fin.