Apache Kafka est un moteur de messagerie puissant, largement utilisé dans Big Data projets et le Analyse des données cycle de la vie. Il s’agit d’une plate-forme open-source pour créer des pipelines de streaming de données en temps réel. Il s’agit d’une plate-forme de publication-abonnement distribuée offrant fiabilité, évolutivité et durabilité.

Nous pouvons avoir Kafka comme autonome ou en tant que cluster. Kafka stocke les données de streaming, et il peut être classé comme Les sujets. le Sujet aura un certain nombre de partitions afin qu’il puisse gérer une quantité arbitraire de données. En outre, nous pouvons avoir plusieurs répliques pour la tolérance aux pannes comme nous l’avons dans HDFS. Dans un cluster Kafka, le courtier est un composant qui stocke les données publiées.

Zookeeper est un service obligatoire pour exécuter un Kafka cluster, car il est utilisé pour gérer la coordination des courtiers Kafka. Zookeeper joue un rôle clé entre le producteur et le consommateur où il est responsable du maintien de l’état de tous les courtiers.

Dans cet article, nous vous expliquerons comment installer Apache Kafka en un seul nœud CentOS 7 ou RHEL 7.

Installation d’Apache Kafka dans CentOS 7

1. Tout d’abord, vous devez installer Java sur votre système pour exécuter Apache Kafka sans aucune erreur. Alors, installez la version disponible par défaut de Java en utilisant ce qui suit commande yum et vérifiez le Java version comme indiqué.

# yum -y install java-1.8.0-openjdk
# java -version

2. Ensuite, téléchargez la version stable la plus récente de Apache Kafka sur le site officiel ou utilisez ce qui suit commande wget pour le télécharger directement et l’extraire.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Créer un lien symbolique pour kafka package, puis ajoutez le chemin de l’environnement Kafka à .bash_profile puis initialisez-le comme indiqué.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. Ensuite, démarrez le Gardien de zoo, qui est intégré avec le Kafka paquet. Puisqu’il s’agit d’un cluster à nœud unique, vous pouvez démarrer le gardien de zoo avec les propriétés par défaut.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Validez si le gardien de zoo est accessible ou non simplement telnet à Gardien de zoo Port 2181.

# telnet localhost 9092

6. Ensuite, créez un exemple de sujet.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

sept. Énumérez le sujet créé.

# kafka-topics.sh --zookeeper localhost:2181 --list

Conclusion

Dans cet article, nous avons vu comment installer un cluster Kafka à nœud unique dans CentOS 7. Nous verrons comment installer un cluster Kafka multinœud dans le prochain article.

Si vous appréciez ce que nous faisons ici sur TecMint, vous devriez considérer:

TecMint est le site communautaire à la croissance la plus rapide et le plus fiable pour tout type d’articles, de guides et de livres Linux sur le Web. Des millions de personnes visitent TecMint! pour rechercher ou parcourir les milliers d’articles publiés disponibles GRATUITEMENT à tous.

Si vous aimez ce que vous lisez, pensez à nous acheter un café (ou 2) en guise de remerciement.

Nous sommes reconnaissants de votre soutien sans fin.