Wéi installéiere a konfiguréieren Cloudera Manager op CentOS/RHEL 7 - Deel 3


An dësem Artikel beschreift mir de Schrëtt fir Schrëtt Prozess fir Cloudera Manager z'installéieren wéi pro industriell Praktiken. Am Deel 2 hu mir schonn duerch d'Cloudera Viraussetzunge gaang, gitt sécher datt all Server perfekt virbereet sinn.

  • Best Practices fir den Hadoop Server op CentOS/RHEL 7 z'installéieren - Deel 1
  • Hadoop Viraussetzunge a Sécherheetshärung opsetzen - Deel 2

Hei wäerte mir 5 Node Stärekoup hunn wou 2 Meeschter an 3 Aarbechter. Ech hunn 5 AWS EC2 Instanzen benotzt fir d'Installatiounsprozedur ze demonstréieren. Ech hunn déi 5 Serveren genannt wéi hei drënner.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager ass en administrativen an Iwwerwaachungsinstrument fir de ganze CDH. Mir Admin nennen et normalerweis e Management Tool fir Cloudera Hadoop. Mir kënnen deployéieren, iwwerwaachen, kontrolléieren a Konfiguratiounsännerunge mat der Notzung vun dësem Tool maachen. Dëst ass ganz wesentlech fir de ganze Cluster ze managen.

Drënner sinn déi wichteg Benotzunge vum Cloudera Manager.

  • Deployéieren a konfiguréieren Hadoop Cluster op eng automatiséiert Manéier.
  • Cluster Gesondheet iwwerwaachen
  • Alarmer konfiguréieren
  • Fehlerléisung
  • Meldung
  • Cluster Utilisatiounsbericht maachen
  • Ressourcen dynamesch konfiguréieren

Schrëtt 1: Apache Web Server op CentOS installéieren

Mir wäerten den master1 als Webserver fir Cloudera Repositories benotzen. Och Cloudera Manager ass WebUI, also musse mir Apache installéiert hunn. Follegt déi folgend Schrëtt fir den Apache Webserver z'installéieren.

# yum -y install httpd

Eemol installéiert httpd, start et an aktivéiert sou datt et beim Boot gestart gëtt.

# systemctl start httpd
# systemctl enable httpd

Nom Start vun httpd, vergewëssert de Status.

# systemctl status httpd

Nodeems Dir httpd gestart hutt, öffnen e Browser an Ärem lokalen System a paste d'IP Adress vum master1 an der Sichbar, Dir sollt dës Testsäit kréien fir sécher ze stellen datt httpd gutt leeft.

Schrëtt 2: Lokal DNS konfiguréieren fir IP an Hostnumm ze léisen

Mir mussen en DNS Server hunn oder /etc/hosts konfiguréieren fir IP an Hostnumm ze léisen. Hei konfiguréiere mir /etc/hosts, awer an Echtzäit ass en dedizéierten DNS Server do fir d'Produktiounsëmfeld.

Follegt d'Schrëtt hei ënnen fir eng Entrée fir all Är Serveren an /etc/hosts ze maachen.

# vi /etc/hosts

Dëst sollt op all Server konfiguréiert sinn.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Schrëtt 3: SSH Passwuertlos Login konfiguréieren

Cloudera Manager gëtt op master1 an dëser Demonstratioun installéiert. Mir mussen Passwuert-manner ssh vun master1 op all aner Noden konfiguréieren. Well de Cloudera Manager wäert ssh benotzen fir all aner Noden ze kommunizéieren fir Packagen z'installéieren.

Follegt déi folgend Schrëtt fir Passwuert-manner ssh vun master1 op all verbleiwen Serveren ze konfiguréieren. Mir wäerten e Benotzer 'tecmint' hunn fir weiderzegoen.

Erstellt e Benotzer 'tecmint' all 4 Serveren mam Useradd Kommando wéi gewisen.

# useradd -m tecmint

Fir de Root Privileg dem Benotzer 'tecmint' ze ginn, füügt d'Linn hei ënnen an /etc/sudoers Datei. Dir kënnt dës Linn ënner Root addéieren wéi Dir am Screenshot gitt.

tecmint   ALL=(ALL)    ALL

Wiesselt op de Benotzer 'tecmint' a erstellt ssh Schlëssel am master1 mam Kommando ënnen.

# sudo su tecmint
$ ssh-keygen

Elo kopéiert de erstallte Schlëssel op all 4 Serveren andeems Dir de Kommando ssh-copy-id benotzt wéi gewisen.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

Elo sollt Dir fäeg sinn ssh vun master1 fir all Server ze bleiwen ouni Passwuert wéi gewisen.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

Schrëtt 4: Cloudera Manager installéieren an konfiguréieren

Mir kënnen de Verkeefer (Cloudera) Repository benotze fir all Packagen ze installéieren mat de Package Management Tools an RHEL/CentOS. An Echtzäit, eisen eegene Repository erstellen ass déi bescht Praxis well mir vläicht keen Internetzougang op de Produktiounsserver hunn.

Hei wäerte mir Cloudera Manager 6.3.1 Verëffentlechung installéieren. Well mir master1 als Repo-Server benotzen, lueden mir d'Packagen op de folgende Wee erof.

Erstellt déi uewe genannte Verzeichnisser um master1 Server.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Mir kënnen de wget Tool benotze fir Packagen iwwer http erofzelueden. Also, installéiere wget mam Kommando ënnen.

$ sudo yum -y install wget

Als nächst luet d'Cloudera Manager Tar Datei erof mat dem folgenden wget Kommando.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Extrait d'Tar-Datei an /var/www/html/cloudera-repos/cm6, scho hu mir master1 als Webserver gemaach andeems Dir http installéiert a mir hunn am Browser getest.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Elo, z'iwwerpréiwen datt all Cloudera rpm Dateien do sinn /var/www/html/cloudera-repos/cm6/RPMS/x86_64 Verzeichnis.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Erstellt /etc/yum.repos.d/cloudera-manager.repo Dateien op all Server am Clusterhost mat dem folgenden Inhalt, hei ass master1 (65.0.101.148) de Webserver.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Elo ass de Repository bäigefüügt, fuert de Kommando ënnen fir déi aktivéiert Repositories ze gesinn.

$ yum repolist

Fëllt de Kommando ënnen fir all verfügbar Cloudera-verwandte Packagen am Repository ze gesinn.

$ yum list available | grep cloudera*

Installéiert cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Fëllt de Kommando ënnen fir all installéiert Cloudera Packagen ze gesinn.

$ yum list installed | grep cloudera*

Fëllt de Kommando ënnen fir de Cloudera-scm-server-db ze starten deen eng Basisdatenbank ass fir Cloudera Manager an aner Servicer Metadaten ze späicheren.

Par défaut kënnt Cloudera mat postgre-sql op, deen am Cloudera Manager agebaut ass. Mir installéieren den embedded, an enger Echtzäit externer Datebank déi benotzt ka ginn. Et kann Oracle, MySQL oder PostgreSQL sinn.

$ sudo systemctl start cloudera-scm-server-db

Run de Kommando ënnen fir de Status vun der Datebank ze kontrolléieren.

$ sudo systemctl status cloudera-scm-server-db

Konfiguréieren db.properties fir den Cloudera Manager Server.

$ vi /etc/cloudera-scm-server/db.properties

Konfiguréiert de Wäert hei drënner ass EMBEDDED fir de Cloudera Manager d'Embedded Datebank ze benotzen.

com.cloudera.cmf.db.setupType=EMBEDDED

Run de Kommando ënnen fir de Cloudera Manager Server ze starten.

$ sudo systemctl start cloudera-scm-server

Run de Kommando ënnen fir de Status vum Cloudera Manager Server ze kontrolléieren.

$ sudo systemctl status cloudera-scm-server

Run de Kommando ënnen fir de Status vum Cloudera Manager Agent ze starten an ze kontrolléieren.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Wann de Cloudera Manager Server erfollegräich opgaang ass a gutt leeft, kënnt Dir d'WebUI (Login Säit) am Browser mat der IP Adress an der Portnummer 7180 kucken, wat d'Portnummer vum Cloudera Manager ass.

https://65.0.101.148:7180

An dësem Artikel hu mir Schrëtt fir Schrëtt Prozess gesinn fir Cloudera Manager op CentOS 7 z'installéieren. Mir wäerten d'CDH an aner Serviceinstallatiounen am nächsten Artikel gesinn.