Wéi installéiere a konfiguréieren Cloudera Manager op CentOS/RHEL 7 - Deel 3
An dësem Artikel beschreift mir de Schrëtt fir Schrëtt Prozess fir Cloudera Manager z'installéieren wéi pro industriell Praktiken. Am Deel 2 hu mir schonn duerch d'Cloudera Viraussetzunge gaang, gitt sécher datt all Server perfekt virbereet sinn.
- Best Practices fir den Hadoop Server op CentOS/RHEL 7 z'installéieren - Deel 1
- Hadoop Viraussetzunge a Sécherheetshärung opsetzen - Deel 2
Hei wäerte mir 5 Node Stärekoup hunn wou 2 Meeschter an 3 Aarbechter. Ech hunn 5 AWS EC2 Instanzen benotzt fir d'Installatiounsprozedur ze demonstréieren. Ech hunn déi 5 Serveren genannt wéi hei drënner.
master1.linux-console.net master2.linux-console.net worker1.linux-console.net worker2.linux-console.net worker3.linux-console.net
Cloudera Manager ass en administrativen an Iwwerwaachungsinstrument fir de ganze CDH. Mir Admin nennen et normalerweis e Management Tool fir Cloudera Hadoop. Mir kënnen deployéieren, iwwerwaachen, kontrolléieren a Konfiguratiounsännerunge mat der Notzung vun dësem Tool maachen. Dëst ass ganz wesentlech fir de ganze Cluster ze managen.
Drënner sinn déi wichteg Benotzunge vum Cloudera Manager.
- Deployéieren a konfiguréieren Hadoop Cluster op eng automatiséiert Manéier.
- Cluster Gesondheet iwwerwaachen
- Alarmer konfiguréieren
- Fehlerléisung
- Meldung
- Cluster Utilisatiounsbericht maachen
- Ressourcen dynamesch konfiguréieren
Schrëtt 1: Apache Web Server op CentOS installéieren
Mir wäerten den master1
als Webserver fir Cloudera Repositories benotzen. Och Cloudera Manager ass WebUI, also musse mir Apache installéiert hunn. Follegt déi folgend Schrëtt fir den Apache Webserver z'installéieren.
# yum -y install httpd
Eemol installéiert httpd, start et an aktivéiert sou datt et beim Boot gestart gëtt.
# systemctl start httpd # systemctl enable httpd
Nom Start vun httpd, vergewëssert de Status.
# systemctl status httpd
Nodeems Dir httpd gestart hutt, öffnen e Browser an Ärem lokalen System a paste d'IP Adress vum master1
an der Sichbar, Dir sollt dës Testsäit kréien fir sécher ze stellen datt httpd gutt leeft.
Schrëtt 2: Lokal DNS konfiguréieren fir IP an Hostnumm ze léisen
Mir mussen en DNS Server hunn oder /etc/hosts konfiguréieren fir IP an Hostnumm ze léisen. Hei konfiguréiere mir /etc/hosts, awer an Echtzäit ass en dedizéierten DNS Server do fir d'Produktiounsëmfeld.
Follegt d'Schrëtt hei ënnen fir eng Entrée fir all Är Serveren an /etc/hosts ze maachen.
# vi /etc/hosts
Dëst sollt op all Server konfiguréiert sinn.
13.235.27.144 master1.linux-console.net master1 13.235.135.170 master2.linux-console.net master2 15.206.167.94 worker1.linux-console.net worker1 13.232.173.158 worker2.linux-console.net worker2 65.0.182.222 worker3.linux-console.net worker3
Schrëtt 3: SSH Passwuertlos Login konfiguréieren
Cloudera Manager gëtt op master1
an dëser Demonstratioun installéiert. Mir mussen Passwuert-manner ssh vun master1
op all aner Noden konfiguréieren. Well de Cloudera Manager wäert ssh benotzen fir all aner Noden ze kommunizéieren fir Packagen z'installéieren.
Follegt déi folgend Schrëtt fir Passwuert-manner ssh vun master1
op all verbleiwen Serveren ze konfiguréieren. Mir wäerten e Benotzer 'tecmint' hunn fir weiderzegoen.
Erstellt e Benotzer 'tecmint' all 4 Serveren mam Useradd Kommando wéi gewisen.
# useradd -m tecmint
Fir de Root Privileg dem Benotzer 'tecmint' ze ginn, füügt d'Linn hei ënnen an /etc/sudoers Datei. Dir kënnt dës Linn ënner Root addéieren wéi Dir am Screenshot gitt.
tecmint ALL=(ALL) ALL
Wiesselt op de Benotzer 'tecmint' a erstellt ssh Schlëssel am master1
mam Kommando ënnen.
# sudo su tecmint $ ssh-keygen
Elo kopéiert de erstallte Schlëssel op all 4 Serveren andeems Dir de Kommando ssh-copy-id benotzt wéi gewisen.
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email
Elo sollt Dir fäeg sinn ssh vun master1
fir all Server ze bleiwen ouni Passwuert wéi gewisen.
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
Schrëtt 4: Cloudera Manager installéieren an konfiguréieren
Mir kënnen de Verkeefer (Cloudera) Repository benotze fir all Packagen ze installéieren mat de Package Management Tools an RHEL/CentOS. An Echtzäit, eisen eegene Repository erstellen ass déi bescht Praxis well mir vläicht keen Internetzougang op de Produktiounsserver hunn.
Hei wäerte mir Cloudera Manager 6.3.1 Verëffentlechung installéieren. Well mir master1
als Repo-Server benotzen, lueden mir d'Packagen op de folgende Wee erof.
Erstellt déi uewe genannte Verzeichnisser um master1
Server.
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
Mir kënnen de wget Tool benotze fir Packagen iwwer http erofzelueden. Also, installéiere wget mam Kommando ënnen.
$ sudo yum -y install wget
Als nächst luet d'Cloudera Manager Tar Datei erof mat dem folgenden wget Kommando.
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Extrait d'Tar-Datei an /var/www/html/cloudera-repos/cm6, scho hu mir master1
als Webserver gemaach andeems Dir http installéiert a mir hunn am Browser getest.
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Elo, z'iwwerpréiwen datt all Cloudera rpm Dateien do sinn /var/www/html/cloudera-repos/cm6/RPMS/x86_64 Verzeichnis.
$ cd /var/www/html/cloudera-repos/cm6 $ ll
Erstellt /etc/yum.repos.d/cloudera-manager.repo Dateien op all Server am Clusterhost mat dem folgenden Inhalt, hei ass master1
(65.0.101.148) de Webserver.
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
Elo ass de Repository bäigefüügt, fuert de Kommando ënnen fir déi aktivéiert Repositories ze gesinn.
$ yum repolist
Fëllt de Kommando ënnen fir all verfügbar Cloudera-verwandte Packagen am Repository ze gesinn.
$ yum list available | grep cloudera*
Installéiert cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Fëllt de Kommando ënnen fir all installéiert Cloudera Packagen ze gesinn.
$ yum list installed | grep cloudera*
Fëllt de Kommando ënnen fir de Cloudera-scm-server-db ze starten deen eng Basisdatenbank ass fir Cloudera Manager an aner Servicer Metadaten ze späicheren.
Par défaut kënnt Cloudera mat postgre-sql op, deen am Cloudera Manager agebaut ass. Mir installéieren den embedded, an enger Echtzäit externer Datebank déi benotzt ka ginn. Et kann Oracle, MySQL oder PostgreSQL sinn.
$ sudo systemctl start cloudera-scm-server-db
Run de Kommando ënnen fir de Status vun der Datebank ze kontrolléieren.
$ sudo systemctl status cloudera-scm-server-db
Konfiguréieren db.properties fir den Cloudera Manager Server.
$ vi /etc/cloudera-scm-server/db.properties
Konfiguréiert de Wäert hei drënner ass EMBEDDED fir de Cloudera Manager d'Embedded Datebank ze benotzen.
com.cloudera.cmf.db.setupType=EMBEDDED
Run de Kommando ënnen fir de Cloudera Manager Server ze starten.
$ sudo systemctl start cloudera-scm-server
Run de Kommando ënnen fir de Status vum Cloudera Manager Server ze kontrolléieren.
$ sudo systemctl status cloudera-scm-server
Run de Kommando ënnen fir de Status vum Cloudera Manager Agent ze starten an ze kontrolléieren.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Wann de Cloudera Manager Server erfollegräich opgaang ass a gutt leeft, kënnt Dir d'WebUI (Login Säit) am Browser mat der IP Adress an der Portnummer 7180 kucken, wat d'Portnummer vum Cloudera Manager ass.
https://65.0.101.148:7180
An dësem Artikel hu mir Schrëtt fir Schrëtt Prozess gesinn fir Cloudera Manager op CentOS 7 z'installéieren. Mir wäerten d'CDH an aner Serviceinstallatiounen am nächsten Artikel gesinn.