Wéi installéiere Dir CDH a konfiguréiert Serviceplacementer op CentOS/RHEL 7 - Deel 4
An engem fréieren Artikel hu mir d'Installatioun vum Cloudera Manager erkläert, an dësem Artikel léiert Dir wéi Dir CDH (Cloudera Distribution Hadoop) an RHEL/CentOS 7 installéiere kënnt an konfiguréieren.
Beim Installatioun vum CDH Pak musse mir de Cloudera Manager an CDH Kompatibilitéit garantéieren. Cloudera Versioun huet 3 Deeler -
Zum Beispill benotze mir Cloudera Manager 6.3.1 an CDH 6.3.2. Hei ass 6 Major an 3 ass déi kleng Versioun. Major a Minor mussen d'selwecht sinn fir Kompatibilitéitsprobleemer ze vermeiden.
- Best Practices fir den Hadoop Server op CentOS/RHEL 7 z'installéieren - Deel 1
- Hadoop Viraussetzunge a Sécherheetshärung opsetzen - Deel 2
- Wéi installéiert a konfiguréiert de Cloudera Manager op CentOS/RHEL 7 - Deel 3
Mir huelen déi ënnescht 2 Noden fir CDH z'installéieren. Mir hu scho Cloudera Manager am Master1 installéiert, och mir benotze Master1 als Repo Server.
master1.linux-console.net worker1.linux-console.net
Schrëtt 1: Luet CDH Parzellen op Master Server erof
1. Als éischt verbënnt mat Master1 Server a luet CDH Parcels Dateien am /var/www/html/clooudera-repos/cdh Verzeechnes erof. Mir mussen ënnen ernimmt 3 Dateien eroflueden déi mat RHEL/CentOS 7 kompatibel solle sinn.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Ier Dir dës Dateien eroflueden, gitt sécher datt Dir en cdh Verzeichnis ënner /var/www/html/clooudera-repos/ Location erstellt.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Als nächst luet déi uewe genannte 3 Dateien erof mat dem folgenden wget Kommando.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Schrëtt 2: Setup Cloudera Manager Repo Op Aarbechter Clienten
4. Elo verbënnt mat Aarbechter Serveren a kopéiert d'Repo-Datei (cloudera-manager.repo) vum Repo-Server (Master1) op all déi verbleiwen Aarbechter-Server. Dës Repo-Datei garantéiert de Server datt all déi erfuerderlech Päck an RPMs vum Repo-Server erofgeluede ginn beim Installéieren.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Wann d'Repo dobäigesat ass, lëscht déi aktivéiert Repositories fir sécher ze stellen datt de Cloudera-Manager Repo aktivéiert ass.
$ yum repolist
Schrëtt 3: Installéiert Cloudera Manager Daemons an Agent op Aarbechter Serveren
6. Elo musse mir Cloudera-Manager-Daemons an Cloudera-Manager-Agent an all de verbleiwen Serveren installéieren.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Als nächst musst Dir den Cloudera Manager Agent konfiguréieren fir de Cloudera Manager Server ze berichten.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Ersetzen de localhost mat Cloudera Manager Server IP Adress.
8. Start Cloudera Manager Agent an z'iwwerpréiwen de Status.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Schrëtt 4: CDH installéieren a installéieren
Mir hunn CDH Päck am Master1 - Repo Server. Vergewëssert Iech datt all Server Cloudera Manager Repo Datei an /etc/yum.repos.d/ hunn wann Dir automatesch Installatioun mat Cloudera Manager verfollegt.
9. Loggt Iech op Cloudera Manager mat der ënnen URL am Hafen 7180 a benotzt de Standard Benotzernumm a Passwuert vum Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Wann Dir Iech aloggen, wäert Dir mat der Wëllkomm Säit begréisst ginn. Hei fannt Dir Release Notizen, Nei Features vum Cloudera Manager.
11. Akzeptéieren der Lizenz a weidergespillt.
12. Wielt d'Editioun. D'Testversioun ass par défaut ausgewielt ginn, mir kënne mat deem virgoen.
13. Elo, befollegt de Cluster Installatioun Schrëtt. Fuert d'Wëllkomm Säit weider.
14. Benennt de Cluster a fuert weider, mir hunn als \tecmint benannt.Et ginn 2 Zorte vu Cluster déi Dir definéiere kënnt. Mir gi weider mam Regular Cluster.
- Reegelméissege Cluster: Bestoen aus Späicherknäppchen, Rechenknäppchen an aner noutwendeg Servicer.
- Compute Cluster: Bestoen nëmmen aus Rechenknäppchen. Extern Späichere kënne benotzt ginn fir Daten ze späicheren.
15. Mir hu schonn Cloudera Manager Agenten an all Server installéiert. Dir fannt dës Serveren an\Currently Managed Hosts\ Fir automatesch Installatioun, musst Dir d'FQDN oder IP vun de Serveren an der Optioun \New Hosts aginn a sichen. Cloudera Manager erkennt automatesch d'Hosten op deenen mir CDH installéiere mussen.
Hei, klickt op de Currently Managed Hosts, wielt all Hosten andeems Dir 'Hostname' auswielen a weidergespillt.
16. Wielt Repository - benotzt Parcel ass de recommandéierte Wee. Klickt op 'Méi Optiounen' fir de Repository ze konfiguréieren.
17. Gitt déi lokal Repository URL wéi hei ënnendrënner. Ewechzehuelen all déi verbleiwen ëffentlech Repositories déi Web weisen (Cloudera Repositories).
Dëst ass d'CDH lokal Repository URL déi mir am Master1 hunn.
http://104.211.95.96/cloudera-repos/cdh/
18. Wann d'Repository URL aginn ass, weist dës Säit nëmmen verfügbare Päck. Fuert dëse Schrëtt weider.
19. Elo ginn d'Päck erofgelueden, verdeelt, ausgepackt an aktivéiert op all verfügbare Server.
20. Wann d'CDH Parzellen aktivéiert sinn, kontrolléiert de Cluster. Dëse Schrëtt wäert eng Gesondheetskontroll vum Cluster maachen. Hei sprange mir a fuere weider.
Schrëtt 5: Cluster Configuratioun
21. Hei musse mir d'Servicer auswielen déi am Cluster installéiert ginn. E puer gepackte Kombinatioune wäerte Standard verfügbar sinn, mir gi mat Custom Services.
22. An Custom Services installéiere mir nëmmen Core Components (HDFS an YARN) fir dësen Demo Zweck.
23. Gitt d'Rollen un de Server. Mir kënnen no eisen Ufuerderunge personaliséieren. Fannt d'Grafik hei ënnen déi d'recommandéiert Rolleverdeelung fir e Basis klenge Cluster beschreift mat 5 bis 20 Noden mat Héich Disponibilitéit.
24. Wielt den Datebank Typ, Hostnumm, DB Numm, Benotzernumm a Passwuert. Wéi mir Embedded PostgreSQL benotzen, gëtt se als Standard gewielt. Test d'Verbindung, et sollt erfollegräich sinn.
25. Dës Säit weist d'Default Configuratioun Parameteren vun HDFS an Yarn, dorënner Daten Verzeechnes. Iwwerpréift all d'Konfiguratiounsdetailer an Dir kënnt Ännerungen maachen wann néideg. Da Fuert mat dësem weider.
26. Dës Säit weist d'Detailer vum 'First Run' Kommando. Dir kënnt et erweideren fir d'Detailer vu lafende Kommandoen ze gesinn. Wann et Netzwierk- oder Erlaabnisprobleemer am Stärekoup sinn, gëtt dëse Schrëtt versoen. Normalerweis entscheet dëse Schrëtt déi glat Installatioun vum Cluster Building.
27. Wann de uewe genannte Schrëtt ofgeschloss ass, klickt op 'Finish' fir d'Installatioun ofzeschléissen. Dëst ass den Dashboard vum Cloudera Manager nodeems Dir CDH installéiert hutt.
http://104.211.95.96:7180/cmf/home
Mir hunn de Cloudera Manager an CDH Installatioun erfollegräich ofgeschloss. Am Cloudera Manager Dashboard kënnt Dir e pre-definéierte Set vu Charts fannen, wou Dir Cluster CPU, Disk IO etc. Mir kënnen de ganze Cluster mat dësem Cloudera Manager verwalten. Mir wäerten all administrativ Operatiounen an den nächsten Artikelen gesinn.