Wéi héich Disponibilitéit fir Namenode opzestellen - Deel 5
Hadoop huet zwee Kärkomponenten déi HDFS a YARN sinn. HDFS ass fir d'Daten ze späicheren, YARN ass fir d'Daten ze veraarbecht. HDFS ass Hadoop Distributed File System, et huet Namenode als Master Service an Datanode als Sklave Service.
Namenode ass de kritesche Bestanddeel vun Hadoop deen d'Metadaten vun Daten gespäichert an HDFS späichert. Wann den Namenode erof geet, wäert de ganze Stärekoup net zougänglech sinn, et ass den eenzege Punkt vum Echec (SPOF). Also, d'Produktiounsëmfeld wäert Namenode High Disponibilitéit hunn fir de Produktiounsausfall ze vermeiden wann een Namenode erof geet wéinst verschiddene Grënn wéi Maschinn Crash, geplangten Ënnerhaltaktivitéit, etc.
Hadoop 2.x bitt d'Machbarkeet, wou mir zwee Namenode kënnen hunn, een wäert Active Namenode sinn an eng aner wäert Standby Namenode sinn.
- Aktiv Namenode - Et geréiert all Client Operatiounen.
- Standby Namenode - Et ass redundant vun Active Namenode. Wann Active NN erof geet, dann iwwerhëlt de Standby NN all d'Verantwortung vum Active NN.
Namenode High Disponibilitéit aktivéieren erfuerdert Zookeeper wat obligatoresch ass fir automatesch Failover. ZKFC (Zookeeper Failover Controller) ass en Zookeeper Client dee benotzt gëtt fir den Zoustand vun Namenode z'erhalen.
- Best Practices fir den Hadoop Server op CentOS/RHEL 7 z'installéieren - Deel 1
- Hadoop Viraussetzunge a Sécherheetshärung opsetzen - Deel 2
- Wéi installéiert a konfiguréiert de Cloudera Manager op CentOS/RHEL 7 - Deel 3
- Wéi CDH installéiere an Serviceplacementer op CentOS/RHEL 7 konfiguréieren - Deel 4
An dësem Artikel wäerte mir Namenode High Availability am Cloudera Manager aktivéieren.
Schrëtt 1: Installatioun vun Zookeeper
1. Log an Cloudera Manager.
http://Your-IP:7180/cmf/home
2. An der Cluster (tecmint) Action Prompt, wielt \Add Service\.
3. Wielt de Service \Zookeeper.
4. Wielt d'Serveren wou mir Zookeeper installéiert ginn.
5. Mir wäerten 3 Zookeepers hunn fir Zookeeper Quorum ze bilden. Wielt d'Server wéi hei ënnendrënner.
6. Konfiguréieren d'Zookeeper Eegeschaften, hei hu mir d'Default. An Echtzäit musst Dir separat Verzeechnes/Mount Punkten hunn fir Zookeeper Daten ze späicheren. Am Part-1 hu mir iwwer d'Späicherkonfiguratioun fir all Service erkläert. Klickt op 'weider' fir weiderzemaachen.
7. Installatioun fänkt, eemol installéiert Zookeeper gëtt ugefaangen. Dir kënnt d'Hannergrond Operatiounen hei kucken.
8. Nom erfollegräichen Ofschloss vum uewe genannte Schrëtt gëtt de Status 'Fäerdeg'.
9. Elo ass Zookeeper erfollegräich installéiert a konfiguréiert. Klickt op 'Finish'.
10. Dir kënnt de Zookeeper Service op der Cloudera Manager Dashboard kucken.
Schrëtt 2: Erlaabt Namenode High Disponibilitéit
11. Gitt op Cloudera Manager -> HDFS -> Aktiounen -> Héich Disponibilitéit aktivéieren.
12. Gitt den Nameservice Numm als nameservice1 - Dëst ass e gemeinsame Nummraum fir béid Aktiv a Standby Namenode.
13. Wielt déi zweet Namenode wou mir Standby Namenode hunn.
14. Hei wielt mir master2.linux-console.net fir Standby Namenode.
15. Wielt d'Journalknäppchen, dës sinn obligatoresch Servicer fir d'Synchroniséierung vun Active a Standby Namenode.
16. Mir maachen Quorum Journal andeems Dir de Journal Node an 3 Server plazéiert wéi hei ënnendrënner. Wielt 3 Serveren a klickt op 'OK'.
17. Klickt op 'Continue' fir weiderzemaachen.
18. Gitt de Journal Node Verzeechnes Wee. Mir brauche just de Wee ze ernimmen wärend dësen Verzeichnis installéiert gëtt automatesch vum Service selwer erstallt. Mir ernimmen als '/jn'. Klickt op 'Continue' fir weiderzemaachen.
19. Et fänkt d'High Disponibilitéit z'aktivéieren.
20. Eemol all d'Hannergrond Prozesser ofgeschloss, wäerte mir 'Fäerdeg' Status kréien.
21. Schlussendlech kréie mir eng Notifikatioun 'Erfollegt aktivéiert High Availability'. Klickt op 'Finish'.
22. Verifizéiert den Aktiven a Standby Namenode andeems Dir op Cloudera Manager gitt -> HDFS -> Instanzen.
23. Hei kënnt Dir zwee Namenodes wee, een wäert am 'Aktiv' Staat sinn an eng aner am 'Standby' Staat.
An dësem Artikel hu mir de Schrëtt fir Schrëtt Prozess duerchgaang fir Namenode High Availability z'aktivéieren. Et ass héich recommandéiert Namenode High Disponibilitéit an all de Cluster an engem Echtzäitëmfeld ze hunn. Gitt w.e.g. Är Zweifel wann Dir e Feeler konfrontéiert wann Dir dëse Prozess maacht. Mir wäerten Ressource Manager High Disponibilitéit am nächsten Artikel gesinn.