Beschte Praktiken fir Hadoop Server op CentOS/RHEL 7 z'installéieren - Deel 1

An dëser Serie vun Artikelen wäerte mir de ganze Cloudera Hadoop Cluster Building Gebai mat Verkeefer an Industrie recommandéiert Best Practices ofdecken.

OS Installatioun an OS Niveau maachen Viraussetzunge sinn déi éischt Schrëtt fir en Hadoop Cluster ze bauen. Hadoop kann op de verschiddene Aroma vu Linux Plattform lafen: CentOS, RedHat, Ubuntu, Debian, SUSE etc., An Echtzäitproduktioun sinn déi meescht Hadoop Cluster uewen op RHEL/CentOS gebaut, mir benotze CentOS 7 fir Demonstratioun an dëser Serie vun Tutorials.

An enger Organisatioun kann OS Installatioun mat Kickstart gemaach ginn. Wann et en 3 bis 4 Node Cluster ass, ass manuell Installatioun méiglech awer wa mir e grousse Cluster mat méi wéi 10 Wirbelen bauen, ass et langweileg OS een nom aneren z'installéieren. An dësem Szenario kënnt d'Kickstart Method an d'Bild, mir kënne mat der Massinstallatioun mat Kickstart virugoen.

Gutt Leeschtung vun engem Hadoop Ëmfeld z'erreechen ass ofhängeg vun der Dispositioun vun der korrekter Hardware & Software. Also, e Produktiouns-Hadoop-Cluster bauen involvéiert vill Iwwerleeung betreffend Hardware a Software.

An dësem Artikel gi mir duerch verschidde Benchmarks iwwer OS Installatioun an e puer beschten Praktiken fir Cloudera Hadoop Cluster Server op CentOS/RHEL 7 z'installéieren.

Wichteg Iwwerleeung a Best Practices fir den Hadoop Server z'installéieren

Déi folgend sinn déi bescht Praktiken fir d'Astellung vum Cloudera Hadoop Cluster Server op CentOS/RHEL 7 z'installéieren.

  • Hadoop Server erfuerdert keng Enterprise Standard Server fir e Cluster ze bauen, et erfuerdert Commodity Hardware.
  • Am Produktiounscluster sinn 8 bis 12 Dateschëffer recommandéiert. No der Natur vun der Aarbechtsbelaaschtung musse mir doriwwer entscheeden. Wann de Cluster fir Computerintensiv Uwendungen ass, 4 bis 6 Drive ze hunn ass bescht Praxis fir I/O Themen ze vermeiden.
  • Datedrive sollen individuell opgedeelt ginn, zum Beispill - ab /data01 bis /data10.
  • RAID Konfiguratioun ass net fir Aarbechternoden recommandéiert, well Hadoop selwer Feeler Toleranz op Daten ubitt andeems d'Blöcke standardiséiert an 3 replizéiert ginn. Also JBOD ass am beschten fir Aarbechtsknäppchen.
  • Fir Master Server ass RAID 1 déi bescht Praxis.
  • De Standard Dateiesystem op CentOS/RHEL 7.x ass XFS. Hadoop ënnerstëtzt XFS, ext3, an ext4. De recommandéierte Dateiesystem ass ext3 well et fir gutt Leeschtung getest gëtt.
  • All Server sollen déiselwecht OS Versioun hunn, op d'mannst déiselwecht kleng Verëffentlechung.
  • Et ass bescht Praxis homogen Hardware ze hunn (all Aarbechter Node sollen déi selwecht Hardware Charakteristiken hunn (RAM, Disk Space & Core etc).
  • No der Cluster Aarbechtslaascht (Balanced Workload, Compute Intensiv, I/O Intensiv) a Gréisst, wäert d'Ressource (RAM, CPU) Planung pro Server ënnerschiddlech sinn.

Fannt dat hei ënnen Beispill fir Disk Partitioning vun de Serveren vun 24TB Späicheren.

Installéiere vun CentOS 7 fir Hadoop Server Deployment

Saachen déi Dir wësse musst ier Dir CentOS 7 Server fir Hadoop Server installéiert.

  • Minimal Installatioun ass genuch fir Hadoop Serveren (Aarbechter Noden), an e puer Fäll kann GUI nëmme fir Master Server oder Management Server installéiert ginn, wou mir Browser fir Web UIs vu Management Tools benotze kënnen.
  • Netzwierker, Hostnumm an aner OS-relatéiert Astellunge kënnen no der OS Installatioun gemaach ginn.
  • An Echtzäit hunn Server Ubidder hir eege Konsole fir d'Serveren ze interagéieren an ze verwalten, zum Beispill - Dell Serveren hunn iDRAC wat en Apparat ass, mat Serveren agebonnen. Mat dëser iDRAC Interface kënne mir OS installéieren mat engem OS Bild an eisem lokalen System.

An dësem Artikel hu mir OS (CentOS 7) an VMware virtuell Maschinn installéiert. Hei wäerte mir net méi Disketten hunn fir Partitionen auszeféieren. CentOS ass ähnlech wéi RHEL (selwecht Funktionalitéit), also wäerte mir d'Schrëtt gesinn fir CentOS z'installéieren.

1. Fänkt un mam Download vum CentOS 7.x ISO-Image an Ärem lokalen Windows-System a wielt et beim Booten vun der virtueller Maschinn. Wielt 'Install CentOS 7' wéi gewisen.

2. Wielt d'Sprooch, Standard wäert Englesch sinn, a klickt weider.

3. Software Selektioun - Wielt 'Minimal Installatioun' a klickt 'Doe'.

4. Setzt de Root-Passwuert wéi et eis freet fir ze setzen.

5. Installatioun Destinatioun - Dëst ass de wichtege Schrëtt virsiichteg ze sinn. Mir mussen d'Disk auswielen wou d'OS installéiert muss ginn, eng speziell Disk soll fir OS ausgewielt ginn. Klickt op 'Installatiounsdestinatioun'a wielt den Disk, an Echtzäit wäerte verschidde Disken do sinn, mir musse wielen, am léifsten 'sda'.

6. Aner Späicheroptiounen - Wielt déi zweet Optioun (ech wäert d'Partitionéierung konfiguréieren) fir OS-relatéiert Partitionéierung ze konfiguréieren wéi /var, /var/log, /home, /tmp, /opt, /swap.

7. Eemol gemaach, fänkt d'Installatioun un.

8. Wann d'Installatioun fäerdeg ass, de Server nei starten.

9. Login op de Server a setzen den Hostnumm.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

An dësem Artikel hu mir OS Installatiounsschrëtt a bescht Praktiken fir Dateisystempartitionéierung duerchgefouert. Dëst sinn all allgemeng Richtlinnen, no der Natur vun der Aarbechtslaascht, musse mir eis op méi Nuancen konzentréieren fir déi bescht Leeschtung vum Cluster z'erreechen. Cluster Planung ass Konscht fir den Hadoop Administrateur. Mir wäerten déif Tauchen an OS Niveau Viraussetzunge a Sécherheet Hardening am nächsten Artikel hunn.