En av de mest attraktiva funktionerna i Hadoop framework är dess användning av råvaruhårdvara . Detta leder dock till frekventa DataNode-kraschar i ett Hadoop-kluster. Ett annat slående inslag i Hadoop Framework är enkel skalning i enlighet med den snabba tillväxten i datavolym . På grund av dessa två skäl är en av de vanligaste uppgifterna för en Hadoop-administratör att provision (Lägg till) och avveckling (Ta bort) datanoder i ett Hadoop-kluster.
hur man gör en varning i html
Idrifttagning och avveckling av noder i ett Hadoop-kluster:
Ovanstående diagram visar en steg för steg-process för att ta bort en DataNode i klustret.
Den första uppgiften är att uppdatera utesluta ”Filer för båda HDFS (hdfs-site.xml) och MapReduce (mapred-site.xml).
'Exkludera' -filen:
- för jobtracker innehåller listan över värdar som ska uteslutas av jobbsökaren. Om värdet är tomt exkluderas inga värdar.
- för Namenode innehåller en lista över värdar som inte får ansluta till Namenode.
Här är exempelkonfigurationen för exkluderingsfilen i hdfs-site.xml och mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ hem / hadoop / exkluderar
Sann
mapred-site.xml
mapred.hosts.exclude
/ hem / hadoop / exkluderar
Sann
Notera: Det fullständiga sökvägen till filerna måste anges.
På samma sätt har vi 'inkludera' -filerna:
- för jobtracker som innehåller listan över noder som kan ansluta till JobTracker. Om värdet är tomt är alla värdar tillåtna.
- för Namenode som innehåller en lista över värdar som får ansluta till Namenode. Om värdet är tomt är alla värdar tillåtna.
” dfsadmin 'Och' mradmin Kommandon uppdaterar konfigurationen med ändringarna för att göra dem medvetna om den nya noden.
” slavar Fil på huvudservern innehåller listan över alla datanoder. Detta måste också uppdateras för att säkerställa eventuella problem i framtiden hadoop-daemon start / stopp.
Det viktiga steget i datanodprovisionsprocessen är att köra Cluster Balancer.
> hadoop-balanserare-tröskel 40
Balans försöker tillhandahålla en balans till ett visst tröskelvärde bland datanoder genom att kopiera blockdata från äldre noder till nyligen beställda noder.
Så det här är hur du kan göra - Idrifttagning och Avveckling Noder i ett Hadoop-kluster.
Har du en fråga till oss? Vänligen nämna det i kommentarfältet så återkommer vi till dig.
Relaterade länkar: