Med ökad användning av Hadoop i traditionella IT-lösningar för företag och ökat antal Hadoop-implementeringar i produktionsmiljö blir behovet av Hadoop Operations- och administrationsexperter att ta hand om de stora Hadoop-klusterna.
Hadoop Admin Ansvar:
- Ansvarig för implementering och löpande administration av Hadoop-infrastrukturen.
- Anpassa med systemteknikgruppen för att föreslå och distribuera nya hårdvaru- och programvarumiljöer som krävs för Hadoop och för att utöka befintliga miljöer.
- Arbetar med team för dataöverföring för att ställa in nya Hadoop-användare. Det här jobbet inkluderar att ställa in Linux-användare, ställa in Kerberos-huvudmän och testa HDFS, Hive, Pig och MapReduce-åtkomst för de nya användarna.
- Klusterunderhåll samt skapande och borttagning av noder med verktyg som Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage och andra verktyg.
- Prestandajustering av Hadoop-kluster och Hadoop MapReduce-rutiner.
- Skärmprestanda för Hadoop-kluster och kapacitetsplanering
- Övervaka Hadoop-klusteranslutning och säkerhet
- Hantera och granska Hadoop-loggfiler.
- Filhantering och övervakning.
- HDFS-stöd och underhåll.
- Samarbetar flitigt med infrastruktur-, nätverks-, databas-, applikations- och business intelligence-team för att garantera hög datakvalitet och tillgänglighet.
- Samarbetar med applikationsteam för att installera operativsystem och Hadoop-uppdateringar, korrigeringar, versionuppgraderingar vid behov.
- Kontaktpunkt för leverantörsökning
Hadoop Administration är en givande och lukrativ karriär med många tillväxtmöjligheter. Om jobbansvaren som listas ovan intresserar dig, är det dags att gå vidare med Hadoop Administration och komma på Hadoop Admin-karriärvägen.
ssis tutorial för nybörjare 2012 med exempel
DBA-ansvar utförda av en Hadoop-administratör:
- Datamodellering, design och implementering baserat på erkända standarder.
- Programinstallation och konfiguration.
- Säkerhetskopiering och återställning av databasen.
- Databasanslutning och säkerhet.
- Prestandaövervakning och inställning.
- Hantering av diskutrymme.
- Programkorrigeringar och uppgraderingar.
- Automatisera manuella uppgifter.
DWH-utvecklingsansvar utförda av Hadoop-administratören:
DWH erkänner jobbansvar inkluderar utveckling, testning och övervakning av batchjobb för följande uppgifter:
- Säkerställ referensintegritet.
- Utför primär nyckelkörning.
- Uppnå datainställningar.
- Ladda stora datavolymer i tid.
Nu när du känner till jobbansvaret för en Hadoop-administratör, låt oss ta en titt på de färdigheter som krävs för att vara en.
Färdigheter som krävs för att bli Hadoop-administratör:
- Allmän operativ expertis såsom bra felsökningsförmåga, förståelse för systemets kapacitet, flaskhalsar, grunderna för minne, CPU, operativsystem, lagring och nätverk.
- Hadoop-skicklighet som HBase, Hive, Pig, Mahout, etc.
- De viktigaste kraven är: De bör kunna distribuera Hadoop-kluster, lägga till och ta bort noder, hålla reda på jobb, övervaka kritiska delar av klustret, konfigurera namn-nod hög tillgänglighet, schemalägga och konfigurera det och ta säkerhetskopior.
- God kunskap om Linux eftersom Hadoop körs på Linux.
- Bekant med öppen källkod konfigurationshantering och distributionsverktyg som Puppet eller Chef och Linux-skript.
- Kunskap om felsökning av Java-applikationer är ett plus.
Edureka har specialiserat en kurs om Hadoop Administration. Klicka på knappen nedan för att komma igång med Hadoop Administration och lära dig hur kursen hjälper dig att bli Hadoop-administratör.
Relaterade inlägg:
Karriärfördelar genom Hadoop-certifiering.
Hur viktigt är Hadoop-utbildning?
hur man skriver en strängmetod