hur man genererar slumpmässig sträng i Java
Hadoop Job Tacker
Jobbspårare är huvuddemon för både jobbresurshantering och schemaläggning / övervakning av jobb. Det fungerar som ett samband mellan Hadoop och din ansökan.
Processen
Användaren kopierar först filer till Distribuerat filsystem (DFS) innan han skickar ett jobb till klienten. Klienten tar sedan emot dessa inmatningsfiler. Användaren får delningarna eller blocken baserat på inmatningsfilerna.Klienten kundeskapa splittringar eller block i en manner det prefeftersom det finns vissa överväganden bakom det. Om en analys görs på de fullständiga uppgifterna kommer du att dela upp informationen i delningar. Filer kopieras inte via klienten, men kopieras med flume eller Sqoop eller någon extern klient.
När filerna har kopierats till DFS och klienten interagerar med DFS,delningarna kör en MapReduce job. Jobbet skickas via en jobbspårare. Jobbspåraren är masterdemonen som körs på samma nod somkördessa flera jobb på datanoder. Dessa uppgifter kommer att ligga på olika datanoder, men det är jobbspårarens ansvar att ta hand om det.
Efter att en klient har skickat vidarejobbspåraren initieras jobbet i jobbkön och jobbspåraren skapar kartor och minskar. Baserat på programmet som finns i kartfunktionen och reducerar funktionen, kommer den att skapa kartuppgiften och minska uppgiften. Dessa två körs på ingångsdelningarna. Obs! När den skapats av klienterna innehåller denna ingångsdelning hela data.
Varje ingångssplit har ett kartjobb som körs och utmatningen från kartuppgiften går till reduceringsuppgiften. Jobbspårare kör spåret på en viss data. Det kan finnas flera replikeringar av det så att det plockar lokal data och kör uppgiften på den specifika aktivitetsspåraren. Aktivitetsspåraren är den som faktiskt kör uppgiften på datanoden. Jobbspårare kommer att passerainformationtill aktivitetsspåraren och aktivitetsspåraren kör jobbet på datanoden.
När jobbet har tilldelats uppgiftsspåraren är det en hjärtslag associerad med varje uppgiftsspårare och jobbsökare. Det skickar signaler för att ta reda på om datanoderna fortfarande lever. De två är ofta synkroniserade eftersom det finns en möjlighet för noderna att blekna ut.
Har du en fråga till oss? Nämn dem i kommentarfältet så återkommer vi till dig.
Relaterade inlägg: