Om du redan är från IT-branschen måste du vara medveten om det Big Data är dagens samtal. Var det, nya startups som kommer med innovativa affärsmodeller, eller dina kollegor går vidare till dessa startups, av någon anledning, dagens grönare betesmarker verkar vara Big Data industri.
Om du undrar varför, rekommenderar jag att du läser detta till slutet för det här kan vara en självutforskande blogg som leder dig till det du är avsedd för.
Så varför allt dettaHYPEomgivande STORA DATA?
förklara en rad objekt i java
Är det bara en annan domän som kommer att landa flyktingar från alla andra domäner tillfälligt? Eller kommer det att vara här under lång tid?
Om jag skulle gissa, skulle jag säga att det inte bara kommer att vara här på lång sikt, utan Big Data-industrin kommer att vara i centrum för teknisk utveckling.
Eftersom allt handlar omDATA!
Precis som solenstigerfrånÖstochuppsättningariVästerkommer kontinuerlig användning av datorer / icke-datorer att resultera i ett utbrott av ohanterliga data.
När dessa data överskrider tröskeln för att hanteras av Excel eller något annat databashanteringssystem kallar vi det STORA DATA .
Tänk, vilken var den senaste produkten du köpte från Amazon? Vilken kan vara nästa produkt du kan köpa baserat på tidigare aktiviteter? Svar på sådana frågor lagras i Big Data.
Finns det en växande trend bakom en produkt? Eller är det en minskande trend? Kommer en kund att köpa 'strumpor' när han köper 'skor'? Det här är frågor som löser affärsproblem.
Och dessa frågor kan vara lätta svarade genom att använda Big Data Analytics .
När allt kommer omkring, vad är användningen av data när du inte är det? analyserar den?
Så är Big Datahelt omAnalytics?Inte helt, men Analytics är det ultimata priset.
Andra stora strömmar i Big Data ärLagringochFörvaltning.
Det är här du som professionell kan bidra. Du kan ta rollen som antingen:
- Big Data Engineer
- Big Data Solution Architect
Och se till att de stora data som genereras alltid är tillgängliga och att de kan användas för analys vid en senare tidpunkt. Så detta tar oss till frågan & hellip
Var lagras Big Data?
Kan den lagras i enExcel fil? Kan den lagras i enrelationsdatabassystem?
Helvete, NEJ!
Om det kunde ha varit, så skulle det ha varit!
Och kallas något annat tillsammans. Kanske något liknandeExcel-dataellerRDBMS-data: D
Och det skulle ta oss tillbaka till STEG 1 : - Varför kan inte Big Data hanteras med Excel? Därför attBig Data är alldeles för varmt för Excel att hantera. Och även andra databashanteringssystem för en sak.
Så, vad är alternativet?
namnområde i c ++
För hantering av Big Data har vi HADOOP . Du kanske är medveten om detta ord också. Men du kanske undrar, hur exakt fungerar det?
Till att börja med är HADOOP en produkt avAPACHE Foundation. Apache är en amerikansk ideell organisation som stöder utvecklingen av öppen källkodsprogramvara.
Hadoop definieras som ett Java-baserat programmeringsramverk med öppen källkod som stöder bearbetning och lagring av extremt stora datamängder i en distribuerad datormiljö.
Vad kan Hadoop göra, men Excel inte?
Behandla och förstå ostrukturerad data!Strukturerad data som är i tabellformat eller på annat sätt kan enkelt hanteras. Excel kan göra det, och så kan alla andra RDBMS.
Men när läsbarheten minskar och data är ostrukturerad, är det där Big Dataverktyg som HadoopGöra. Ett exempel på ostrukturerad data är syslog . En exempelbild finns nedan.
Sådana loggar är definitivt inte frågabara med Excel.
Hadoop kan, precis som Big Data-verktyg, förstå data som de är, genom att hitta mönster och bilda relationer mellan olika fält. Och när data har en relationell touch, är detAnalytics-redo.
Analytics är det som kommer att få ett företag att påverka en organisation! Din karriär kommer till stor del att gynnas av dess engagemang i denna Big Data-domän.
' Kan jag göra det som en Hadoop-er? '
... kan vara nästa fråga i ditt sinne. Och med rätta tänkt, Big Data är en marknad som är lika het som någonsin och lika viktig som någonsin.
Utan Hadoop kommer företag att ha svårt att hantera Big Data. Och utan skickliga proffs som du kommer företag att ha svårt att hantera Hadoop.
Det finns en rapport som säger att det finns ett talangunderskott på den här domänen. Talangunderskott betyder mindre proffs men hög efterfrågan. Och detta är i global skala och inte begränsat till en viss geografi.
Vill du ha siffror?
TILL McKinsey Global Institute studie säger att USA kommer att möta en brist på cirka 190 000 datavetare och 1,5 miljoner chefer och analytiker som kan förstå och fatta beslut med Big Data senast 2018.
Karriärråd till dig? Surf när tidvattnet är lågt!
Men är du begränsad till bara Hadoop ?
Inte riktigt. Det finns ett antal verktyg för bearbetning av Big Data, och Hadoop anses vara en av de bästa. Men inte varje gång!
Det finns tillfällen då Hadoop inte passar bäst. Till exempel om du är en icke-teknisk person som inte är särskilt bra på att skriva MapReduce-program.
I sådana fall kan du användaTALEND, vilket ger dig ett grafiskt användargränssnitt för att göra vad du annars skulle ha gjort med MapReduce.
slutligen slutligen och slutför i Java
För att skriva enklare Java-koder kan du användaGRIS.
Om du vill köra SQL-liknande frågor på Big Data, dåBIKUPAkan användas.
Om du vill använda data som lagras i en NoSQL-databas, dåHBasekan användas.
För att utföra analyser i realtid kan du användaGNISTA.
Dessa är Big Data-verktyg som går hand i hand med Hadoop, men de ersätter inte Hadoop alls. De är Hadoop-tillägg för Big Data.
Dessutom finns det ett par fler verktyg som SQOOP, FLUME, OOZIE, etc. som kan integreras med Hadoop-ramverket för att lösa olika affärsproblem.
Vad förväntar sig branschen av dig som Big Data-expert?
Branschen är i stort behov av STORA DATA ARKITEKTER som kan bygga en end-to-end big data-lösning för sina organisationer. Big Data Architects är de som har expertis inom alla tidigare nämnda verktyg.
Här är ett vittnesbörd av en Edureka-lärare kurs:
Bli en med utgångspunkt från Edurekas certifieringsträning för Big Data And Hadoop som hjälper elever att bli experter på HDFS, Garn, MapReduce, Pig, Hive, HBase, Oozie, Flume och Sqoop med realtidsanvändningsfall på Retail, Social Media, Aviation, Tourism, Finance domain .