Hive Tutorial - Hive Architecture and NASA Case Study

Apache Hive Tutorial: Introduktion

Hive är ett strikt använt verktyg för Big Data Analytics och ett bra verktyg för att starta din med. I den här Hive-handledningsbloggen kommer vi att diskutera om Apache Hive på djupet. Apache Hive är ett datalagringsverktyg i , som tillhandahåller SQL-liknande språk för frågor och analys av Big Data. Motivationen bakom utvecklingen av Hive är den friktionsfria inlärningsvägen för SQL-utvecklare och analytiker. Hive är inte bara en frälsare för människor med icke-programmeringsbakgrund, men det minskar också arbetet för programmerare som tillbringar långa timmar med att skriva MapReduce-program. I den här Apache Hive Tutorial-bloggen kommer jag att prata om:

• Vad är Hive?
• Story of Apache Hive - Från Facebook till Apache
• Fördelar med Apache Hive
• Apache Hive - NASA Fallstudie
• Apache Hive Arkitektur
• Metastore-konfiguration
• Hive Data Model

Apache Hive-handledning: Vad är Hive?

Apache Hive är ett datalagersystem byggt ovanpå Hadoop och används för att analysera strukturerad och halvstrukturerad data.Hive abstrakterar komplexiteten hos Hadoop MapReduce. I grund och botten tillhandahåller den en mekanism för att projicera strukturen på data och utföra frågor skrivna i HQL (Hive Query Language) som liknar SQL-uttalanden. Internt konverteras dessa frågor eller HQL till kartor för att minska jobb av Hive-kompilatorn. Därför behöver du inte oroa dig för att skriva komplexa MapReduce-program för att bearbeta dina data med Hadoop. Det riktar sig till användare som är bekväma med SQL. Apache Hive stöder Data Definition Language (DDL), Data Manipulation Language (DML) och User Defined Functions (UDF).

Hive Tutorial för nybörjare | Förstå bikupan i djupet Edureka

SQL + Hadoop MapReduce = HiveQL

Apache Hive Tutorial: Story of Hive - från Facebook till Apache

Fikon : Hive Tutorial - Facebook use case

tjänsten nu biljettsystem utbildning

Utmaningar på Facebook: Exponentiell tillväxt av data

Före 2008 byggdes all databehandlingsinfrastruktur i Facebook kring ett datalager baserat på kommersiellt RDBMS. Dessa infrastrukturer var tillräckligt kapabla för att tillgodose Facebooks behov vid den tiden. Men eftersom data började växa mycket snabbt blev det en enorm utmaning att hantera och bearbeta denna enorma dataset. Enligt en Facebook-artikel har uppgifterna skalats från en 15 TB-uppsättning under 2007 till en 2 PB-data 2009. Dessutom involverar många Facebook-produkter analys av data som Audience Insights, Facebook Lexicon, Facebook Ads, etc. Så, de behövde en skalbar och ekonomisk lösning för att hantera just detta problem och började därför använda Hadoop-ramverket.

Demokratisering Hadoop - MapReduce

Men när data växte ökade komplexiteten i Map-Reduce-koder proportionellt. Så det blev svårt att träna människor med en icke-programmeringsbakgrund för att skriva MapReduce-program. För att utföra enkel analys måste man också skriva hundra rader MapReduce-kod. Sedan användes SQL i stor utsträckning av ingenjörer och analytiker, inklusive Facebook, därför att sätta SQL på toppen av Hadoop verkade vara ett logiskt sätt att göra Hadoop tillgängligt för användare med SQL-bakgrund.

Därför födde SQL förmåga för de flesta av de analytiska kraven och skalbarheten hos Hadoop Apache-bikupan som gör det möjligt att utföra SQL-liknande frågor på data som finns i HDFS. Senare öppnades Hive-projektet i augusti 2008 av Facebook och är fritt tillgängligt som Apache Hive idag.

Låt oss nu titta på funktionerna eller fördelarna med Hive som gör den så populär.

Apache Hive Tutorial: Fördelar med Hive

• Användbart för personer som inte har en programmeringsbakgrund eftersom det eliminerar behovet av att skriva komplexa MapReduce-program.
• Utdragbar och skalbar för att klara av den växande volymen och mångfalden av data utan att påverka systemets prestanda.
• Det är som ett effektivt ETL-verktyg (Extract, Transform, Load).
• Hive stöder alla klientapplikationer som är skrivna i Java, PHP, Python, C ++ eller Ruby genom att exponera dess Sparsamhet server . (Du kan använda dessa klientsidespråk inbäddade i SQL för åtkomst till en databas som DB2, etc.).
• Eftersom metadatainformationen för Hive lagras i en RDBMS, minskar den avsevärt tiden för att utföra semantiska kontroller under körning av frågan.

Apache Hive-handledning: Var ska jag använda Apache Hive?

Apache Hive utnyttjar båda världarna, dvs. SQL Database System och ramverk. Därför används den av ett stort antal företag. Det används mest för datalagring där du kan utföra analyser och datautvinning som inte kräver realtidsbehandling. Några av fälten där du kan använda Apache Hive är följande:

• Datalagring
• Ad hoc-analys

Som det sägs kan du inte bara klappa med en hand, dvs. du kan inte lösa alla problem med ett enda verktyg. Därför kan du koppla Hive med andra verktyg för att använda det på många andra domäner. Till exempel kan Tableau tillsammans med Apache Hive användas för datavisualisering, Apache Tez-integration med Hive ger dig realtidsbearbetningsfunktioner etc.
Gå vidare i den här Apache Hive Tutorial-bloggen, låt oss ta en titt på en fallstudie av NASA där du kommer att lära dig hur Hive löste problemet som NASA-forskare stod inför när de utförde utvärdering av klimatmodeller.

Hive Tutorial: NASA Fallstudie

En klimatmodell är en matematisk framställning av klimatsystem baserat på olika faktorer som påverkar jordens klimat. I grund och botten beskriver den interaktionen mellan olika klimatförare som hav, sol, atmosfär etc. tillge en inblick i klimatsystemets dynamik. Den används för att projicera klimatförhållandena genom att simulera klimatförändringarna baserat på faktorer som påverkar klimatet. NASAs Jet Propulsion Laboratory har utvecklat Regional Climate Model Evaluation System (RCMES) för analys och utvärdering av klimatproduktionsmodellen mot fjärranalysdata som finns i olika externa förvar.

RCMES (Regional Climate Model Evaluation System) har två komponenter:

• RCMED (Regional Climate Model Evaluation Database):

Det är en skalbar molndatabas som laddar fjärranalysdata och omanalysdata som är relaterade till klimat med hjälp av extraktorer som Apache OODT-extraktorer, Apache Tika, etc. Slutligen omvandlar den data som datapunktsmodell som har formen (latitud , longitud, tid, värde, höjd) och lagrar den i Min SQL-databas. Klienten kan hämta data som finns i RCMED genom att utföra Space / Time-frågor. Beskrivningen av sådana frågor är inte relevant för oss nu.

• RCMET (Regional Climate Model Evaluation Toolkit):

Det ger användaren möjlighet att jämföra referensdata som finns i RCMED med klimatmodellens utdata som hämtats från andra källor för att utföra olika typer av analyser och utvärderingar. Du kan hänvisa till bilden nedan för att förstå RCMES-arkitekturen.

Referensdata i RCMED kommer från satellitbaserad fjärranalys, enligt de olika parametrar som krävs för utvärdering av klimatmodell. Till exempel - AIRS (Atmospheric Infrared Sounder) ger parametrar som yttemperatur, temperatur och geopotential, TRMM (Tropical Rainfall Measurement Mission) ger månatlig nederbörd etc.

Problem som NASA möter med MySQL-databassystemet:

• Efter att ha laddat MySQL-databasen med 6 miljarder dubbletter av formuläret (latitud, longitud, tid, datapunktvärde, höjd) kraschade systemet enligt bilden ovan.
• Även efter att ha delat upp hela tabellen i mindre delmängder genererade systemet enorma omkostnader under bearbetningen av data.

Så de behövde en skalbar lösning som kan lagra och bearbeta denna enorma mängd data med SQL som frågefunktion. Slutligen bestämde de sig för att använda Apache Hive för att övervinna problemen som anges ovan.

Hur Apache Hive kan lösa problemet?

Låt oss nu se vilka funktioner som övertygade NASAs JPL-team att inkludera Apache Hive som en integrerad del i deras lösningsstrategi:

• Eftersom Apache Hive körs ovanpå Hadoop är det skalbart och kan bearbeta data på ett distribuerat och parallellt sätt.
• Det ger Hive Query Language som liknar SQL och därmed lätt att lära sig.

Drift av bikupan:

Följande bild förklarar RCMES Architect med Apache Hive-integration:

Fikon : Hive Tutorial - RCMES Architecture with Apache Hive

Ovanstående bild visar distributionen av apache-bikupan i RCMES. Följande steg togs av NASA-teamet när Apache Hive distribuerades:

• De installerade Hive med Cloudera och Apache Hadoop som visas i bilden ovan.
• De använde Apache Sqoop för att få in data i Hive från MySQL-databasen.
• Apache OODT-omslaget implementerades för att utföra frågor på Hive och hämta data tillbaka till RCMET.

Initiala benchmarking observationer med bikupa:

• Ursprungligen laddade de 2,5 miljarder datapunkter i en enda tabell och utförde en räkningsfråga. Till exempel, Hive> välj count (datapoint_id) från dataPoint. Det tog 5-6 minuter att räkna alla poster (15–17 minuter för hela 6,8 miljarder poster).
• Minskningsfasen var snabb men kartfasen tog 95% av den totala bearbetningstiden. De använde sex ( 4x fyrkärna ) system med 24 GB RAM (ungefär) i vart och ett av systemen.
• Även efter att ha lagt till fler maskiner, ändrat HDFS-blockstorlek (64 MB, 128 MB, 256 MB) och ändrat många andra konfigurationsvariabler (io.sortera.faktor, i.sortera.mb) fick de inte mycket framgång med att minska tiden för att slutföra räkningen.

Ingångar från medlemmar i Hive Community:

Slutligen kom medlemmar av Hive-samhället till undsättning och gav olika insikter för att lösa problemen med sina nuvarande Hive-implementeringar:

• De nämnde att HDFS läshastighet är ungefär 60 MB / s jämfört med 1 GB / s i händelse av en lokal skiva, beroende på nätverkskapacitet och arbetsbelastning på NameNode.
• Medlemmarna föreslog det 16 kartläggare kommer att krävas i sitt nuvarande system för att matcha I / O-prestanda för en lokal uppgift som inte är Hadoop.
• De föreslog också att minska delad storlek för varje kartläggare för att öka antaletavkartläggare och därför ger mer parallellitet.
• Slutligen ber samhällsmedlemmarna dem att göra det användantal (1) istället för att hänvisa till räkna ( datapoint_id) . Detta beror på att vid räkning (1) finns det ingen referenskolumn och därför sker ingen dekompression och deserialisering under räkningen.

Slutligen kunde NASA anpassa sitt Hive-kluster till deras förväntningar genom att ta hänsyn till alla förslag från Hive-community-medlemmarna. Och därför kunde de fråga miljarder rader på bara 15 sekunder med hjälp av systemkonfigurationerna som nämns ovan.

slå samman sortera c ++ - kod

Apache Hive Tutorial: Hive Architecture and its Components

Följande bild beskriver Hive-arkitekturen och det flöde som en fråga skickas in iBikupaoch slutligen bearbetas med MapReduce-ramverket:

Fikon : Hive Tutorial - Hive Architecture

Som visas i bilden ovan kan Hive Architecture kategoriseras i följande komponenter:

• Hive-klienter: Hive stöder applikationer skrivna på många språk som Java, C ++, Python etc. med JDBC-, Thrift- och ODBC-drivrutiner. Därför kan man alltid skriva hive-klientapplikationer skrivna på ett språk de väljer.
• Hive Services: Apache Hive tillhandahåller olika tjänster som CLI, webbgränssnitt etc. för att utföra frågor. Vi kommer att utforska var och en av dem snart i den här Hive-handboken.
• Bearbetningsram och resurshantering: Internt,Hive använder Hadoop MapReduce-ramverk som de facto-motor för att utföra frågorna. är ett separat ämne i sig och diskuteras därför inte här.
• Distribuerad lagring: Eftersom Hive är installerat ovanpå Hadoop använder den underliggande HDFS för distribuerad lagring. Du kan hänvisa till HDFS-blogg för att lära dig mer om det.

Låt oss nu utforska de två första huvudkomponenterna i Hive Architecture:

1. Hive-klienter:

Apache Hive stöder olika typer av klientapplikationer för att utföra frågor på Hive. Dessa klienter kan delas in i tre typer:

• Sparsamhetskunder: Eftersom Hive-servern är baserad på Apache Thrift kan den betjäna begäran från alla de programmeringsspråk som stöder Thrift.
• JDBC-klienter: Hive tillåter Java-applikationer att ansluta till den med hjälp av JDBC-drivrutinen som definieras i klassen org.apache.hadoop.hive.jdbc.HiveDriver.
• ODBC-klienter: Hive ODBC Driver tillåter applikationer som stöder ODBC-protokollet att ansluta till Hive. (Liksom JDBC-drivrutinen använder ODBC-drivrutinen Thrift för att kommunicera med Hive-servern.)

2. Hive-tjänster:

Hive erbjuder många tjänster som visas i bilden ovan. Låt oss ta en titt på var och en av dem:

• Hive CLI (Command Line Interface): Detta är standardskalet från Hive där du kan utföra dina Hive-frågor och kommandon direkt.
• Apache Hive webbgränssnitt: Förutom kommandoradsgränssnittet tillhandahåller Hive också ett webbaserat GUI för körning av Hive-frågor och kommandon.
• Hive Server: Hive-servern är byggd på Apache Thrift och kallas därför också Thrift Server som gör det möjligt för olika klienter att skicka in förfrågningar till Hive och hämta det slutliga resultatet.
• Apache Hive Driver: Det är ansvarigt för att ta emot frågor som skickas via CLI, webbgränssnittet, sparsamhet, ODBC eller JDBC-gränssnitt från en klient. Sedan skickar föraren frågan till kompilatorn där analysering, typkontroll och semantisk analys sker med hjälp av schemat som finns i metastore. I nästa steg genereras en optimerad logisk plan i form av en DAG (Directed Acyclic Graph) av kartreducerande uppgifter och HDFS-uppgifter. Slutligen utför exekveringsmotorn dessa uppgifter i ordning av deras beroenden med Hadoop.
• Metastore: Du kan tänka metastoresom ett centralt arkiv för lagring av all information från Hive-metadata. Hive-metadata innehåller olika typer av information som struktur för tabeller och partitionertillsammans med kolumnen, kolumntypen, serialiseraren och deserialiseraren som krävs för läs- / skrivoperation på data som finns i HDFS. Metastorebestår av två grundläggande enheter:
  • En tjänst som tillhandahåller metastoretillgång till andrarHive-tjänster.
  • Disklagring för metadata som är separat från HDFS-lagring.

Låt oss nu förstå de olika sätten att implementera Hive metastorei nästa avsnitt i denna Hive-handledning.

Apache Hive-handledning: Metastore-konfiguration

Metastore lagrar metadatainformationen med RDBMS och ett öppen källkod ORM (Object Relational Model) -lager som heter Data Nucleus som omvandlar objektrepresentationen till relationsschema och vice versa. Anledningen till att välja RDBMS istället för HDFS är att uppnå låg latens. Vi kan implementera metastore i följande tre konfigurationer:

1. Inbäddad metastore:

Både metastore-tjänsten och Hive-tjänsten körs i samma JVM som standard med en inbäddad Derby-databasinstans där metadata lagras på den lokala disken. Detta kallas inbäddad metastore-konfiguration. I det här fallet kan bara en användare ansluta till metastore-databasen åt gången. Om du startar en andra instans av Hive-drivrutin får du ett fel. Detta är bra för enhetstestning, men inte för de praktiska lösningarna.

2. Lokal metastore:

Denna konfiguration gör att vi kan ha flera Hive-sessioner, dvs. flera användare kan använda metastore-databasen samtidigt. Detta uppnås genom att använda vilken JDBC-kompatibel databas som MySQL som körs i en separat JVM eller en annan maskin än den för Hive-tjänsten och metastore-tjänsten som körs i samma JVM som visas ovan. I allmänhet är det mest populära valet att implementera en MySQL-server som metastore-databas.

3. Fjärrmetastore:

I fjärrmetastore-konfigurationen körs metastore-tjänsten på sin egen separata JVM och inte i Hive-tjänsten JVM. Andra processer kommunicerar med metastoreservern med hjälp av Thrift Network API: er. Du kan ha en eller flera metastoreservrar i det här fallet för att ge mer tillgänglighet.Den största fördelen med att använda fjärrmetastore är att du inte behöver dela JDBC-inloggningsuppgifter med varje Hive-användare för att komma åt metastore-databasen.

Apache Hive-handledning: datamodell

Data i Hive kan kategoriseras i tre typer på granulär nivå:

• Tabell
• Dela
• Hink

Tabeller:

Tabeller i Hive är desamma som tabellerna i en relationsdatabas. Du kan utföra filter, projekt, anslutning och facklig verksamhet på dem. Det finns två typer av bord i Hive:

1. Hanterad tabell:

Kommando:

SKAPA TABELL (column1 data_type, column2 data_type)

LOAD DATA INPATH INTO table managed_table

Som namnet antyder (hanterad tabell) är Hive ansvarig för att hantera data i en hanterad tabell. Med andra ord, vad jag menade med att säga 'Hive hanterar data', är att om du laddar data från en fil som finns i HDFS till en Hive Managed Table och utfärda ett DROP-kommando på det, kommer tabellen och dess metadata att raderas. Så, de uppgifter som tillhör den tappade managed_table finns inte längre någonstans i HDFS och du kan inte hämta det på något sätt. I grund och botten flyttar du data när du utfärdar LOAD-kommandot från HDFS-filplatsen till Hive-lagerkatalogen.

Notera: Standardvägen för lagerkatalogen är inställd på / user / hive / warehouse. Data i en Hive-tabell finns i warehouse_directory / tabellnamn (HDFS). Du kan också ange sökvägen till lagerkatalogen i konfigurationsparametern hive.metastore.warehouse.dir i hive-site.xml.

2. Extern tabell:

Kommando:

SKAPA EXTERN TABELL (kolumn1 datatyp, kolumn2 datatyp) PLATS ''

LADDA DATA INPATH '' IN TABLE

För externt bord , Hive ansvarar inte för hanteringen av data. I det här fallet, när du utfärdar LOAD-kommandot, flyttar Hive data till sin lagerkatalog. Sedan skapar Hive metadatainformationen för den externa tabellen. Nu, om du utfärdar ett DROP-kommando på externt bord , kommer endast metadatainformation om den externa tabellen att raderas. Därför kan du fortfarande hämta data från den mycket externa tabellen från lagerkatalogen med HDFS-kommandon.

Partitioner:

Kommando:

SKAPA TABELL table_name (column1 data_type, column2 data_type) PARTITIONED BY (partition1 data_type, partition2 data_type, & hellip.)

Hive organiserar tabeller i partitioner för att gruppera liknande typ av data tillsammans baserat på en kolumn eller partitionsnyckel. Varje tabell kan ha en eller flera partitionsnycklar för att identifiera en viss partition. Detta gör att vi kan få en snabbare fråga om dataskivor.

Notera: Kom ihåg att det vanligaste misstaget som gjordes när du skapade partitioner är att ange ett befintligt kolumnnamn som en partitionskolumn. När du gör det får du ett fel - ”Fel i semantisk analys: Kolumn upprepas i partitioneringskolumner”.

Låt oss förstå partition genom att ta ett exempel där jag har en tabell student_detaljer som innehåller studentinformation från någon ingenjörshögskola som student_id, namn, institution, år osv. Om jag nu utför partitionering baserat på institutionskolumn, information om alla studenter som tillhör en viss avdelning kommer att lagras tillsammans i just den partitionen. Fysiskt sett är en partition ingenting annat än en underkatalog i tabellkatalogen.

Låt oss säga att vi har data för tre avdelningar i vår student_details-tabell - CSE, ECE och Civil. Därför kommer vi att ha tre partitioner totalt för var och en av avdelningarna som visas i bilden nedan. Och för varje avdelning kommer vi att ha all information angående just den avdelningen som finns i en separat underkatalog under Hive-tabellkatalogen. Till exempel kommer all studentinformation om CSE-avdelningar att lagras i user / hive / warehouse / student_details / dept. = CSE. Så frågorna angående CSE-studenter behöver bara titta igenom data som finns i CSE-partitionen. Detta gör partitionering mycket användbar eftersom det minskar frågeställningen genom att bara skanna relevant partitionerad data istället för hela datamängden. Faktum är att i verkliga världsimplementeringar kommer du att hantera hundratals TB-data. Så tänk dig att skanna den enorma mängden data för en fråga där 95% data som skannats av dig var inte relevant för din fråga.

Jag föreslår att du går igenom bloggen vidare Hive-kommandon där du hittar olika sätt att implementera partitioner med ett exempel.

Skopor:

Kommandon:

SKAPA TABELL tabellnamn DELAD AV (partition1 data_type, partition2 data_type, & hellip.) CLUSTERED BY (column_name1, column_name2,…) SORTERAD BY (column_name [ASC | DESC],…)] INTO num_buckets BUCKETS

Nu kan du dela upp varje partition eller den opartitionerade tabellen i skopor baserat på hashfunktionen i en kolumn i tabellen. Egentligen är varje hink bara en fil i partitionskatalogen eller tabellkatalogen (opartitionerad tabell). Därför, om du har valt att dela upp partitionerna i n hinkar, kommer du att ha n filer i var och en av din partitionskatalog. Du kan till exempel se bilden ovan där vi har skopat varje partition i två hinkar. Så, varje partition, säger CSE, kommer att ha två filer där var och en av dem kommer att lagra CSE-studentens data.

hur man hittar det största numret i en array-Java

Hur Hive fördelar raderna i hinkar?

Tja, Hive bestämmer skopnummer för en rad med hjälp av formeln: hash_function (bucketing_column) modulo (num_of_buckets) . Här, hash_function beror på kolumnens datatyp. Om du till exempel lägger till tabellen på grundval av någon kolumn, låt oss säga user_id, av INT-datatyp, kommer hash_funktionen att vara - hash_function (user_id ) = helvärde för user_id . Och antar att du har skapat två skopor, då bestämmer Hive raderna som går till skopa 1 i varje partition genom att beräkna: (värde för user_id) modulo (2). I det här fallet finns därför rader som har user_id som slutar med en jämn hel siffra i samma hink som motsvarar varje partition. Hashfunktionen för andra datatyper är lite komplex att beräkna och faktiskt, för en sträng är det inte ens mänskligt igenkännligt.

Notera: Om du använder Apache Hive 0.x eller 1.x måste du utfärda kommando - ställ in hive.enforce.bucketing = true från din Hive-terminal innan du utför bucketing. Detta gör att du kan ha rätt antal reducerare medan du använder kluster för klausul för att lägga en kolumn. Om du inte har gjort det kan det hända att antalet filer som har genererats i din tabellkatalog inte är lika med antalet skopor. Som ett alternativ kan du också ställa in antalet reducerare lika med antalet skopor genom att använda set mapred.reduce.task = num_bucket.

Varför behöver vi skopor?

Det finns två huvudsakliga skäl för att utföra hinkning till en partition:

• TILL kartsidans sammanfogning kräver att data som tillhör en unik kopplingsnyckel finns i samma partition. Men hur är det med de fall där din partitionsnyckel skiljer sig från anslutningen? Därför kan du i dessa fall utföra en kartsidans sammanfogning genom att lägga i tabellen med hjälp av kopplingstangenten.
• Bucketing gör provtagningsprocessen mer effektiv och gör det därför möjligt för oss att minska frågetiden.

Jag skulle vilja avsluta den här Hive-handledningsbloggen här. Jag är ganska säker på att efter att ha gått igenom den här Hive-handboken, skulle du ha insett enkelheten i Apache Hive. Sedan har ni lärt er alla grundläggande faktorer i Hive, är det hög tid att ha lite praktisk erfarenhet av Apache Hive. Så kolla in nästa blogg i den här Hive Tutorial-bloggserien som är på Hive-installationen och börja arbeta med Apache Hive.

Nu när du har förstått Apache Hive och dess funktioner, kolla in av Edureka, ett pålitligt inlärningsföretag online med ett nätverk av mer än 250 000 nöjda elever spridda över hela världen. Edureka Big Data Hadoop-certifieringskursen hjälper eleverna att bli experter på HDFS, Garn, MapReduce, Pig, Hive, HBase, Oozie, Flume och Sqoop med realtidsanvändningsfall på Retail, Social Media, Aviation, Tourism, Finance.

Har du en fråga till oss? Vänligen nämna det i kommentarfältet så återkommer vi till dig.