Apache Hive är en av de viktigaste ramarna i Hadoop-ekosystemet, vilket i sin tur gör det mycket viktigt för . I den här bloggen lär vi oss om Apache Hive och Hive-installation på Ubuntu.
Vad är Apache Hive?
Apache-bikupan är en infrastruktur för datalager som underlättar att fråga och hantera stora datamängder som finns i distribuerat lagringssystem. Den är byggd ovanpå Hadoop och utvecklad av Facebook. Bikupa ger ett sätt att fråga data med hjälp av ett SQL-liknande frågespråk som kallas HiveQL (Hive query Language).
Internt översätter en kompilator HiveQL uttalanden till MapReduce jobb som sedan skickas till Hadoop-ramverk för utförande.
Skillnad mellan Hive och SQL:
Bikupa ser väldigt lika ut som traditionell databas med SQL tillgång. Men för Bikupa är baserad på Hadoop och MapReduce operationer finns det flera viktiga skillnader:
Eftersom Hadoop är avsedd för långa sekventiella skanningar och Bikupa är baserad på Hadoop , du kan förvänta dig att frågor har en mycket hög latens. Det betyder att Bikupa skulle inte vara lämpligt för de applikationer som behöver mycket snabba svarstider, som du kan förvänta dig med en traditionell RDBMS-databas.
Till sist, Bikupa är läsbaserad och därför inte lämplig för transaktionsbehandling som vanligtvis involverar en hög andel av skrivoperationer.
sätt att skapa singleton-klass i java
Hive Installation på Ubuntu:
Följ stegen nedan för att installera Apache-bikupan på Ubuntu:
Steg 1: Ladda ner Hive tjära.
Kommando: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Steg 2: Extrahera tar fil.
Kommando: tar -xzf apache-hive-2.1.0-bin.tar.gz
Kommando: ls
Steg 3: Redigera “.Bashrc” fil för att uppdatera miljövariablerna för användaren.
Kommando: sudo gedit .bashrc
Lägg till följande i slutet av filen:
# Ställ in HIVE_HOME
exportera HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
exportera PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Se också till att hadoop-vägen också är inställd.
Kör nedanför kommandot för att få ändringarna att fungera i samma terminal.
Kommando: källa .bashrc
Steg 4: Kontrollera bikupversionen.
nullpekare undantag i java exempelprogram
Steg 5: Skapa Bikupa kataloger inom HDFS . Katalogen 'lager' är platsen för att lagra tabellen eller data relaterade till bikupan.
Kommando:
- hdfs dfs -mkdir -p / user / hive / warehouse
- hdfs dfs -mkdir / tmp
Steg 6: Ställ in läs- / skrivbehörigheter för tabellen.
Kommando:
I det här kommandot ger vi skrivbehörighet till gruppen:
- hdfs dfs -chmod g + w / user / hive / warehouse
- hdfs dfs -chmod g + w / tmp
Steg 7: Uppsättning Hadoop väg in h ive-env.sh
Kommando: cd apache-hive-2.1.0-bin /
Kommando: gedit conf / hive-env.sh
Ställ in parametrarna enligt bilden nedan.
Steg 8: Redigera hive-site.xml
Kommando: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC-anslutningssträng för en JDBC-metastore. För att använda SSL för att kryptera / autentisera anslutningen, ange databasspecifik SSL-flagga i anslutnings-URL: n. Till exempel jdbc: postgresql: // myhost / db? Ssl = true för postgres-databasen. hive.metastore.warehouse.dir / user / hive / warehouse plats för standarddatabas för lager hive.metastore.uris Thrift URI för fjärrmetastore. Används av metastore-klienten för att ansluta till fjärrmetastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Driverklassnamn för en JDBC-metastore javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory-klass som implementerar jdo-uthållighet
Steg 9: Som standard använder Hive Derby databas. Initiera Derby-databasen.
Kommando: bin / schematool -initSchema -dbType derby
Steg 10 :Lansera Bikupa.
hur man skapar en dynamisk matris i java
Kommando: bikupa
Steg 11 :Kör några frågor i Hive-skal.
Kommando: visa databaser
Kommando: skapa tabellanställd (id-sträng, namnsträng, avdelningssträng) radformat avgränsade fält avslutade med '' lagrad som textfil
Kommando: visa tabeller
Steg 12: Att lämna Bikupa:
Kommando: utgång
Nu när du är klar med Hive-installationen är nästa steg framåt att prova Hive-kommandon på Hive-skal. Därför vår nästa blogg “ Topp Hive-kommandon med exempel i HQL ”Hjälper dig att behärska Hive-kommandon.
Relaterade inlägg: