Hive & Garn elektrifieras av gnista

I denna Apache Spark & ​​big data-blogg, låt oss se hur man bygger Spark för en specifik Hadoop-version. Vi kommer också att lära oss att bygga Spark för GARN och HIVE.

I den här bloggen, låt oss se hur man bygger Spark för en specifik Hadoop-version.

Vi kommer också att lära oss att bygga Spark med HIVE och YARN.



KM

sql server grunder för nybörjare

Med tanke på att du har Hadoop, jdk, mvn och förinstallerat och förkonfigurerat på ditt system.

configure-Building-Yarn-and-Hive-on-Spark

Öppet Mozilla-webbläsare och ladda ner Gnista med länken nedan.

https://edureka.wistia.com/medias/k14eamzaza/

Öppna terminalen.

Kommando: tar -xvf Nedladdningar / spark-1.1.1.tgz

Kommando: ls

Öppna katalogen spark-1.1.1.

Du kan öppna pom.xml fil. Den här filen ger dig information om alla beroenden du behöver.

Redigera inte den för att undvika problem.

Kommando: cd spark-1.1.1 /

Kommando: sudo gedit sbt / sbt-launch-lib.bash

Redigera filen enligt ögonblicksbilden nedan, spara den och stäng den.

Vi minskar minnet för att undvika problem med objekthögutrymme som nämns i ögonblicksbilden nedan.

Kör nu kommandot nedan i terminalen för att bygga gnista för Hadoop 2.2.0 med HIVE och YARN.

Kommando: ./sbt/sbt -P garn -P bikupa -Phadoop-2.2 -D hadoop.version = 2.2.0 -D hopptest hopsättning

Obs! Min Hadoop-version är 2.2.0, du kan ändra den enligt din Hadoop-version.

För andra Hadoop-versioner

# Apache Hadoop 2.0.5-alfa

-Dhadoop.version = 2.0.5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-Phadoop-0,23 -Dhadoop.version = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.version = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Det tar lite tid att kompilera och förpacka. Vänta tills det är klart.

Två burkar gnistmontering-1.1.1-hadoop2.2.0.jar och gnist-exempel-1.1.1-hadoop2.2.0.jar blir skapad.

Sökvägen till gnistmontering-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Sökvägen till gnist-exempel-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Grattis, du har framgångsrikt byggt Spark for Hive & Garn.

Har du en fråga till oss? Vänligen nämna dem i kommentarfältet så återkommer vi till dig.

Relaterade inlägg:

Apache Spark med Hadoop-Varför är det viktigt?