I den här bloggen, låt oss se hur man bygger Spark för en specifik Hadoop-version.
Vi kommer också att lära oss att bygga Spark med HIVE och YARN.
sql server grunder för nybörjare
Med tanke på att du har Hadoop, jdk, mvn och gå förinstallerat och förkonfigurerat på ditt system.
Öppet Mozilla-webbläsare och ladda ner Gnista med länken nedan.
https://edureka.wistia.com/medias/k14eamzaza/
Öppna terminalen.
Kommando: tar -xvf Nedladdningar / spark-1.1.1.tgz
Kommando: ls
Öppna katalogen spark-1.1.1.
Du kan öppna pom.xml fil. Den här filen ger dig information om alla beroenden du behöver.
Redigera inte den för att undvika problem.
Kommando: cd spark-1.1.1 /
Kommando: sudo gedit sbt / sbt-launch-lib.bash
Redigera filen enligt ögonblicksbilden nedan, spara den och stäng den.
Vi minskar minnet för att undvika problem med objekthögutrymme som nämns i ögonblicksbilden nedan.
Kör nu kommandot nedan i terminalen för att bygga gnista för Hadoop 2.2.0 med HIVE och YARN.
Kommando: ./sbt/sbt -P garn -P bikupa -Phadoop-2.2 -D hadoop.version = 2.2.0 -D hopptest hopsättning
Obs! Min Hadoop-version är 2.2.0, du kan ändra den enligt din Hadoop-version.
För andra Hadoop-versioner
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.version = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Det tar lite tid att kompilera och förpacka. Vänta tills det är klart.
Två burkar gnistmontering-1.1.1-hadoop2.2.0.jar och gnist-exempel-1.1.1-hadoop2.2.0.jar blir skapad.
Sökvägen till gnistmontering-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Sökvägen till gnist-exempel-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Grattis, du har framgångsrikt byggt Spark for Hive & Garn.
Har du en fråga till oss? Vänligen nämna dem i kommentarfältet så återkommer vi till dig.
Relaterade inlägg:
Apache Spark med Hadoop-Varför är det viktigt?