Vi har lärt oss hur Bygg Hive och Garn på Spark . Låt oss nu testa Hive and Garn-exempel på Spark.
Hive Exempel på Spark
Vi kommer att köra ett exempel på Hive on Spark. Vi skapar en tabell, laddar data i den tabellen och utför en enkel fråga. När man arbetar med Hive måste man konstruera en HiveContext som ärver från SQLContext .
Kommando: cd spark-1.1.1
Kommando: ./bin/spark-shell
Skapa en inmatningsfil 'prov' i din hemkatalog som nedan ögonblicksbild (flikavgränsad).
Kommando: val sqlContext = ny org.apache.spark.sql.hive.HiveContext (sc)
Kommando: sqlContext.sql (“SKAPA TABELL OM INTE EXISTERAR test (namn STRING, rang INT) RADFORMAT AVGRÄNSAD FÄLT AVSLUTAD AV“ ”LINJER AVSLUTAD AV“
‘”)
Kommando: sqlContext.sql (“LOAD DATA LOCAL INPATH‘ / home / edureka / sample ’INTO TABLE test”)
Kommando: sqlContext.sql (“VÄLJ * FRÅN test WHERE rank<5”).collect().foreach(println)
Garnexempel på gnista
Vi kommer att köra SparkPi-exemplet på Garn. Vi kan distribuera Garn på Spark i två lägen: klusterläge och klientläge. I garnklusterläge körs Spark-drivrutinen in i en applikationsmästarprocess som hanteras av garn i klustret, och klienten kan gå bort efter att programmet har initierats. I garnklientläge körs drivrutinen i klientprocessen och applikationsmastern används endast för att begära resurser från garn.
Kommando: cd spark-1.1.1
Kommando: SPARK_JAR =. / Montering / mål / scala-2.10 / gnistmontering-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –mastergarn –deploy-mode-kluster –klass org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g – executor-cores 1 exempel / target / scala-2.10 / gnist-exempel-1.1.1-hadoop2.2.0.jar
När du har utfört ovanstående kommando, vänta en stund tills du får det LYCKADES meddelande.
Bläddra localhost: 8088 / kluster och klicka på Spark-applikationen.
Klicka på loggar .
Klicka på stdout för att kontrollera utdata.
För att distribuera Garn on Spark i klientläge, gör bara –Deploy-mode som 'klient'. Nu vet du hur man bygger Hive and Garn on Spark. Vi gjorde också praktik på dem.
Har du en fråga till oss? Vänligen nämna dem i kommentarfältet så återkommer vi till dig.
relaterade inlägg
vända ett nummer i Java
Apache Spark med Hadoop-Varför är det viktigt?
Kupor och garn blir elektrifierade av gnista