Grisprogrammering: Skapa ditt första Apache-grisskript
I vår , lär vi oss nu hur man skapar ett Apache Pig-skript. Apache Pig-skript används för att utföra en uppsättning Apache Pig-kommandon kollektivt. Detta hjälper till att minska den tid och ansträngning som investeras i att skriva och utföra varje kommando manuellt medan du gör detta i grisprogrammering.Det är också en integrerad del av .Den här bloggen är en steg-för-steg-guide som hjälper dig att skapa ditt första Apache Pig-skript.
Apache Pig-skriptkörningslägen
Lokalt läge : I ”lokalt läge” kan du köra grisskriptet i det lokala filsystemet. I det här fallet behöver du inte lagra data i Hadoop HDFS-filsystem, utan du kan arbeta med data lagrad i det lokala filsystemet.
MapReduce Mode : I 'MapReduce-läge' måste data lagras i HDFS-filsystem och du kan bearbeta data med hjälp av grisskript.
Apache Pig Script i MapReduce-läge
Låt oss säga att vår uppgift är att läsa data från en datafil och att visa det nödvändiga innehållet på terminalen som utdata.
är java baserat på c
Exempeldatafilen innehåller följande data:
Spara textfilen med namnet ”information.txt”
Exempeldatafilen innehåller fem kolumner Förnamn , Efternamn , Mobilnummer , Stad och Yrke åtskilda av flik . Vår uppgift är att läsa innehållet i den här filen från HDFS och visa alla kolumner i dessa poster.
För att bearbeta dessa data med Pig bör den här filen finnas i Apache Hadoop HDFS.
Kommando : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
Steg 1: Skriva ett grismanus
Skapa och öppna en Apache Pig-skriptfil i en redigerare (t.ex. gedit).
Kommando : sudo gedit /home/edureka/output.pig
Det här kommandot skapar en 'output.pig' -fil i edureka-användarens hemkatalog.
Låt oss skriva några PIG-kommandon i filen output.pig.
A = LOAD '/edureka/information.txt' med PigStorage ('') som (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Yrke: chararray) B = FOREACH A generera FName, MobileNo, Yrke DUMP BSpara och stäng filen.
- Det första kommandot laddar filen 'information.txt' i variabel A med indirekt schema (FName, LName, MobileNo, City, Profession).
- Det andra kommandot laddar data som krävs från variabel A till variabel B.
- Den tredje raden visar innehållet på variabel B på terminalen / konsolen.
Steg 2: Kör Apache Pig Script
För att köra griskriptet i HDFS-läge, kör följande kommando:
vad är formatet i python
Kommando : gris /home/edureka/output.pig
När körningen är klar, granska resultatet. Dessa bilder nedan visar resultaten och deras mellanliggande karta och reducerar funktioner.
Bilden nedan visar att skriptet kördes framgångsrikt.
Nedanstående bild visar resultatet av vårt manus.
Grattis till att du lyckades köra ditt första Apache Pig-skript!
Nu vet du hur man skapar och kör Apache Pig-skript. Därför vår nästa blogg in kommer att täcka hur man skapa UDF (användardefinierade funktioner) i Apache Pig och kör den i MapReduce / HDFS-läge.
Nu när du har skapat och kört Apache Pig Script, kolla in av Edureka, ett pålitligt online-lärande företag med ett nätverk av mer än 250 000 nöjda elever spridda över hela världen. Edureka-kursen Big Data Hadoop-certifiering hjälper eleverna att bli experter på HDFS, Garn, MapReduce, Pig, Hive, HBase, Oozie, Flume och Sqoop med realtidsanvändningsfall på Retail, Social Media, Aviation, Tourism, Finance.
hur man stänger ett Java-program
Har du en fråga till oss? Vänligen nämna det i kommentarfältet så återkommer vi till dig.