Behärskade Hadoop? Dags att komma igång med Apache Spark



Det här blogginlägget förklarar varför du måste komma igång med Apache Spark efter Hadoop & varför att lära sig Spark efter att ha behärskat hadoop kan göra underverk för din karriär!

Hadoop är, som vi alla vet, affischpojken med stora data. Som ett programramverk som kan bearbeta elefantiska proportioner av data har Hadoop tagit sig till toppen av CIO: s buzzwords-lista.





Den oöverträffade ökningen av stacken i minnet har dock introducerat big data-ekosystemet till ett nytt alternativ för analys. MapReduce-sättet för analys ersätts av ett nytt tillvägagångssätt som tillåter analys både inom Hadoop-ramverket och utanför det. Apache Spark är det nya nya ansiktet för stor dataanalys.

Big data-entusiaster har certifierat Apache Spark som den hetaste databehandlingsmotorn för big data i världen. Det matar snabbt ut MapReduce och Java från sina positioner, och jobbtrender speglar denna förändring. Enligt en undersökning av TypeSafe utvärderar eller undersöker 71% av de globala Java-utvecklarna för närvarande runt Spark, och 35% av dem har redan börjat använda det. Gnistexperter är för närvarande efterfrågade och under de kommande veckorna förväntas antalet gnistrelaterade jobbmöjligheter bara gå igenom taket.



Så, vad är det med Apache Spark som får det att visas ovanpå varje CIO: s att göra-lista?

Här är några av de intressanta funktionerna i Apache Spark:

  • Hadoop-integration - Spark kan fungera med filer lagrade i HDFS.
  • Sparks interaktiva skal - Spark är skrivet i Scala och har sin egen version av Scala-tolk.
  • Sparks Analytic Suite - Spark levereras med verktyg för interaktiv frågeanalys, storskalig grafbehandling och analys och realtidsanalys.
  • Resilient Distributed Datasets (RDDs) - RDD är distribuerade objekt som kan cachas i minnet, över ett kluster av beräkningsnoder. De är de primära dataobjekten som används i Spark.
  • Distribuerade operatörer - Förutom MapReduce finns det många andra operatörer man kan använda på RDD.

Organisationer som NASA, Yahoo och Adobe har åtagit sig att Spark. Detta säger John Tripier, Alliances and Ecosystem Lead på Databricks, 'Adoptionen av Apache Spark av stora och små företag växer i en otrolig takt inom ett brett spektrum av branscher, och efterfrågan på utvecklare med certifierad expertis är snabbt följande färg ”. Det har aldrig varit en bättre tid att lära sig Spark om du har en bakgrund i Hadoop.



hur man använder ersätta i java

Edureka har speciellt samordnat en kurs om Apache Spark & ​​Scala, skapad av verkliga branschutövare. För en differentierad live e-lärande erfarenhet tillsammans med branschrelevanta projekt, kolla in vår kurs. Nya satser börjar snart, så kolla in kursen här: .

Har du en fråga till oss? Vänligen nämna det i kommentarfältet så återkommer vi till dig.

Relaterade inlägg:

Apache Spark mot Hadoop MapReduce