är ett stort problem när det gäller hantering av konfidentiella uppgifter. att vara överlägsen i datahanteringsoperationer står också inför samma problem. Det har inte sin egen dedikerade säkerhet. Låt oss förstå hur problemet löstes genom detta Hadoop Security artikel.
Varför behöver vi Hadoop Security?
är det mest kraftfulla, robusta och mycket skalbara ramverket för databehandling som är tillräckligt kapabelt för att knäcka petabytes med data lätt. På grund av sin oöverträffade kapacitet började då alla affärssektorer, hälso-, militär- och finansavdelningar använda Hadoop.
Hadoop började vinna popularitet. Det är då Hadoop-utvecklarna hittade en monumental felberäkning. Hadoop saknade en dedikerad säkerhetsprogramvara innuti. Detta påverkade många områden där Hadoop användes.
Flera affärssektorer
Nationell säkerhet
Hälso- och sjukvårdsavdelningar
Sociala media
Militär
Ovan nämnda områden är de största användarna av Hadoop. Nu, säkerhet är det stora språnget som Hadoop behöver ta.
Vad är Hadoop Security?
Hadoop Security definieras i allmänhet som ett förfarande för säkra Hadoop-datalagringsenheten genom att erbjuda en praktiskt taget ogenomtränglig säkerhetsmur mot eventuella cyberhot. Hadoop uppnår denna högkaliberade säkerhetsmur genom att följa nedan säkerhetsprotokoll.
Autentisering
Autentisering är det första steget där användarens autentiseringsuppgifter verifieras. Inloggningsuppgifterna inkluderar vanligtvis användarens dedikerade Användarnamn och a hemligt lösenord. Gick in ireferenser kommer att kontrolleras mot tillgängliga uppgifter i säkerhetsdatabasen. Om det är giltigt kommer användaren att vara det autentiserad.
Tillstånd
Tillstånd är det andra steget där systemet får bestämma om användaren ska ge tillstånd, få åtkomst till data eller inte. Den är baserad på den förutbestämda åtkomstkontrollistan. Det konfidentiellainformation hålls säker och endast behörig personal kan komma åt den.
Granskning
Granskning är det sista steget, det håller helt enkelt reda på de operationer som utförs av den autentiserade användaren under den period då han var inloggad i klustret. Detta ärenbart gjort för säkerhet endast syften.
Typer av Hadoop-säkerhet
- Kerberos säkerhet
Kerberos är ett av de ledande nätverksautentiseringsprotokoll som är utformat för att tillhandahålla kraftfulla autentiseringstjänster till båda Server och Klientändar genom Hemlig nyckel kryptografitekniker. Det har visat sig vara mycket säkert eftersom det använder krypterade servicebiljetter under hela sessionen.
- HDFS-kryptering
HDFS-kryptering är en formidabel framsteg som Hadoop någonsin omfamnade. Här är data från källa till destination (HDFS) blir helt krypterad. Denna procedur kräver inga ändringar i den ursprungliga Hadoop-applikationen, vilket gör klient vara den enda auktoriserade personalen som tillgång uppgifterna.
Trafikkryptering
Trafikkryptering är ingen annan än HTTPS (HyperText Transfer Protocol Secure). Denna procedur används för att säkra dataöverföringen, från webbplatsen såväl som dataöverföring till webbplatsen . Mycket nätbanksportar använder den här metoden för att säkra transaktioner via en Säkerhetsintyg
HDFS fil- och katalogbehörigheter
HDFS-filkatalogbehörigheter arbeta på ett enkelt sätt POSIX formatera. De Läsa och Skriva behörigheter ges som r och s respektive. Behörigheterna till Superanvändare och Klient ställs in olika baserat på filens konfidentialitet.
Kerberos
Kerberos är ett av de enklaste och säkraste nätverken autentiseringsprotokoll används av Hadoop för sin data- och nätverkssäkerhet. Det uppfanns av MED. Huvudsyftet med Kerberos är att eliminera behovet av att utbyta lösenord över ett nätverk och också att skydda nätverket från alla potentiella cybersniffning.
För att förstå Kerberos terminologi måste vi först lära oss om komponenterna som är involverade i Kerberos-programvaran.
KDC eller Key Distribution Center är hjärtat av Kerberos. Den består huvudsakligen av tre komponenter. Nämligen:
Databas
De databas lagrar användaruppgifterna som Användarnamn och dess respektive lösenord. Det lagrar också åtkomsträttigheter tillhandahålls till användaren. Kerberos KDC-enhet lagrar också ytterligare information som Krypteringsnyckel, biljettgiltighet etc.
Autentiseringsserver
De angivna användaruppgifterna kryssas av. Om det är giltigt, Autentiseringsserver kommer att ge TGT eller Ticket Generation Ticket. En TGT kan bara genereras om användaren går in giltiga referenser.
Server för biljettbidrag
Nästa steg är TGS eller Server för biljettbidrag. Det är i grunden en applikationsserver av KDC som kommer att förse dig med Servicebiljett. Servicebiljetten krävs av användaren för att interagera med Hadoop och få den tjänst han behöver eller för att utföra en operation på Hadoop.
Du kan installera Kerberos med följande kommando:
sudo apt-get install krb5-kdc krb5-admin-server
Låt oss nu anta att du vill komma åt ett Kerberos-säkrat Hadoop-kluster. Du måste gå igenom följande steg för att komma åt Hadoop-klustret enligt beskrivningen i stegen nedan:
Du måste få autentisering av Hadoop-klustret. Du kan bli autentiserad genom att köra Kinit kommando på Hadoop-klustret.
kinit root / admin
De Kinit Kommandokörning omdirigerar dig till Inloggningsuppgifter sida där du förväntas ange din Användarnamn och Lösenord.
c ++ sortera ()
De Kinit kommer att skicka en Autentiseringsförfrågan till Autentiseringsserver.
Om dina uppgifter är giltig, då svarar autentiseringsservern med en Ticket Generation Ticket (TGT).
De Kinit kommer att lagra TGT i dina referenser Cache Minne. Följande kommando hjälper dig att läsa dina referenser
klist
Nu är du framgångsrikt autentiserad i KDS.
Innan du går in i Hadoop-klustret måste du ställa in Kerberos-klienter. använd följande kommando för att göra det.
sudo apt-get install krb5-user libpam-krb5 libpam-ccreds auth-client-config
Nu försöker du köra en Hadoop-kommando. Det är en Hadoop-klient.
De Hadoop-klient kommer att använda din TGT och förfrågningar TGS för godkännande.
De TGS kommer att godkänna begäran och det kommer att ge dig en Servicebiljett.
Detta Servicebiljett kommer att cachas av Hadoop-klient.
Detta Servicebiljett kommer att användas av Hadoop-klienten till kommunicera med Hadoop Namenode.
De Namenode kommer att identifiera sig med sin Biljett.
Både Namenode-biljett och Hadoop Client Servicebiljetter kommer att korskontrolleras av varandra.
Båda är säkra på att de kommunicerar med en autentiserad enhet.
Det här kallas Ömsesidig autentisering.
Nästa steg är Tillstånd. Namenode förser dig med service för vilken du har fått tillstånd.
Slutligen är den sista etappen Granskning. Här din aktivitet kommer vara loggad för säkerhetsändamål.
Med detta kommer vi till ett slut på den här artikeln . Jag hoppas att jag har kastat lite ljus på din kunskap om en Hadoop Security.
Nu när du har förstått Hadoop och dess säkerhet, kolla in av Edureka, ett pålitligt online-lärande företag med ett nätverk av mer än 250 000 nöjda elever spridda över hela världen. Edureka-kursen Big Data Hadoop-certifiering hjälper eleverna att bli experter på HDFS, Garn, MapReduce , Pig, Hive, HBase, Oozie, Flume och Sqoop med realtidsanvändningsfall på Retail, Social Media, Aviation, Tourism, Finance.
Om du har några frågor relaterade till detta “Hadoop Security” skriv till oss i kommentarsektionen nedan så svarar vi dig så tidigt som möjligt.