Millised on Hadoop 2.0 (YARN) raamistiku eelised?

Autor: Roger Morrison
Loomise Kuupäev: 18 September 2021
Värskenduse Kuupäev: 1 Juuli 2024
Anonim
Millised on Hadoop 2.0 (YARN) raamistiku eelised? - Tehnoloogia
Millised on Hadoop 2.0 (YARN) raamistiku eelised? - Tehnoloogia

Sisu


Allikas: Jim Hughes / Dreamstime.com

Ära võtma:

Lõng on Hadoop 1.0 raamistikuga võrreldes oluline edasiminek. Siin uurime mõnda eelist, mis tal eelkäijaga võrreldes on.

Alates ajast, mil suurandmete kontseptsioon kasutusele võeti, on see läbinud evolutsiooni mitu faasi. Hadoop võeti kasutusele 2005. aastal koos mõnede esialgsete võimalustega, näiteks töötlemismootoriga MapReduce, mis võimaldas klastrites jaotatud suuremahulist andmetöötluse töökoormust. Hadoop ise on kogenud palju muutusi ja on välja töötanud täpsemad raamistikud ja meetodid.

Lõng on Hadoop 2.0 põhikomponent. Põhimõtteliselt haldab see ressursse rühmitatud keskkonnas. YARN-i maakler suhtleb arvutusressurssidega (rakenduste nimel) ja määrab ressursid igale rakendusele erinevate filtreerimiskriteeriumide alusel.

Selles artiklis vaatleme lõnga YADN peamisi eeliseid võrreldes Hadoop 1.0-ga.


Mis on lõng raamistik?

Yet Another Rressurss Negotiator on Hadoop 2.0 põhikomponent, mis haldab ressursse rühmitatud keskkonnas. Hadoopi lõngaraamistik on Hadoopi 1.0 täiustatud versioon, mis pakub paremat jõudlust, mis on kasulik Hadoopi ökosüsteemile ja kogu sellega seotud tehnoloogiale. Nüüd, kui oleme lõngaga YARN veidi tuttavamad, vaatame lähemalt Hadoop 1.0 ja YARNi.

Hadoop 1.0 raamistiku piirangud

YARN-i raamistiku eeliste mõistmiseks on väga oluline mõista, kuidas Hadoop 1.0 töötab ja millised on selle raamistiku piirangud.

Siin tuleb mängu JobTracker roll. See haldab nii klastri ressursse kui ka MapReduce'i töö täitmist. Lühidalt - JobTracker kavandab ja reserveerib tööajad ning konfigureerib ja jälgib iga töötavat ülesannet. Kui ülesanne ebaõnnestub, eraldab see ülesande uuesti alustamiseks uue pesa. Kui toiming on lõpule viidud, vabastab JobTracker teiste toimingute pesa ja puhastab ajutised ressursid.


Ülaltoodud lähenemisviisi peamised puudused:

  • Kättesaadavus - JobTracker on Hadoop 1.0 ainus saadavuse punkt. See tähendab, et kui JobTracker ebaõnnestub, taaskäivitatakse vaikimisi kõik toimingud.
  • Piiratud mastaapsus - kuna JobTracker täidab mitut toimingut ja töötab ühes masinas, siis muid saadaolevaid masinaid ei kasutata; seega tulemuseks on piiratud mastaapsus.
  • Ressursi kasutamine - ülaltoodud lähenemisviisi korral on kaardiajad ja vähendatud teenindusajad eelnevalt määratletud. Võib juhtuda, et üks pesa on täis, kuid teise masina pesad on tühjad. Kuna tühjad teenindusajad on reserveeritud, siis jäävad nad tühjade teenindusaegade jaoks tühjaks, mitte ei looda täielike teenindusaegade jaoks ohtu. See võib põhjustada ressursikasutuse probleemi.
  • Mitte-MapReduce'i rakenduste käitamine - JobTracker on rakendus, mis on loodud MapReduce-i raamistikuks. Probleem ilmneb siis, kui mitterakendus MapReduce proovib selles raamistikus käitada. Rakendus peab edukaks käivitamiseks vastama MapReduce'i raamprogrammeerimisele. Mõningad levinud probleemid, millega see silmitsi seisab, hõlmavad järgmiste probleemidega:
    • Ad-hoc päring
    • Reaalajas analüüs
    • mööduv lähenemine
  • Kaskaadide ebaõnnestumine - üks selle raamistiku peamistest probleemidest ilmneb siis, kui sõlmede arv on suurem kui 4000. Sellise stsenaariumi korral toimub kaskaadide tõrge, mille tulemuseks on kogu klastri halvenemine.

Need on mõned peamised piirangud, millega selle raamistikuga töötades kokku puututakse. On ka muid väiksemaid piiranguid, mida ei mainita. Nendest piirangutest ülesaamiseks tutvustati YARN-i raamistikku.

Pole vigu ega stressi - teie samm-sammuline juhend elumuutva tarkvara loomiseks ilma oma elu hävitamata

Te ei saa oma programmeerimisoskusi parandada, kui keegi tarkvara kvaliteedist ei hooli.

Lõnga raamistik ja selle eelised

HADoop 2.0-s tutvustatud YARN-i raamistik on mõeldud MapReduce'i kohustuste jagamiseks ja klastrihaldusülesande eest hoolitsemiseks. See võimaldab MapReduce'il teostada ainult andmetöötlust ja seega protsessi sujuvamaks muuta.

YARN tutvustab ressursside tsentraalse haldamise kontseptsiooni. See võimaldab Hadoopis käivitada mitut rakendust, jagades ühist ressursside haldamist.

JARN-i raamistiku mõned peamised komponendid on:

  • ResourceManager - komponent ResourceManager on läbirääkija klastris kõigi selles klastris olevate ressursside osas. Lisaks liigitatakse see komponent rakendusehalduriks, mis vastutab kasutaja töökohtade haldamise eest. Alates Hadoop 2.0-st loetakse kõiki MapReduce'i töid rakendusteks.
  • ApplicationMaster - see komponent on koht, kus töö või rakendus on olemas. Samuti haldab see kõiki MapReduce'i töid ja lõpetatakse pärast tööde töötlemist.
  • NodeManager - sõlmehalduri komponent toimib tööajaloo serverina. See vastutab valminud tööde kohta teabe tagamise eest. Samuti jälgib see kasutajate töökohti koos konkreetse sõlme töövoogudega.

Pidades meeles, et YARN-i raamistikul on erinevate ülesannete haldamiseks erinevad komponendid, vaatame, kuidas see ületab Hadoop 1.0 piiranguid.

  • Ressursside parem kasutamine - YARN-i raamistikul puuduvad fikseeritud teenindusajad. See pakub keskset ressursihaldurit, mis võimaldab teil ühise ressursi kaudu jagada mitu rakendust.
  • Mitte-MapReduce'i rakenduste käitamine - rakenduses YARN eraldatakse ajastamise ja ressursside haldamise võimalused andmetöötluskomponendist. See võimaldab Hadoopil käitada erinevat tüüpi rakendusi, mis ei vasta Hadoopi raamistiku programmeerimisele. Hadoopi klastrid on nüüd võimelised käitama sõltumatuid interaktiivseid päringuid ja teostama paremat reaalajas analüüsi.
  • Ühilduvus tagasi - YARN tuleb tagasiühilduva raamistikuna, mis tähendab, et MapReduce'i kõiki olemasolevaid töid saab Hadoop 2.0-s käivitada.
  • JobTrackerit enam ei eksisteeri - JobTrackeri kaks peamist rolli olid ressursside haldamine ja tööaja planeerimine. YARN-i raamistiku kasutuselevõtuga jaotatakse need nüüd kaheks eraldi komponendiks:
    • NodeManager
    • ResourceManager

Järeldus

Rakenduse YARN kasutuselevõtt on Hadoopi arendajatele rakenduste loomise lihtsamaks teinud. Nüüd ei pea rakendusi enam rakendama kolmandate osapoolte tööriistadega. Lõng on tohutu muudatus, mis võimaldab kasutajatel kaaluda Hadoop 2.0 rakenduste loomist ja andmete tõhusamat manipuleerimist. Aja jooksul toimub Hadoopi kasutatavuse parandamiseks edasine areng. Praegu mängib YARN-i raamistik otsustavat rolli olemasolevate probleemidega tegelemisel ja probleemivaba keskkonna loomisel, mis on mitmekülgsem kui MapReduce'i mudeli varasem versioon.