Sisu
- Mis on järgmise põlvkonna andmearhitektuur?
- Hadoopi ootused järgmise põlvkonna arhitektuuri konverentsil
- Milliseid väärtusi saab Hadoop lisada järgmise põlvkonna andmearhitektuurile?
- Täiustatud jõudlus ettevõtte andmearhitektuurina
- Erinevus Hadoopi ja muude tehnoloogiate vahel
- Järeldus
Allikas: Romeo1232 / Dreamstime.com
Ära võtma:
Hadoop on võtmeroll järgmise põlvkonna andmearhitektuuris tänu oma võimele käsitleda tohutul hulgal andmeid.
Hadoopi utiliit on hakanud minema kaugemale suurtest andmetöötlustest ja analüütilistest tegevustest, kuna tööstus nõuab sellelt rohkem nõudmist. Hadoop rahuldab pidevalt ettevõtte andmete arhitektuuriga seotud erinevaid nõudeid, säilitades samal ajal oma algsed tugevused. Loetelu sellest, mida Hadoop teha saab ja praegu teeb, on üsna pikk. Hadoop suudab nüüd töödelda tohutul hulgal tehingulisi töömahte, seda ülesannet eeldati traditsiooniliste tehnoloogiate ees. Edasi minnes on Hadoopil tulevikus palju võimalusi. Näiteks saavad SQL-l põhinevad tehingusüsteemid kasutada Hadoopi SQL-mootorit ja Hadoop lisab ka palju RDBMS-i võimalusi. Võib öelda, et Hadoop on muutumas andmetöötlus- ja analüütiliste võimete hübriidiks koos ettevõtte arhitektuuri võimalustega.
Mis on järgmise põlvkonna andmearhitektuur?
Lihtsalt öeldes on järgmise põlvkonna andmearhitektuur arenenud vorm andmearhitektuurist. Kõik, sealhulgas andmemudelid, andmepoliitika, reeglid ja standardid, mis reguleerivad andmete kogumist, säilitamist, korraldamist, analüüsimist või töötlemist, integreerimist, kasutamist ja väljastamist, on järgmise põlvkonna andmearhitektuuri käigus edasi arenenud.
Peamine erinevus varasema andmearhitektuuri ja järgmise põlvkonna andmearhitektuuri vahel on viimase võime koguda, salvestada ja töödelda reaalajas tohutul hulgal andmeid, mida nimetatakse ka suurandmeteks. Arhitektuur täidab kõiki neid keerukaid ülesandeid, seadmata ohtu privaatsuse, turvalisuse ja andmehalduse standardeid.
Järgmise põlvkonna andmearhitektuur seisab silmitsi paljude väljakutsetega. Suurandmete mahu, kiiruse ja mitmekesisusega pole lihtne hakkama saada. Lisage sellele süsteemi töökoormuse optimeerimise, jõudluse, kiiruse ja täpsuse parandamise ning kulude vähendamise nõuded. Ütlematagi selge, et eelnev andmearhitektuur ei pidanud selliseid nõudmisi haldama.
Niisiis, CIOd ja infiarhitektid soovivad leida lahenduse, mis aitab neil eesmärke saavutada. Operatiivne Hadoop on selles kontekstis mõnda aega keskendunud. Järgmistes lõikudes arutatakse, kuidas töötav Hadoop saab probleeme lahendada.
Hadoopi ootused järgmise põlvkonna arhitektuuri konverentsil
Ettevõtted avaldavad üha suuremat survet paremate tulemuste saavutamiseks ja nende mõju on tehnoloogiatega seotud ootustele vastupidine. Niisiis, Hadoopilt ei oodata enam ainult andmete töötlemist. CIOd ja CTOd soovivad Hadoopilt rohkem. Allpool on loetelu Hadoopi ootustest. Tegelikult on Hadoop mõned neist ootustest juba täitnud.
Eeldatakse, et Hadoop töötab SQL-i põhinevate tehingusüsteemidega, millel on loomise, lugemise, värskendamise ja kustutamise võimalused. Tehingusüsteemid võimendavad SQL-mootorit. Süsteemidel on ka täielik kaasaskantava opsüsteemi liidese (POSIX) vastavus ja võime töödelda suuri tehingumahte.
Eeldatakse, et Hadoop toetab selliseid funktsioone nagu varundamine, rikkekindlus, taastamine ja avariitaaste. Selleks, et Hadoop areneks RDBMS-võimalustega süsteemiks, peab see olema ühilduv olemasolevate IT-vahenditega.
Hadoop töötab juba ootuste täitmise nimel, nagu nähtub mõnest arengust. Hadoop suudab pakkuda reaalajas analüüsi ja kiireid vastuseid, mis põhinevad YARNi pakutaval ressursside haldamise toel. YARN on lisaks ressursside haldurile ka suuremahuline ja hajutatud opsüsteem suurandmete rakenduste jaoks. Teised arendused, näiteks Apache Storm, jaotatud mälusisesed arhitektuurid, näiteks Apache Spark, Apache Hive, Drill ja MapR-FS (suure jõudlusega HDFS-i asendaja), on teadaolevalt töötavad, et pakkuda mitmesuguseid andmebaasi täielikke võimalusi, nagu varundamine, õnnetusejärgne taastamine, tõrketaluvus jms (lõnga YARN kohta leiate lisateavet Hadoop 2.0 (YARN) raamistiku eelistest?)
Milliseid väärtusi saab Hadoop lisada järgmise põlvkonna andmearhitektuurile?
Väärtusi, mida Hadoop saab järgmise põlvkonna andmearhitektuurile lisada, saab vaadelda kahest vaatenurgast: ühte, kas see vastab ülalkirjeldatud ootustele, ja teist, kas see teeb midagi täiendavat. Allpool on toodud olulisemad väärtused, mida Hadoop võib tööle panna.
Hadoop suudab nüüd HDFS-i kaudu oma platvormis oma andmeid paremini mastaapsuse ja haldamise võimaldada. Ja andmeside opsüsteem on lubatud Hadoopi YARN-i rakenduste kaudu. See strateegia kujutab muutust andmearhitektuuris põhitasandil. Nüüd saab Hadoop salvestada erinevat tüüpi andmeid, näiteks tehingutele orienteeritud andmebaase, graafikute andmebaase ja dokumentide andmebaase ning neile andmetele pääseb juurde YARN-i rakenduste kaudu. Andmeid pole vaja dubleerida ega teisaldada.
Täiustatud jõudlus ettevõtte andmearhitektuurina
Operatiivne Hadoop on valmis saama ettevõtte andmearhitektuuri tuumasüsteemiks. Kuna Hadoop astub rohkem ettevõtte andmearhitektuuri, kaotatakse andmesilosid, kuna nendevahelised read eemaldatakse. Peaaegu kõigis aspektides toimub kiire areng. Parandamine toimub tõhusamate failivormingute, SQL-mootori parema jõudluse, täiustatud failisüsteemide ja robustsuse kujul, mis vastavad ettevõtterakenduste vajadustele.
Erinevus Hadoopi ja muude tehnoloogiate vahel
Varem oli Hadoopi ja andmeettevõtluse tehnoloogiate peamiseks erinevuseks Hadoopi suured andmetöötlus-, aruandlus- ja analüüsivõimalused. Nüüd, mil töötav Hadoop muutub üha enam ettevõtte andmearhitektuuri osaks, muutub entiteetide erinevus üha hägusamaks. Niisiis on toimiv Hadoop tõusmas olemasoleva ettevõtte andmearhitektuuri paremaks alternatiiviks.
Järeldus
Arvestades ootusi ja edusamme, on Hadoop üsna pikka aega tööstuse keskmes. Kuid on mõistlik mitte keskenduda liiga palju Hadoopile ja lihtsalt ignoreerida teisi tehnoloogiaid. Selle põhjuseks on asjaolu, et teised tehnoloogiad teevad samad parameetrid edasi ja võivad isegi Hadoopi edestada. Kunagi pole hea, kui turul on monopol. On hea, et muude tehnoloogiate (välja arvatud Hadoop) loojaid võib motiveerida pakkuma paremaid tooteid ja isegi pistikprogramme, mis aitavad Hadoopil selle toimivust parandada.