Allikas: Agsandrew / Dreamstime.com
Ära võtma:
Allika-agnostilised meetodid sobivad ideaalselt Hadoopi analüüsi andmete töötlemiseks.
Andmeallikate ühendamine Hadoopis on keeruline äri. Selle põhjuste hulka kuuluvad:
- Probleemsed on kohandatud, allikapõhised skriptid, mis ühendavad andmeallikaid.
- Andmete integreerimise või andmeteaduste tööriistade kasutamine toob kaasa liiga palju ebakindlust.
- Välistest allikatest andmete lisamine on peaaegu võimatu.
Täna arutlen, kuidas Hadoopi analüütikat täiustatakse allika-agnostiliste tehnoloogiate abil, mis muudavad sisemise ja välise andmeallika ühendamise lihtsaks. Lisaks allika-agnostiliste meetodite toimimise kirjeldusele kirjeldan ka seda, miks Hadoopi analüütika vajab sisseehitatud luure- ja teadmussiirdevõimalusi, seoste ja andmete omaduste mõistmist ning skaleeritavat ja suure jõudlusega arhitektuuri.
- Allika-agnostilised meetodid hõlmama paindlikku olemi lahutamismudelit, mis võimaldab statistiliselt usaldusväärseid, korratavaid andmeteaduslikke protsesse kasutades uusi andmeallikaid lisada. Need protsessid võimendavad algoritme, et koguda andmetest teadmisi ja neid hinnata, analüüsida, et teha kindlaks parim integratsioonimeetod.
Olenemata sellest, kui killustatud või mittetäielikud on algsed allikakirjed, peaksid Hadoopi analüüsi tehnoloogiad olema allika-agnostilised ja suutma andmeid ühendada ilma lähteandmeid muutmata või neid manipuleerimata. Need tehnoloogiad peaksid looma ka üksusindeksid, mis põhinevad andmete sisul ja atribuutidel üksikisikute ning nende olemasolu kohta maailmas. Selle saavutamiseks peavad nad mõistma andmete sisu, sisu, ülesehitust ja seda, kuidas komponendid üksteisega seostuvad. - Sisseehitatud andmeteadus ja andmete integreerimise ekspertiis võimaldab andmeid suure täpsuse ja täpsusega puhastada, standardiseerida ja korreleerida. Visualiseerimisriistad ja aruanded aitavad analüütikutel andmeid hinnata ja neist õppida ning teostada süsteemi häälestamist protsessi eri etappidest saadud teadmiste põhjal.
- Suhete mõistmine üksuste vahel annab tulemuseks täpsemad üksuste lahendamise protsessid. Kuna reaalse maailma olendid ei ole ainult nende atribuutide, vaid ka nende seoste summa, tuleks suhete teadmisi kasutada tuvastamaks, millal kirjed on samad. See on eriti oluline nurgajuhtumite ja suurandmete haldamisel.
- Andmete iseloomustus parandab andmete analüüsi, eraldusvõimet ja seostamist, tuvastades ja pakkudes andmeallikates sisalduvat teavet. See võib aidata struktureeritud teabe veergudes andmete sisu, tiheduse ja jaotuse valideerimist. Andmete iseloomustust saab kasutada ka struktureerimata ja poolstruktureeritud allikatega seotud oluliste olemitega seotud andmete (nimi, aadress, sünniaeg jne) tuvastamiseks ja eraldamiseks, et neid saaks korrelatsiooniks struktureeritud allikatega.
- Skaleeritav, paralleelne arhitektuur analüüsib kiiresti isegi siis, kui toetab sadu struktureeritud, poolstruktureeritud ja struktureerimata andmeallikaid ning kümneid miljardeid kirjeid.
Hadoop muudab maailma analüüsi viise. Kui Hadoopi ökosüsteemidesse lisatakse uusi allika-agnostilisi analüütilisi andmeid, saavad organisatsioonid ühendada punktid paljude sisemiste ja väliste andmeallikatega ning saada teadmisi, mis varem polnud võimalikud.
See artikkel postitati algselt Novetta.com. Siin on loal siin pilliroog. Novetta säilitab kõik autoriõigused.