Sisu
K:
Mis vahe on suurandmetel ja Hadoopil?
A:
Erinevus suurandmete ja avatud lähtekoodiga tarkvara Hadoop vahel on selge ja põhimõtteline. Esimene on vara, sageli keeruline ja mitmetähenduslik, samas kui teine on programm, mis täidab selle vara käsitlemiseks seatud eesmärke ja eesmärke.
Suurandmed on lihtsalt suured andmekogumid, mille ettevõtted ja muud osapooled konkreetsete eesmärkide ja toimingute jaoks kokku panevad. Suurandmed võivad sisaldada palju erinevaid andmeid erinevat tüüpi vormingutes. Näiteks võivad ettevõtted teha palju tööd tuhandete andmete kogumisel valuutavormingus tehtud ostude, kliendi identifikaatorite (nt nimi või sotsiaalkindlustuse number) või tootekirjelduse kohta mudeli-, müüginumbri või laonumbri kujul. Kõike seda või mõnda muud suurt hulka teavet võib nimetada suurandmeteks. Reeglina on see toores ja sorteerimata, kuni see pannakse läbi mitmesuguseid tööriistu ja käitlejaid.
Hadoop on üks tööriistu, mis on loodud suurandmete haldamiseks. Hadoop ja muud tarkvaratooted töötavad suurandmete otsingute tulemuste tõlgendamiseks või parsimiseks konkreetsete patenteeritud algoritmide ja meetodite abil. Hadoop on Apache litsentsi alusel avatud lähtekoodiga programm, mida hooldab ülemaailmne kasutajaskond. See sisaldab erinevaid põhikomponente, sealhulgas MapReduce'i funktsioonide komplekt ja Hadoopi hajutatud failisüsteem (HDFS).
MapReduce'i idee seisneb selles, et Hadoop saab kõigepealt suure andmestiku kaardistada ja seejärel konkreetsete tulemuste saamiseks selle sisu redigeerida. Vähendamise funktsiooni võib käsitleda omamoodi filtrina töötlemata andmete jaoks. Seejärel toimib HDFS-süsteem andmete levitamine võrgus või vajadusel migreerimine.
Andmebaasi administraatorid, arendajad ja teised saavad Hadoopi mitmesuguseid funktsioone kasutada suurandmete haldamiseks suvalisel viisil. Näiteks saab Hadoopi kasutada selliste andmestrateegiate rakendamiseks nagu rühmitamine ja ebaühtlaste andmete sihtimine või andmed, mis ei mahu korralikult traditsioonilisse tabelisse või vastavad hästi lihtsatele päringutele.