Sisu
- ETL loob kitsaskohti Analyticsi jaoks
- ETL-i sujuvamaks muutmine masinõppe ja AI abil
- Pole vigu ega stressi - teie samm-sammuline juhend elumuutva tarkvara loomiseks ilma oma elu hävitamata
Allikas: Pop Nukoonrat / Dreamstime.com
Ära võtma:
Andmed on ettevõtluse jaoks üliolulised, kuid nende kasulikkuse tagamiseks ei tohi andmete kogumisel, töötlemisel ja esitamisel olla vigu. Tehisintellekt saab jälgida ETL-i protsesse, veendumaks, et need pole veatud.
ETL (ekstraheerimine, teisendamine ja laadimine) on suurandmete analüüsi üks olulisemaid protsesse - ja samal ajal võib see olla ka üks selle suuremaid kitsaskohti. (Lisateavet suurandmete kohta leiate 5 kasulikust suurandmete kursusest, mida saate veebis kasutada.)
Põhjus, miks ETL on nii oluline, on see, et enamik ettevõtte kogutavaid andmeid ei ole töötlemata kujul valmis analüüsilahenduseks seedimiseks. Analüüsilahenduse teadmiste loomiseks tuleb töötlemata andmed ekstraheerida rakendusest, kus see praegu asub, teisendada vormingusse, mida analüütikaprogramm saab lugeda, ja seejärel laadida ise analüüsiprogrammi.
See protsess on analoogne toiduvalmistamisega. Teie toorained on teie töötlemata andmed. Enne analüüsimist (maitsmist) tuleb need ekstraheerida (poest osta), muuta (keedetud) ja seejärel laadida (plaadistada). Raskused ja kulud võivad ulatuda ettearvamatult - mac n ’juustu on lihtne ise teha, kuid palju keerulisem on luua gurmeemenüüd 40 inimesele õhtusöögi ajal. Ütlematagi selge, et mis tahes hetkel tehtud viga võib muuta teie söögikorra seedimatuks.
ETL loob kitsaskohti Analyticsi jaoks
ETL on mõnes mõttes analüütilise protsessi alustala, kuid sellel on ka puudusi. Esiteks on see aeglane ja arvutuslikult kallis. See tähendab, et ettevõtted eelistavad analüütika jaoks sageli ainult oma kõige olulisemaid andmeid ja ülejäänud lihtsalt salvestatakse. See aitab kaasa asjaolule, et kuni 99% kogu ettevõtte andmetest jääb analüüsi eesmärkidel kasutamata.
Lisaks pole ETL protsess kunagi kindel. Vead ETL-i protsessis võivad teie andmeid rikkuda. Näiteks võib lühike võrguviga takistada andmete ekstraheerimist. Kui teie lähteandmed sisaldavad mitut failitüüpi, võidakse neid valesti teisendada. Prügi sisse, prügi välja, nagu öeldakse - vead ETL-i protsessis väljendavad peaaegu kindlasti ebatäpse analüüsi osas.
Rikutud ETL-protsess võib põhjustada halbu tagajärgi. Isegi parimal juhul peate tõenäoliselt uuesti ETL-i käitama, mis tähendab tundide hilinemist - ja vahepeal on teie otsustajad kannatamatud. Halvimal juhul ei pane te ebatäpset analüüsi tähele enne, kui olete hakanud raha ja kliente kaotama.
ETL-i sujuvamaks muutmine masinõppe ja AI abil
Võite küll - ja ilmselt ka saate - määrata kellegi ETL-i jälgima, kuid see pole ausalt öeldes nii lihtne. Halvad andmed võivad tuleneda protsessivigadest, mis juhtuvad nii kiiresti, et neid ei saa reaalajas märgata. Rikutud ETL-i protsessi tulemused ei erine sageli õigesti laaditud andmetest. Isegi kui vead on ilmsed, ei pruugi vea põhjustanud probleemi nii hõlpsalt leida. (Lisateavet andmete analüüsimise kohta leiate jaotisest Töö roll: andmeanalüütik.)
Hea uudis on see, et masinad suudavad tabada seda, mida inimesed ei saa. Need on vaid mõned viisid, kuidas AI ja masinõpe suudavad ETL-i vigu tabada enne, kui need muutuvad ebatäpseks analüüsiks.
Pole vigu ega stressi - teie samm-sammuline juhend elumuutva tarkvara loomiseks ilma oma elu hävitamata
Programmeerimisoskust ei saa parandada, kui keegi tarkvara kvaliteedist ei hooli.
1. Tuvastage ja märku andke ETL-i mõõdikute kaudu
Isegi kui teie andmed on pidevalt liikuvad pildid, peaks ETL-protsess siiski andma püsivaid väärtusi ühtlase kiirusega. Kui need asjad muutuvad, põhjustab see muret. Inimesed võivad andmetes näha suuri muutusi ja vigu ära tunda, kuid masinõppimisega on kiiremini võimalik tuvastada peeneid vigu. Masinõppe süsteemil on võimalik pakkuda kõrvalekallete tuvastamist reaalajas ja sellest otse IT-osakonda märku anda, võimaldades neil protsessi peatada ja probleemi lahendada, ilma et peaks tundidepikkust arvutuslikku pingutust ära jätma.
2. Täpsed kitsaskohad
Isegi kui teie tulemused on täpsed, võivad need ikkagi kasutuselt liiga aeglaselt välja tulla. Gartner ütleb seda 80% arusaamadest analüütilistest andmetest saadud andmeid ei kasutata kunagi rahalise väärtuse loomiseks ja see võib olla tingitud sellest, et ettevõtte juht ei näe õigel ajal mõistmist, et seda ära kasutada. Masinõpe võib teile öelda, kus teie süsteem aeglustub, ja pakkuda teile vastuseid - saate paremaid andmeid, kiiremini.
3. Kvantifitseerige muudatuste juhtimise mõju
Teie andmeid ja analüütikat tootvad süsteemid pole staatilised - nad saavad pidevalt plaastreid ja täiendusi. Mõnikord mõjutavad need andmete tootmist või tõlgendamist - see põhjustab ebatäpseid tulemusi. Masinõppimisega saab muudetud tulemused märgistada ja neid konkreetse paika pandud masina või rakenduse juurde jälgida.
4. Vähendage toimingute kulusid
Varastatud analüüsi toimingud on võrdsed kaotatud rahaga. Aeg, mille kulutate, et mõelda mitte ainult kuidas probleemi lahendada, vaid ka kes vastutab probleemi lahendamiseks on aeg kulutada hoone väärtust. Masinõpe aitab jõuda asja keskmesse, hoiatades ainult neid meeskondi, kes vastutavad konkreetsetele juhtumitele reageerimise eest, lastes ülejäänud IT-osakonnal vabalt jätkata põhiliste tööülesannete täitmist. Lisaks aitab masinõpe kõrvaldada valepositiivseid tulemusi, vähendades teadete üldarvu, suurendades samal ajal nende poolt pakutava teabe detailsust. Häireväsimus on väga reaalne, nii et see muutus mõjutab mõõdetavalt elukvaliteeti.
Äris võitmise puhul on analüütika ülioluline. Bain Capitali maamärkide uuring näitab, et analüütikat kasutavad ettevõtted on rahaliselt üle kahe korra tõenäolisemad. ETL loob aluse edu saavutamiseks sellel areenil, kuid viivitused ja vead võivad takistada ka analüüsiprogrammi edukust. Masinõppest saab seetõttu hindamatu vahend ükskõik millise analüüsiprogrammi õnnestumiseks, aidates tagada puhtad andmed ja täpsed tulemused.