Sisu
K:
Millised on peamised viisid andmeteaduse protsesside automatiseerimiseks ja optimeerimiseks?
A:
Andmeteaduslikud protsessid masinõppe ja intelligentse intelligentsuse kontekstis võib jagada neljaks eraldi faasiks:
- andmete kogumine ja uurimine,
- mudelihoone,
- mudeli juurutamine ja
- veebipõhine hindamine ja täpsustamine.
Minu kogemuse põhjal on kõige takistavamad faasid andmete hankimise ja mudeli juurutamise faasid mis tahes masinõppel põhinevas andmeteaduste protsessis ja siin on nende optimeerimiseks kaks võimalust:
1. Luua hõlpsasti juurdepääsetav andmepood.
Enamikus organisatsioonides ei salvestata andmeid ühes keskses asukohas. Võtame lihtsalt klientidega seotud teabe. Kui teie ettevõte on veebirakendus, teil on klientide kontaktteave, klienditoe andmed, klientide tagasiside ja klientide sirvimisajalugu. Kõik need andmed on loomulikult hajutatud, kuna neil on erinevad eesmärgid. Need võivad asuda erinevates andmebaasides ja mõned võivad olla täielikult struktureeritud ja mõned struktureerimata ning neid võib isegi salvestada tavaliste failidena.
Kahjuks on nende andmekogumite hajutatus infoteaduste alal väga piiratud, kuna kõigi NLP, masinõppe ja AI probleemide alus on andmed. Seega on kõigi nende andmete omamine ühes kohas - andmepoes - mudeli väljatöötamise ja juurutamise kiirendamisel ülitähtis. Arvestades, et see on oluline osa kõigist andmetöötlusprotsessidest, peaksid organisatsioonid palkama kvalifitseeritud andmeinsenerid, kes aitaksid neil luua oma andmekogu. See võib hõlpsalt alata, kui lihtsad andmed koondatakse ühte kohta ja kasvavad aeglaselt hästi läbimõeldud andmehoidlaks, mis on täielikult dokumenteeritud ja kvantitatiivne utiliitidega, et eksportida andmete alamhulgad eri formaatidesse erinevatel eesmärkidel.
2. Paljastage oma mudelid sujuva integreerimise teenusena.
Lisaks andmetele juurdepääsu võimaldamisele on oluline osata ka andmeteadlaste väljatöötatud mudelite integreerimist tootesse. Pythonis välja töötatud mudelite ühendamine Rubyga töötava veebirakendusega võib olla äärmiselt keeruline. Lisaks võib mudelitel olla palju andmesõltuvusi, mida teie toode ei pruugi pakkuda.
Üks võimalus selle lahendamiseks on luua oma mudeli ümber tugev infrastruktuur ja paljastada toote jaoks vajalik funktsionaalsus, et kasutada seda mudelit veebiteenusena. Näiteks kui teie rakendus vajab tooteülevaadete järgi klassifikatsiooni. , peaks kõik vajalik olema veebiteenuse kutsumine, pakkudes asjakohast ja teenus annaks tagasi asjakohase sentimentide klassifikatsiooni, mida toode saab otse kasutada. Nii toimub integreerimine lihtsalt API-kõne vormis. Mudeli ja seda kasutava toote lahtisidumine muudab teie toodetud uute toodete jaoks hõlpsaks ka selle, et neid mudeleid oleks vaja vaevata kasutada.
Nüüd on mudeli ümber infrastruktuuri seadistamine hoopis teine lugu ja nõuab insenerimeeskondadelt suuri alginvesteeringuid. Kui infrastruktuur on olemas, on vaja lihtsalt ehitada mudeleid viisil, mis sobib infrastruktuuriga.