Sisu
- Pole vigu ega stressi - teie samm-sammuline juhend elumuutva tarkvara loomiseks ilma oma elu hävitamata
- Alla äri
- Kuidas Kafka muudab andmehaldust
Ära võtma:
Kafka teeb infosüsteemide heaks seda, mida LinkedIn teeb äriinimestele: hoiab neid ühenduses laias valikus.
Uskudes kirglikult millessegi, mida endiselt ei eksisteeri, loome selle. Olematu on see, mida me pole piisavalt soovinud.~ Franz Kafka
Vajadus on endiselt leiutise ema. Nagu üks nutikas konsultant mulle ükskord ütles: "Kui on midagi, mis peab juhtuma organisatsioonis, siis see toimub." Tema seisukoht oli kahesuunaline: 1) mõned inimesed leiavad alati viisi, kuidas asjad korda saata; ja 2) kõrgem juhtkond või isegi keskastme juhtkond ei pruugi olla teadlik sellest, kuidas asjad nende enda ettevõttes korda saavad.
Kui laiendada seda metafoori kogu andmehalduse universumile, näeme praegu toimuvat ümberkujundamist. Suurandmete töötlemata rõhk koos andmete voogesituse teljega loob nii palju survet, et pärandsüsteemid pragunevad servades, kui mitte kokku variseda. Sellegipoolest on praegu tööl lugematu arv spetsialiste, kes pole sellest reaalsusest suures osas teadlikud.
Andmepõhistel, andmepõhistel ettevõtetel on eesrind ja need on paljuski selle muudatuse taga. Mõelge, kuidas sellised jõujaamad nagu Yahoo! Ja LinkedIn on pööranud ettevõtte tarkvaratööstuse oma väljapaistvate annetustega avatud lähtekoodile: Hadoop, Cassandra ja nüüd Kafka, neid kõiki on karjastanud Apache Fond, kes on ise selle metamorfoosi keskne tegija .
Mis on selle muutuse tulemus? Täna oli tunnistajaks andmehalduse enda kategooriline ümberliigitamine ja ümberkorraldamine. See ei tähenda, et pärandsüsteemid nüüd ära rebitakse ja asendatakse. Kõik tööstuse veteranid ütlevad teile, et pärandsüsteemide hulgimüük lõpetatakse umbes sama sageli, kui Chicago Cubs võidab World Seriesi. See on vähemalt harukordne sündmus.
Mis aga tegelikult juhtub, on see, et kogu vana maailma süsteemide ümber ehitatakse ülistruktuur. Mõelge riikidevaheliste maanteede analoogiale, mis tõusevad sageli nende teenindatavate linnade kohal ja mille eesmärk on toimetada inimesi ja veoseid nendesse asustuskeskustesse ning pakkuda väljapääsu kõigile, kes seal asuvad. Nad ei asenda olemasolevaid teid nii palju, et täiendada neid kiirete alternatiividega.
See on täpselt see, mida Apache Kafka teeb: see pakub kiireid marsruute andmete liikumiseks infosüsteemide vahel ja vahel. Maanteede analoogia järgimiseks on endiselt palju ettevõtteid, kes kasutavad lineaarseid järjekordi või vana ETL-i standardit (ekstrakti-teisenda-laadige); kuid nendel radadel on madalad kiirusepiirangud ja auke on palju; peale selle on hoolduskulud sageli liiga suured; märgid on kehvad.
Kafka pakub andmete edastamiseks alternatiivset meetodit, mis on kindlalt reaalajas, skaleeritav ja vastupidav. See tähendab, et Kafka pole mitte ainult andmete liikumise sõiduk, vaid ka andmete replikaator; ja teatud määral ka hajutatud andmebaasi tehnoloogia. Peaksime olema ettevaatlikud analoogia liiga kaugele viimisega, kuna ACID-iga ühilduvatel andmebaasidel on omadusi, mida Kafka veel ei sporti. Siiski on muutus reaalne.
See on suurepärane uudis infomaastikule, sest nüüd on andmeid vabalt liikuda nii riigi - kui ka kogu maailma jaoks. Kunagi oli valulik kitsendus, nimelt ETL-i protsesside jaoks akende löömine, hajub nüüd palju, kuna udu annab kuuma päikese pilvede all taeva selgeks. Kui andmete ühest süsteemist teise teisaldamine muutub piirideta, kogeb uute võimaluste ajastu.
Pole vigu ega stressi - teie samm-sammuline juhend elumuutva tarkvara loomiseks ilma oma elu hävitamata
Programmeerimisoskust ei saa parandada, kui keegi tarkvara kvaliteedist ei hooli.
Inimesed kujutavad endast kõige suuremat hõõrumist teel uue uue tuleviku poole. Vanad harjumused surevad visalt. Nary CIO on ettevõttesüsteemides hulgimüügi muutmise üle liiga elevil. Ütles üks asjatundlik rollijuht: "Ole valmis üksildaseks saama." Aasta jooksul pärast selle kommentaari tegemist oli ta konsultant. See pole kerge tee, püüdes hallata ettevõtte andmete märkimisväärselt kohmakat maailma.
Hea uudis on see, et Kafka pakub edaspidist kaldteed. Kuna see on suure võimsusega ja mitmetahuline buss, loob see sildu pärandsüsteemide ja nende tulevikku vaatavate kolleegide vahel. Seega saavad organisatsioonid, kes kasutavad seda uut võimalust avatud meele ja piisava eelarvega, astuda uude maailma, jätmata vanast maha. See on tõsiselt suur asi.
Alla äri
Kui Apache Kafka on avatud lähtekoodiga tehnoloogia, mis on kõigile tasuta allalaaditav ja kasutatav, siis LinkedIni jaoks selle tarkvara loonud inimesed on eraldanud eraldi üksuse nimega Confluent, mis keskendub ettevõtluse jaoks pakutavate toodete tihendamisele. Sarnaselt Cloudera, Hortonworks ja MapR on oma ettevõtted ehitanud Apache Hadoopi avatud lähtekoodiga projekti ümber, nii et Confluent soovib Kafkat raha teenida.
Hiljutises InsideAnalysis intervjuus selgitas Confluent tegevjuht ja kaasasutaja Jay Kreps selle päritolu LinkedInis:
"Proovisime seal lahendada paar erinevat probleemi. Üks oli see, et meil olid kõik need erinevad andmesüsteemid erinevat tüüpi andmetega. Meil olid andmebaasid ja meil olid logifailid ning meil olid serverite mõõdikud ja kasutajad klõpsasid asju. Kõigi nende andmete hankimine - kuna need suureks said - oli tõesti keeruline. Andmete jõud oli olemas ainult siis, kui saate neid rakendustele või töötlusele või süsteemidele, mis seda vajavad. See oli suur probleem.
"Teine probleem, mis meil tekkis, oli see, et olime Hadoopi omaks võtnud ja sellega ma ka seotud olin. Meil oli see fantastiline võrguühenduseta töötlusplatvorm, mida saaksime skaleerida ja kuhu saaksime panna kõik oma andmed. LinkedIn'i jaoks juhtusid kõik meie andmed päriselt. Andmete genereerimine oli pidev. Alati oli see ebakõla, kui üritasime äritegevuse olulisi osi oma andmetest lahti ühendada (vahel päevas, võib-olla öösel ja järgmise päeva tulemuste saamiseks) ja sellised pidevad andmed - lühikesed suhtlemisajad -, millega pidite järele jõudma. Tahtsime, et saaksime teha midagi sellist, mis oli juba mõnda aega akadeemilistes ringkondades olnud, kuid mis polnud tegelikult peavoolu asi, st uurige ja töödelge andmevooge nende genereerimise asemel, mitte sellisena, nagu nad olid. "
Noh. See on täpselt see, mida Confluent soovib nüüd teha igasuguse kuju ja suurusega ettevõtte andmetega. Võimalus mängus? Greenfield. Ausalt öeldes võib kogu ettevõtlustarkvara ajaloo jooksul väita, et selle tehnoloogia adresseeritav turg võtab tingimata koogi. Pole ühtegi suurt organisatsiooni ega isegi andmemahukat väikeettevõtet, kes ei saaks sellest tehnoloogiast suurt kasu.
See kehtib eriti selle tehnoloogia neuroloogiliste aspektide tõttu; mitte ainult asjaosalised, vaid ka see, mida Kafka infosüsteemide heaks teeb. Kuna Kafkat saab kasutada andmete liikumise haldamiseks kogu organisatsioonis, võib seda vaadelda kui enamat kui lihtsalt liikluspolitsei, vaid pigem operatsiooni enda ajusid. Olid selle visiooni algusjärgus, kuid võite olla kindel, et see on reaalne.
Kuidas Kafka muudab andmehaldust
Et mõista, kuidas Kafka muudab andmehalduse olemust, mõelge lihtsalt viisidele, kuidas LinkedIn on võrgundusvõrgustikku muutnud. Kolleegide leidmine läks nii palju lihtsamaks; inimestega kontakti hoidmine on nüüd üks hetk. Kafka teeb infosüsteemide heaks seda, mida LinkedIn teeb äriinimeste jaoks: hoiab neid ühenduses kogu maakera kõige laiemas vahemikus.
Konfluentsi levik on sümboolne selle suhtes, mida võiksime nimetada uueks innovatsiooniks - liikumiseks, mis on ajendatud tarkvaraarenduse ja suletud lähtekoodiga mentaliteedi lahutamisest, mida juhivad avatud lähtekoodiga tehnoloogia loojad ja mida õhutavad suured riskikapitali summad, mis on raha teeninud. mittetulundusühingud, mis soovivad revolutsiooniliselt muuta seda, kuidas organisatsioonid ja inimesed andmeid loovad, koguvad, analüüsivad ja võimendavad.
Tsiteerides Franz Kafkat: "Teatavast hetkest alates pole enam tagasiteed. See on punkt, milleni tuleb jõuda."
Oleme Rubiconist mööda saanud. Nüüd pole enam tagasi pöörduda.