Sisu
- Definitsioon - mida tähendab Apache Pig?
- Sissejuhatus Microsoft Azure'i ja Microsoft Cloud | Kogu selle juhendi kaudu saate teada, mis on pilvandmetöötlus ja kuidas Microsoft Azure aitab teil pilvest rännata ja oma ettevõtet juhtida.
- Techopedia selgitab Apache Pig
Definitsioon - mida tähendab Apache Pig?
Apache Pig on platvorm, mida kasutatakse suurte andmekogumite analüüsimiseks. See koosneb andmete analüüsiprogrammide väljendamiseks kasutatavast kõrgetasemelisest keelest koos nende programmide hindamise infrastruktuuriga. Üks sea märkimisväärsemaid omadusi on see, et selle struktuur reageerib olulisele paralleelsusele.
Pig töötab Hadoopi platvormil, kirjutades andmeid Hadoopi hajutatud failisüsteemi (HDFS) ja lugedes sellest andmeid ning tehes töötlemist ühe või mitme MapReduce'i töö abil. Apache Pig on saadaval avatud lähtekoodina.
Apache Pig on tuntud ka kui sea programmeerimiskeel või Hadoop Pig.
Sissejuhatus Microsoft Azure'i ja Microsoft Cloud | Kogu selle juhendi kaudu saate teada, mis on pilvandmetöötlus ja kuidas Microsoft Azure aitab teil pilvest rännata ja oma ettevõtet juhtida.
Techopedia selgitab Apache Pig
Apache Pig koosneb kahest osast: sea ladina keel ja sea mootor. Siga ladina keel on skriptikeel, mis võimaldab kasutajatel illustreerida viisi, kuidas ühe või mitme sisendi andmevoogu tuleb lugeda ja töödelda, ning asukohta, kus seda tuleb säilitada.
Pig-ladina peamised omadused on järgmised:
- Lihtne programmeerida: keerukad ülesanded, mis koosnevad mitmesugustest omavahel ühendatud andmemuundustest, on selgelt kodeeritud andmevoogude järjestustena. See muudab nende kirjutamise, mõistmise ja hooldamise lihtsaks.
- Optimeerimise võimalused: ülesannete kodeerimise viis võimaldab süsteemil automaatset täitmist optimeerida. See võimaldab kasutajal efektiivsuse asemel pöörata tähelepanu semantikale.
- Laiendatavus: kasutajatel on lubatud luua eriotstarbelise töötlemise jaoks oma funktsioonid. Pigimootor vastutab sea ladina keeles kirjutatud andmevoogude täitmise eest. Sarnaselt standardse relatsioonilise andmebaasi haldussüsteemi (RDBMS) disainiga koosneb Apache Pig lisaks andmetöötlust teostavatele operaatoritele ka parserist, optimeerijast ja tüübikontrollist. Pig ei sisalda tehinguid, andmekataloogi ega võimalust otseselt andmete salvestamist käsitleda ega täitmisraamistikku kasutada.