Sisu
- Definitsioon - mida MapReduce tähendab?
- Sissejuhatus Microsoft Azure'i ja Microsoft Cloud | Kogu selle juhendi kaudu saate teada, mis on pilvandmetöötlus ja kuidas Microsoft Azure aitab teil pilvest rännata ja oma ettevõtet juhtida.
- Techopedia selgitab MapReduce
Definitsioon - mida MapReduce tähendab?
MapReduce on Google'i poolt kasutusele võetud programmeerimismudel arvutiklastrites suurte andmekogumite töötlemiseks ja genereerimiseks.
Esmalt koostas Google raamistiku Google'i veebilehtede indekseerimise teenindamiseks ja uus raamistik asendas varasemad indekseerimise algoritmid. Algajatele arendajatele on MapReduce'i raamistik kasulik, kuna raamatukogu rutiine saab kasutada paralleelsete programmide loomiseks, ilma et peaksite muretsema klastritevahelise suhtluse, ülesannete jälgimise või tõrkekäsitlusprotsesside pärast.
MapReduce töötab suures kaubamasinate klastris ja on väga skaleeritav. Sellel on mitu rakendusvormi, mida pakuvad mitmed programmeerimiskeeled, näiteks Java, C # ja C ++.
Sissejuhatus Microsoft Azure'i ja Microsoft Cloud | Kogu selle juhendi kaudu saate teada, mis on pilvandmetöötlus ja kuidas Microsoft Azure aitab teil pilvest rännata ja oma ettevõtet juhtida.
Techopedia selgitab MapReduce
MapReduce'i raamistik koosneb kahest osast:
- Funktsioon nimega "Kaart", mis võimaldab hajutatud klastri erinevatel punktidel oma tööd levitada
- Funktsioon nimega "Vähenda", mis on loodud klastrite tulemuste lõpliku vormi koondamiseks üheks väljundiks
MapReduce'i raamistiku peamine eelis on selle tõrketaluvus, kus töö lõpetamisel oodatakse perioodilisi aruandeid klastri igast sõlmest.
Ülesanne kantakse ühest sõlmest teise. Kui peasõlm märkab, et sõlm on vaikinud arvatust pikema ajavahemiku jooksul, teostab peasõlm külmutatud / edasilükatud ülesande ümberjaotamise protsessi.
MapReduce raamistik on inspireeritud funktsionaalses programmeerimises kasutatavatest funktsioonidest "Map" ja "Reduce". Arvutustehniline töötlemine toimub failisüsteemis või andmebaasis salvestatud andmete puhul, mis võtab sisendvõtme väärtuste komplekti ja väljastab väljundvõtme väärtuste komplekti.
Iga päev täidetakse Google'i klastrites arvukalt MapReduce'i programme ja MapReduce'i töid. Programmid paralleelitakse automaatselt ja käivitatakse suures kaubamasinate klastris. Käitusaegne süsteem tegeleb sisendandmete jaotamisega, programmide täitmise ajastamisega masinakomplektides, masinate rikete käsitlemiseks ja masinatevahelise kommunikatsiooni haldamiseks. Programmeerijad, kellel pole kogemusi paralleelsete ja hajutatud süsteemidega, saavad hõlpsalt kasutada suure hajutatud süsteemi ressursse.
MapReduce'i kasutatakse hajutatud grep-süsteemis, hajutatud sorteerimisel, veebilinkide-graafikute ümberpööramisel, veebipääsu logistatistikas, dokumentide rühmitamisel, masinõppel ja statistilisel masintõlkes.