Didieji duomenys yra terabaitų arba petabaitų ir didesnės eilės duomenys, kuriuos sudaro kasyba, analizė ir nuspėjamasis didelių duomenų rinkinių modeliavimas. Spartus informacijos ir technologijų vystymasis suteikė unikalią galimybę asmenims ir įmonėms visame pasaulyje gauti pelną ir plėtoti naujas galimybes, iš naujo apibrėžiant tradicinius verslo modelius, naudojant plataus masto analizę.

Šiame straipsnyje pateikiama penkių populiariausių atvirojo kodo duomenų platformų apžvalga iš paukščio skrydžio. Čia yra mūsų sąrašas:

Apache Hadoopas

„Apache Hadoop“ yra atviro kodo programinės įrangos platforma, apdorojanti labai didelius duomenų rinkinius paskirstytoje aplinkoje, atsižvelgiant į saugyklą ir skaičiavimo galią, ir daugiausia sukurta ant pigių prekių aparatūros.

„Apache Hadoop“ sukurtas tam, kad lengvai padidintų kelių serverių skaičių iki tūkstančių. Tai padeda jums apdoroti vietoje saugomus duomenis atliekant bendrą paralelinio apdorojimo sąranką. Vienas iš „Hadoop“ pranašumų yra tai, kad jis tvarko gedimus programinės įrangos lygiu. Šis paveikslas iliustruoja bendrą „Hadoop“ ekosistemos architektūrą ir skirtingas sistemas:

Apache Hadoop pateikia failų sistemos sluoksnio, grupių valdymo sluoksnio ir apdorojimo sluoksnio pagrindą. Tai palieka galimybę kitiems projektams ir struktūroms ateiti ir veikti kartu su „Hadoop“ ekosistema ir sukurti savo sistemą bet kuriam sistemos sluoksniui.

„Apache Hadoop“ sudaro keturi pagrindiniai moduliai. Šie moduliai yra „Hadoop Distributed File System“ (failų sistemos sluoksnis), „Hadoop MapReduce“ (kuris veikia tiek su klasterių valdymu, tiek su apdorojimo sluoksniu), dar vienas išteklių derybininkas (YARN, klasterio valdymo sluoksnis) ir „Hadoop Common“.

Elastiniai tyrimai

„Elasticsearch“ yra visas tekstas pagrįstas paieškos ir analizės variklis. Tai labai keičiama ir paskirstyta sistema, specialiai sukurta efektyviai ir greitai dirbti su didžiųjų duomenų sistemomis, kur vienas iš pagrindinių naudojimo atvejų yra žurnalo analizė. Jis gali atlikti pažangias ir sudėtingas paieškas bei beveik realiu laiku apdoroti pažangias analitikas ir operatyvinę informaciją.

„Elasticsearch“ yra parašytas „Java“ ir yra pagrįstas „Apache Lucene“. Išleistas 2010 m. Ir greitai įgijo populiarumą dėl savo lanksčios duomenų struktūros, keičiamo dydžio architektūros ir labai greito atsakymo laiko. „Elasticsearch“ yra pagrįstas JSON dokumentu, kuriame nėra schemos struktūros, todėl priėmimas yra lengvas ir be rūpesčių. Tai yra viena iš aukščiausių įmonės lygio paieškos sistemų. Galite parašyti jo klientą bet kuria programavimo kalba; „Elasticsearch“ oficialiai dirba su „Java“, .NET, PHP, Python, Perl ir kt.

Elasticsearch daugiausia sąveikauja naudojant REST API. Ji gauna duomenis JSON dokumentų pavidalu su visais reikalingais parametrais ir pateikia savo atsakymą panašiai.

MongoDB

„MongoDB“ yra „NoSQL“ duomenų bazė, pagrįsta dokumentų saugyklos duomenų modeliu. „MongoDB“ viskas yra arba kolekcija, arba dokumentas. Norint suprasti „MongoDB“ terminologiją, rinkimas yra pakaitinis žodis lentelei, o dokumentas yra pakaitinis žodis eilutėms.

„MongoDB“ yra atviro kodo, orientuota į dokumentus ir daugiaplatformė duomenų bazė. Pirmiausia jis parašytas C++. Tai taip pat pirmaujanti „NoSQL“ duomenų bazė, teikianti aukštą našumą, aukštą prieinamumą ir lengvą mastelio keitimą. „MongoDB“ naudoja į JSON panašius dokumentus su schema ir teikia turtingą užklausų palaikymą. Kai kurios pagrindinės funkcijos apima indeksavimą, replikavimą, apkrovos balansavimą, kaupimą ir failų saugojimą.

Kasandra

„Cassandra“ yra atvirojo kodo „Apache“ projektas, skirtas „NoSQL“ duomenų bazių valdymui. „Cassandra“ eilutės yra suskirstytos į lenteles ir indeksuojamos klavišu. Jis naudoja tik pridėtą, žurnalų pagrindu veikiantį saugojimo variklį. „Cassandra“ duomenys yra paskirstyti keliems be pagrindinio mazgo be vieno gedimo taško. Tai aukščiausio lygio „Apache“ projektas, kurio plėtrą šiuo metu prižiūri „Apache Software Foundation“ (ASF).

„Cassandra“ skirta spręsti problemas, susijusias su dideliu (internetiniu) mastu. Atsižvelgiant į „Cassandra“ be pagrindo architektūrą, ji gali tęsti operacijas, nepaisant nedidelio (nors ir reikšmingo) aparatūros gedimų. „Cassandra“ eina per kelis mazgus keliuose duomenų centruose. Jis pakartoja duomenis šiuose duomenų centruose, kad būtų išvengta gedimų ar prastovų. Tai daro sistemą labai atsparia trikdžiams.

„Cassandra“ naudoja savo programavimo kalbą, kad pasiektų duomenis per savo mazgus. Tai vadinama Cassandra Query Language arba CQL. Jis panašus į SQL, kurį daugiausia naudoja „Relational Databases“. CQL galima naudoti paleidus savo programą, vadinamą cqlsh. „Cassandra“ taip pat teikia daug integravimo sąsajų kelioms programavimo kalboms, kad būtų galima sukurti programą naudojant „Cassandra“. Jos integravimo API palaiko „Java“, „C ++“, „Python“ ir kitus.

„Apache HBase“

„HBase“ yra dar vienas „Apache“ projektas, skirtas valdyti „NoSQL“ duomenų saugyklą. Jis sukurtas siekiant išnaudoti „Hadoop“ ekosistemos ypatybes, įskaitant patikimumą, atsparumą gedimams ir pan. Jis naudoja HDFS kaip failų sistemą saugojimo tikslais. Yra keli duomenų modeliai, su kuriais veikia „NoSQL“, o „Apache HBase“ priklauso į stulpelius orientuotam duomenų modeliui. „HBase“ iš pradžių buvo paremta „Google Big Table“, kuri taip pat yra susijusi su nestruktūrizuotų duomenų stulpeliais.

„HBase“ viską saugo raktų ir verčių poros pavidalu. Svarbu atkreipti dėmesį į tai, kad „HBase“ raktas ir vertė yra baitų pavidalu. Taigi, norėdami išsaugoti bet kokią informaciją „HBase“, turite konvertuoti informaciją į baitus. (Kitaip tariant, jo API nepriima nieko kito, išskyrus baitų masyvą.) Būkite atsargūs su „HBase“, nes saugodami duomenis turėtumėte prisiminti jo pirminį tipą. Duomenys, kurie iš pradžių buvo eilutė, bus grąžinti kaip baitų masyvas, jei bus priminti neteisingai. Todėl ji sukurs jūsų programoje klaidą ir užstrigs.

Tikiuosi, kad jums patiko šis straipsnis. Jei norite kurti ir kurti daug duomenų reikalaujančias programas, galite tyrinėti Anuj Kumar Duomenims imlių programų kūrimas. Tai knyga yra jūsų vartai kurti intelektualias, daug duomenų reikalaujančias sistemas, įtraukiant pagrindinius daug duomenų reikalaujančius architektūros principus, modelius ir metodus tiesiai į savo programų architektūrą.