Big data texnologiyalari paylanmış fayl sistemləri

MapReduce ‒ kompüter klasterlərində böyük həcmlərdə (petabaytlarla) verilənlərin paralel emalı üçün Google-nin 2004-cü ildə təklif etdiyi paylanmış hesablama modelini reallaşdırır (Java-da). MapReduce-un işi iki addımdan ibarətdir: Map və Reduce. Map-addımda giriş verilənləri ilkin emal edilir. Bunun üçün kompüterlərdən biri (master node – əsas qovşaq) məsələnin ilkin verilənlərini alır, onu hissələrə bölür və ilkin emal üçün paylanmış fayl sisteminin işçi qovşaqlarına paylayır. Reduce-addımda əsas qovşaq ilkin emal edilmiş verilənləri işçi qovşaqlardan toplayır, onları birləşdirir və məsələnin həllini formalaşdırır [21].

Pig ‒ böyük həcmdə verilənləri qiymətləndirmək üçün yüksək səviyyəli dildir. Apache Pig komponenti Big Data çoxluqları üzərində komandaların yaradılması və yerinə yetirilməsi ideyası ilə yaradılmışdı. Pig proqramlarının əsas xüsusiyyəti paralleləşdirmədir, bu böyük verilənlər çoxluqlarını idarə etməyə kömək edir. Pig komponenti MapReduce proqramlar ardıcıllığını generasiya edən kompilyatordan və „Pig Latin’ dilindən ibarətdir, Hadoop paylanmış verilənlər bazalarında SQL-ə oxşar sorğuların yerinə yetirilməsinə dəstək verir.

Hive – verilənlər anbarı infrastrukturudur, Hadoop fayl sistemində yerləşən böyük həcmdə verilənlərə SQL vasitəsilə müraciət etmək üçün tətbiq edilir, MapReduce tam dəstəklənir. Hive-in digər özəlliyi sorğuları sürətləndirmək üçün bit-xəritə indeksləri kimi indeksləri dəstəkləməsidir. Apache Hive Facebook tərəfindən yaradılmışdı, hazırda digər şirkətlər tərəfindən də istifadə edilir və inkişaf etdirilir.