Big data texnologiyalari paylanmış fayl sistemləri

Hadoop ekosistemi:

Hazırda Hadoop ekosistemi (Şəkil 1) Big Data üçün sinonim hesab edilir. Hadoop-da verilənlərin avtomatik paralelləşdirilməsini və onların klasterlərdə emalını təmin edən MapReduce texnologiyası reallaşdırılıb (2005-ci ildə Doug Cutting və Mike Cafarella tərəfindən yaradılıb, Hadoop adı Cutting-in kiçikyaşlı oğlunun oyuncaq filinin adından götürülüb). Hadoop-un komponentlərinin çoxu müxtəlif Apache layihələrində yaradılmış açıq kodlu proqram təminatıdır. Aşağıda Hadoop ekosisteminə daxil olan bəzi komponentlərin qısa təsviri verilir:

Şəkil 1. Hadoop ekosistemi

HDFS (Hadoop Distributed File System) ‒ Hadoop-un nüvəsini təşkil edir, həcmi bir neçə terabaytdan petabayta qədər olan verilənlər anbarlarının saxlanması və idarə edilməsi üçün paylanmış fayl sistemidir. HDFS giriş verilənlərini bloklara bölür və blokların hər biri serverlər çoxluğunda onlara ayrılmış yerlərdə yerləşdirilir. Kommunikasiya üçün TCP/IP səviyyəsi istifadə edilir. HDFS imtinalara dayanıqlıdır, komponentlərdən hər hansı biri sıradan çıxsa, bu sistemin ümumi işinə təsir etmir. HDFS tətbiqi proqramlara minlərlə qovşaq və petabaytlarla verilənlər miqyasında işləməyə imkan verir. Məsələn, HDFS sistemi Yahoo!-da təxminən 40 Petabayt veriləni idarə edir.