Big data texnologiyalari paylanmış fayl sistemləri

BİG DATA TEXNOLOGİYALARI

Paylanmış fayl sistemləri:

Big Data (terabaytlar, petabaytlar) paylanmış fayl sistemlərində saxlana və sistemləşdirilə bilər. Paylanmış fayl sisteminin idarə edilməsi üçün standart texniki avadanlıq və açıq kodlu proqram təminatı (məsələn, Hadoop) istifadə edilməklə verilənlər anbarını etibarlı şəkildə nisbətən asanlıqla reallaşdırmaq olar.

Big Data paylanmış fayl sistemləri Google File System, Lustre (Linux və Clusters və ya Lustre File System, LFS), IBM-in fayl sistemi General Parallel File System (GPFS), Hadoop Distributed File System (HDFS) platformaları və bir çox digər həllərlə dəstəklənir.

Google File System daha çox axtarış məsələlərinə hesablanıb, HDFS isə analitik proqramlar üçün daha çox yarayır. Lakin elə tətbiq sahələri vardır ki, sadalanan vasitələrdən heç biri tam şəkildə tələbləri təmin etmir və onlarda verilənlərə paylanmış müraciət tələb edilir, verilənlər müxtəlif anbarlar arasında, o cümlədən coğrafi paylana bilər. Bu zaman xərcləri minimallaşdırmaq üçün verilənlərin izafi miqrasiyasından qaçmaq və çoxsəviyyəli sistemdə verilənləri istifadə edildikləri yerə yaxın saxlamaq lazımdır.

Verilənlər bazalarının yeni növləri:

Verilənlərin həcminin kəskin artmasının təsiri altında stabil sahə hesab edilən verilənlər bazalarını idarəetmə sistemləri (VBİS) sahəsində müəyyən fəallıq hiss olunmağa başlayır ki, bu da özünü– NoSQL və NewSQL kimi iki hərəkatın meydana çıxmasında özünü göstərir.

NoSQL (not only SQL və ya no SQL) − ənənəvi relyasion verilənlər bazalarında istifadə olunan SQL vasitəsilə verilənlərə müraciətdən əhəmiyyətli dərəcədə fərqlənən verilənlər bazası modellərinin reallaşdırılmasına yönəlmiş bir sıra layihələri, yanaşmaları bildirən termindir (2009-cu ildə meydana çıxıb). NoSQL bazaları - yeni növ verilənlər bazasıdır: qeyri-relyasion, paylanmış, açıq kodlu və üfüqi miqyaslanandır.

NoSQL-həllərin tətbiqi zamanı verilənlər sxeminin təsviri üçün heşcədvəllər, ağaclar və digər verilənlər strukturları istifadə edilə bilər.

NoSQL konsepsiyasının tərəfdarları qeyd edirlər ki, bu konsepsiya heç də relyasion modelləri və SQL dilini tam inkar etmir. Layihə o faktdan çıxış edir ki, SQL mühüm vasitədir, lakin o, universal ola bilməz. Relyasion verilənlər bazaları üçün göstərilən problemlərdən biri böyük həcmdə verilənlər ilə pis işləməsidir. Layihənin məqsədi SQL-in çevik olmadığı yerlərdə verilənlər bazalarının imkanlarını genişləndirməkdir.

Effektiv klaster həlləri:

Hazırda paralel verilənlər bazaları texologiyaları geniş yayılıb. Bu texnologiya prosessorlar çoxluğunun vahid verilənlər bazasına müraciətini təmin edir ki, bu da tranzaksiyaların daha yüksək səviyyədə buraxılış qabiliyyətinə çatmasına, çox sayda istifadəçinin eyni zamanda işləməsini dəstəkləməyə və mürəkkəb sorğuların yerinə yetirilməsini sürətləndirməyə imkan verir.

SNA (Shared Nothing Architecture) – resursları paylaşılmayan arxitektur daha yaxşı miqyaslanır və getdikcə daha populyar olur. SNA – paylanmış müstəqil hesablama arxitekturudur, burada hər bir qovşağın öz yaddaşı, disk massivi və giriş-çıxış qurğuları vardır. Belə arxitekturda hər bir qovşaq özlüyündə müstəqildir və şəbəkənin digər qovşaqları ilə heç nə ilə bölüşmür. Hər bir SNA qovşağı digər qovşaqlarla xüsusi protokolla qarşılıqlı əlaqədə olaraq, öz məsələsini yerinə yetirir. Belə sistemlərin məhsuldarlığını hər bir qovşaqda prosessorlar, operativ yaddaş, disk yaddaşı əlavə etməklə və ya belə qovşaqların sayını artırmaqla yüksəltmək olar.