MapReduce taqsimlangan ma’lumotlar modeli
MapReduce dasturiy tizim Google kompaniyasi tomonidan yaratigan bo‘lib, Google File
System taqsimlangan fayl tizim asosida amalga oshirilgan. Bu
maxsulot Google
kompaniyasining xususiy mulki hisoblanadi. SHuningdek, MapReduce erkin va ochiq dasturiy
maxsulot hisoblanadi. MapReduce modelida barcha hisoblash muolajalari “kalit-qiymat” deb
ataladigan juftlik to‘plami ustida amalga oshiriladi. MapReduce muhitida hisoblashlarni amalga
oshirishda ikkita muhim «Map» va «Reduce» funksiyalaridan foydalaniladi (1-rasm).
1. «Map» bosqichida ma’lumotlar foydalanuvchi tomonidan aniqlangan map() funksiyasi
orqali qayta ishlanib, filtrlanadi va “kalit-qiymat”dan
iborat
ma’lumotlar to‘plamini hosil qiladi.
478
Bu erda kalit muhim axamiyatga ega. CHunki, keyinchalik bir xil qiymatli kalitlar bir xildagi
Reduce() funksiyasiga yuboriladi. map() funksiyaning barcha ekzemplyarlari bir-biridan
mustaqil parallel holda ishlashi mumkin.
2. «Reduce» bosqichi. Reduce() funksiyasi ham foydalanuvchi tomonidan yoziladi. Unda
oldingi bosqichda hosil bo‘lgan barcha “kalit-qiymat” yozuvlarga kalitiga qarab ishlov beriladi.
Funksiya qaytaridgan qiymat MapReduce masalaning oxirgi natijasi hisoblanadi. Reduce()
funksiyaning ishlayotgan barcha
ekzemplyarlari bir-biridan
mustaqil parallel holda ishlashi
mumkin.
MapReduce texnologiyasi katta hajmdagi ma’lumotlarga minglab kompyuterlar orqali
ishlov berishga mo‘ljallangan.
SHuning uchun
, unda albatta alohida kompyuterlarning ishdan
chiqishi holatlariga nisbatan turg‘unlik xususiyati bo‘lishi kerak. SHuning uchun,
MapReduce
texnologiyasi
, minglab kompyuterlarni jalb qilish bilan, turg‘unlik va kengayish talablarini
ta’minlay oladi.
1-rasm. MapReduce taqsimlangan ma’lumotlarga ishlov berish texnologiyasi
|
