Tarqalgan hisoblash (High Performance Computing HPC) va (Grid Computing) jamoalari yillar davomida MPI (Message Passing Interface) kabi amaliy interfeyslardan (API) foydalangan holda keng ko'lamli ma'lumotlarni qayta ishlash bilan shug'ullanadi. (Message Passing Interface). Tafsilotlarga kirmasdan, HPC yondashuvi SAN ma'lumotlarni saqlash tarmog'i (Storage Area Network) tomonidan boshqariladigan umumiy fayl tizimi bilan ishlaydigan mashinalar klasterlari o'rtasida ishlarni taqsimlashdan iborat edi. hudud tarmoq ). Ushbu yondashuv katta hajmdagi hisob-kitoblarni talab qiladigan vazifalar uchun yaxshi. Biroq, tugunlar katta hajmdagi ma'lumotlarga kirishi kerak bo'lganda muammolarni keltirib chiqaradi (yuzlab gigabaytlar – MapReduce undan keyin chegara, to'liq yorqinlikda paydo bo'ladi) chunki tarmoq o'tkazish qobiliyati muammoga ¬aylanadi va tugunlar ishlay boshlaydi.
Ma'lumotlar joylashuvi deb ataladigan ushbu xususiyat MapReduce texnologiyasining markazida joylashgan . va uning yaxshi ishlashi uchun sababdir. Dizaynerlar tarmoq o'tkazish qobiliyati ma'lumotlar markazi muhitidagi eng qimmatli resurs ekanligini tushunishadi (juda ko'p ma'lumotlarni nusxalash tarmoq havolalarini osongina tiqilishi mumkin) va MapReduce -ni amalga oshirish tarmoq topologiyasini aniq modellashtirish orqali iloji boricha uni saqlashga harakat qiling. Shuni ta'kidlash kerakki, bu yondashuv MapReduce -ga asoslangan intensiv hisob-kitoblarga to'sqinlik qilmaydi .
MPI bilan dasturchi nima sodir bo'lishini to'liq nazorat qiladi, lekin u -ma'lumotlarni uzatishning barcha mexanikasini amalga oshirishni aniq belgilashi, uni past darajadagi C funktsiyalari sifatida ifodalashi kerak va rozetkalar kabi konstruksiyalar (yuqori darajadagi tahlil qilish algoritmlari bilan birga). MapReduce faqat ¬yuqori darajada ishlaydi: dasturchi kalit-qiymat juftliklari funktsiyalari nuqtai nazaridan o'ylaydi va ma'lumotlar oqimini boshqarish yashirindir.
Keng ko'lamli taqsimlangan muhitda jarayonlarni muvofiqlashtirish ko'plab muammolarni keltirib chiqaradi. Eng qiyin qismi, butun hisoblashni davom ettirayotganda, qisman nosozliklarni to'g'ri hal qilishdir (masofaviy jarayon buzilganmi yoki yo'qligini bilmasangiz).
