Toshkent axborot texnologiyalari universiteti individual loyiha ishi2 Mavzu: Reklama xizmatlari agentligi tizimini loyihalash

Ishonchlilik
Yuqorida muhokama qilgan boshqa modullardan farqli o'laroq, reklama serveri bizning reklama biznesimizning eng oldingi chizig'ida. Reklama serveridagi kichik muammo reklama yetkazib berishning zudlik bilan ishdan chiqishini anglatishi mumkin, bu esa asosan daromadni yo'qotishdir. Shuning uchun ishonchlilik bu erda eng muhim xususiyatdir. Yadro bo'lmagan modul ishlamay qolsa, biz zaxira rejasiga qaytishimiz kerak. Misol uchun, agar reyting tizimi javob bermasa, bizning reklama serverimiz reklama qiymatini baholash uchun standart modelga ega bo'lishi kerak. To'liq tizim ishlamay qolsa, tezda orqaga qaytarish va qayta joylashtirish juda muhimdir. Ko'p xotira ishga tushirilishi tufayli reklama serveri uchun bu odatda oson ish emas. Biz ishga tushirish kodining yo'lini optimallashtirayotganimizda, shuningdek, kanareykalarni joylashtirish strategiyasini qabul qilishimiz yoki ba'zi issiq zaxira serverlarga ega bo'lishimiz mumkin.
Kechikish
Reklama so'roviga yashin tezligida xizmat qilish uchun hiyla-nayrang indeksni xotiraga yuklashdir. Biroq, odatda xotira hajmida cheklov mavjud. Ushbu cheklovning sabablari har xil. Bu bulut provayderidan yoki bizda mavjud bo'lgan jismoniy mashinalardan kelib chiqishi mumkin. Bu biznes tomonidan iqtisodiy samaradorlik talabi tufayli ham bo'lishi mumkin. Agar indeks har bir mashina uchun bizda mavjud bo'lgan eng katta xotira hajmidan kattaroq bo'lsa, biz indeksni guruhlarga bo'lishni boshlashimiz kerak. Variantlardan biri indeksni mintaqaga bo'lishdir. Yevropadan reklama soʻrovi faqat Yevropa klasteriga yetib boradi, u faqat barcha Yevropa reklamalari uchun indeksga ega. Ushbu yondashuv boshida tabiiyroq ko'rinadi, lekin u butun reklama ish oqimi uchun mintaqaviy cheklovlarni ham qo'yadi. Yana bir variant - bir vaqtning o'zida bir nechta mashinalarni so'rash uchun dispetcherga ega bo'lish.

Ko'rsatkichlar

Biz reklamani oxirgi foydalanuvchilarga muvaffaqiyatli yetkazib berganimizda ham, bu bizning sayohatimizning oxiri emas. Ushbu jumboqning oxirgi katta qismi bu ko'rsatkichlar va statistika xizmati. Odatda, bu statistika xizmatida ish yukining ikki turi mavjud. Bir tomondan, biznes tahlilchilari naqshlarni topish, kampaniya hisobotlarini tuzish va hisob-fakturalar va hisob-kitoblarni yaratish uchun katta miqdordagi tarixiy ma'lumotlarni olishlari kerak bo'ladi. Boshqa tomondan, reklama beruvchilar o'zlarining hozirgi reklamalarining real vaqtdagi ishlashiga juda qiziqishadi. Uning
Ushbu ikki xil maqsad, shuningdek, eng yuqori samaradorlikni ta'minlash uchun turli infratuzilmani talab qiladi. Biznes tahlili uchun biz odatda barcha xom maʼlumotlarni OLAP maʼlumotlar bazasiga yoki BigQuery kabi bulutli tahliliy dasturlarga saqlaymiz. Va keyin asboblar va ma'lumotlar muhandisligi guruhlari u yerdan boshlab ko'proq quvurlarni qurishlari mumkin. Haqiqiy vaqt statistikasi uchun biz ko'pincha ma'lumotlarni Time Series ma'lumotlar bazasida saqlaymiz. Biz OpenTSDB, InfluxDB yoki Graphite kabi mavjud echimlardan foydalanishimiz yoki BigTable kabi kengaytiriladigan ma'lumotlar bazalari ustiga TSDB so'rovlar tizimini yaratishimiz mumkin. Turli xil echimlar turli yo'nalishlarga ega bo'lsa-da, bu erda asosiy tashvish ma'lumotlarning nozikligi va saqlanish muddati bo'ladi. Kichkina granularlik va past kechikish bunday real vaqtda statistika uchun kalit hisoblanadi.
Shunga qaramay, ko'rsatkichlarni turli joylarda saqlash biz ikki xil ma'lumot uzatish liniyasini qurishimiz kerakligini anglatmaydi. Oddiy dizayn mijoz yoki boshqa xizmatlardan barcha o'lchovlar va jurnallarni qabul qilish uchun frontend sifatida umumiy ko'rsatkichlar yig'uvchilari bo'lishi mumkin. Keyin, Kafka yoki PubSub kabi xabarlar navbati tizimi barcha bu voqealarni Spark yoki Dataflow kabi ba'zi oqimli ma'lumotlarni qayta ishlash dasturlariga uzatadi. Spark ilovasi ushbu xom hodisalarni biz xohlagan formatga aylantiradi va jamlaydi, so'ngra doimiylik uchun boshqa ma'lumotlar omboriga o'tadi. Bizning vaziyatimizda biz yakuniy ma'lumotlarni TSDB va OLAP DB ga yo'naltirmoqdamiz.

7-rasm. Reklama statistikasi
Shuni yodda tutingki, bunday ma'lumotlar uzatish liniyasida bitta noto'g'ri dizayn yoki nomuvofiqlik uning quyi oqimidagi iste'molchilari uchun juda ko'p jiddiy muammolar yoki cheklovlarga olib keladi. Dastlabki dizayn paytida kelajakdagi barcha talablarni tasavvur qila olmasak-da, kelajakda uni osongina kengaytirish uchun moslashuvchanlikni ta'minlashimiz kerak. Masalan, ba'zi statistik ma'lumotlarni yig'ish vazifalari bir necha kun yoki hafta davomida yoki ma'lumotlarni o'zgartirishning turli bosqichlarida ma'lumotlarni talab qiladi.