Muhammad Al-Хorazmiy nomidagi Toshkent Axborot Texnologiyalari universiteti Urganch filiali

Muhammad Al-Хorazmiy nomidagi
Toshkent Axborot Texnologiyalari universiteti
Urganch filiali



Kompyuter injinering fakulteti. Kompyuter injineringi yo`nalishi
961-19 guruh talabasi Narmatov Rustamning Ma’lumotlarning intellektual taxlili fanidan

MUSTAQIL ISH

Qabul qiluvchi: Yusupova Shoxida


URGANCH – 2023
Mavzu: Data Mining yordamida elektron tijorat tizimlarida tavsiyalar algoritmlarining samaradorligi
Reja:

1. 
   Data Mining.
   
2. 
   Elektron tijorat tizimlarida tavsiyalar.
   
3. 
   Algoritmlarining samaradorligi.
   
4. 
   Xulosa.
   
5. 
   Foydalanilgan adabiyotlar.
   

Data Mining.
Zamonaviy kompyuter atamasi Data Mining "axborot qazib olish" yoki "ma'lumotlar qazib olish" deb tarjima qilingan. Ko'pincha Data Mining bilan bir qatorda Knowledge Discovery ("bilimlarni kashf etish") va Data Warehouse ("ma'lumotlar ombori") atamalari topiladi. Data Miningning ajralmas qismi bo'lgan ushbu atamalarning paydo bo'lishi ma'lumotlarni qayta ishlash va saqlash vositalari va usullarini ishlab chiqishning yangi bosqichi bilan bog'liq. Shunday qilib, Data Mining maqsadi katta (juda katta) hajmdagi ma'lumotlarda yashirin qoidalar va naqshlarni aniqlashdir.
Gap shundaki, inson ongining o'zi turli xil ma'lumotlarning ulkan massivlarini idrok etishga moslashmagan. O'rtacha, bir kishi, ba'zi shaxslar bundan mustasno, hatto kichik namunalarda ham ikki yoki uchtadan ortiq munosabatlarni qo'lga kirita olmaydi. Ammo uzoq vaqt davomida ma'lumotlarni tahlil qilish uchun asosiy vosita rolini o'ynagan an'anaviy statistika ham real hayotdagi muammolarni hal qilishda muvaffaqiyatsizlikka uchraydi. U ko'pincha xayoliy qiymatlar bo'lgan namunaning o'rtacha xarakteristikalari bilan ishlaydi (mijozning o'rtacha to'lov qobiliyati, agar xavf funktsiyasi yoki yo'qotish funktsiyasiga qarab, mijozning to'lov qobiliyati va niyatlarini bashorat qilish kerak bo'lganda; o'rtacha signal intensivligi, siz xarakteristikalari va signal cho'qqilari fon manfaatdor esa, va hokazo. d.).
DataMining usullari tahlilchi duch keladigan ko'plab muammolarni hal qilishga imkon beradi. Ulardan asosiylari: tasniflash, regressiya, assotsiatsiya qoidalarini izlash va klasterlash. Quyida ma'lumotlarni tahlil qilishning asosiy vazifalarining qisqacha tavsifi keltirilgan.
1) Tasniflash vazifasi ob'ektning xususiyatlariga ko'ra sinfini aniqlashga qisqartiriladi. Shuni ta'kidlash kerakki, bu masalada ob'ektni belgilash mumkin bo'lgan sinflar to'plami oldindan ma'lum.
2) Regressiya vazifasi, xuddi tasniflash vazifasi kabi, ob'ektning ma'lum xususiyatlaridan kelib chiqib, uning ayrim parametrlarining qiymatini aniqlash imkonini beradi. Tasniflash masalasidan farqli o'laroq, parametrning qiymati cheklangan sinflar to'plami emas, balki haqiqiy sonlar to'plamidir.
3) Assotsiatsiya vazifasi. Assotsiatsiya qoidalarini qidirishda maqsad ob'ektlar yoki hodisalar o'rtasidagi tez-tez bog'liqliklarni (yoki assotsiatsiyalarni) topishdir. Topilgan bog'liqliklar qoidalar ko'rinishida taqdim etilgan va tahlil qilingan ma'lumotlarning mohiyatini yaxshiroq tushunish uchun ham, voqealar sodir bo'lishini bashorat qilish uchun ham ishlatilishi mumkin.
4) Klasterlashning vazifasi mustaqil guruhlar (klasterlar) va ularning xususiyatlarini tahlil qilinayotgan ma'lumotlarning butun majmuasida izlashdan iborat. Ushbu muammoni hal qilish ma'lumotlarni yaxshiroq tushunishga yordam beradi. Bundan tashqari, bir hil ob'ektlarni guruhlash ularning sonini kamaytirishga va natijada tahlilni osonlashtirishga imkon beradi.
5) Ketma-ket naqshlar - vaqt bilan bog'liq bo'lgan hodisalar o'rtasida qonuniyatlarni o'rnatish, ya'ni. Agar X voqea sodir bo'lsa, Y hodisasi ma'lum vaqtdan keyin sodir bo'lishiga bog'liqlikni aniqlash.
6) og'ishlarni tahlil qilish - eng xarakterli bo'lmagan naqshlarni aniqlash.
Sanab o'tilgan vazifalar maqsadiga ko'ra tavsiflovchi va bashoratli bo'linadi.
Ta'riflash vazifalari tahlil qilinayotgan ma'lumotlarni tushunishni yaxshilashga qaratilgan. Bunday modellardagi asosiy nuqta - natijalarning inson idroki uchun qulayligi va shaffofligi. Ehtimol, topilgan naqshlar o'rganilayotgan aniq ma'lumotlarning o'ziga xos xususiyati bo'lib, boshqa joyda topilmaydi, lekin u hali ham foydali bo'lishi mumkin va shuning uchun ma'lum bo'lishi kerak. Ushbu turdagi muammolar klasterlash va assotsiatsiya qoidalarini qidirishni o'z ichiga oladi.
Bashoratli masalalarni yechish ikki bosqichga bo'linadi. Birinchi bosqichda ma'lum natijalarga ega bo'lgan ma'lumotlar to'plamiga asoslangan model quriladi. Ikkinchi bosqichda u yangi ma'lumotlar to'plamiga asoslangan natijalarni bashorat qilish uchun ishlatiladi. Bunday holda, albatta, qurilgan modellarning iloji boricha aniq ishlashi talab qilinadi. Ushbu turdagi muammolar tasniflash va regressiya muammolarini o'z ichiga oladi. Bu, shuningdek, assotsiatsiya qoidalarini topish muammosini o'z ichiga oladi, agar uni hal qilish natijalaridan ma'lum voqealar sodir bo'lishini taxmin qilish uchun foydalanish mumkin bo'lsa.
Algoritm samaradorligi, bir algoritmning ma'lumotlar ustida qanday muvaffaqiyatli ishlashi va to'g'ri natijalar chiqarishi bilan bog'liqdir. Quyidagi muhim faktorlar algoritm samaradorligini ta'minlashda muhim ahamiyatga ega:
Ma'lumotlar sifati: Algoritm samaradorligi ma'lumotlar sifatiga to'g'ri bog'liq. Ma'lumotlar yiqilgan, toza va xavfsiz bo'lishi kerak. Yiqilgan ma'lumotlar algoritmlarni ham yaxshi o'rganishga ham yaxshi natijalar chiqarishga ta'sir qiladi.
Ma'lumotlar miqdori: Algoritm samaradorligi uchun ko'p ma'lumotlar o'qitilishi kerak. Ko'p ma'lumotlar, algoritmlarni yaxshi tark etish va ma'lumotlardagi chegaralarni aniqlashda eng yaxshi natijalarni chiqarishga yordam beradi. Agar ma'lumotlar yetersiz bo'lsa, algoritm ham yaxshi o'rganishga, ham to'g'ri natijalar chiqarishga imkon bermaydi.
Algoritmlar to'g'risidagi bilim va tajriba: Algoritmlar samaradorligi, o'rganish va amaliyotga asoslangan tajriba va bilimni talab qiladi. Algoritmlarni yaxshi tushunish, optimal parametrlarni sozlash, va ma'lumotlar ustida tahlil qilish bilan bog'liq tajribalar, algoritmlarni yaxshi natijalar chiqarishga yo'naltiradi.
Hiperparametrlar optimizatsiyasi: Algoritmlar ko'plab hiperparametrlarga ega bo'ladi, masalan, learning rate, regularization parameter, yoki modelning kompleksligini belgilovchi hiperparametrlar. Hiperparametrlar optimizatsiyasi, eng yaxshi hiperparametrlarni topish va algoritmlarni yuqori samaradorlikka ko'tarishga imkon beradi. Bu jarayonda, hiperparametrlar optimizatsiyasida qo'llaniladigan usullar va avtomatik hiperparametrlar optimizatsiya texnikalari muhim ahamiyatga ega bo'ladi.
Algoritmlarni ta'minlash va diqqatga olish: Algoritmlar samaradorligini oshirish uchun algoritmlarni to'g'ri tahrirlash va yangilash kerak. Yangi algoritmlarni o'rganish, sozlash, va algoritmlarni yangi ma'lumotlar ustida sinab ko'rish yordamida samaradorlikni oshirish mumkin.
Avtomatlashtirish: Algoritm samaradorligini oshirish uchun avtomatlashtirish texnikalari va avtomatlashtirish platformalari foydalanish tavsiya etiladi. Avtomatlashtirish, bir qator jarayonlarni avtomatik tarzda bajarishga imkon beradi, shuningdek, hiperparametrlar optimizatsiyasini avtomatiklashtirish, model arxitekturasi optimizatsiyasini amalga oshirish, va ma'lumotlardagi chegaralarni aniqlashni avtomatiklashtirish imkoniyatlarini beradi.
Samaradorlik, ma'lumotlar ustida aniqlash algoritmlarining asosiy maqsadi bo'lib, yuqoridagi faktorlarni o'z ichiga olgan holda algoritmni samaradorlikka oshirish mumkin. Bu ko'rsatkichlarni amalga oshirish, algoritmlarni yaxshi o'rganish, ma'lumotlar tahlil qilish, hiperAlgoritmlar samaradorligi, bir algoritming ma'lumotlar ustida qanday muvaffaqiyatli ishlashi va to'g'ri natijalar chiqarishi bilan bog'liqdir. Bu muvaffaqiyat algoritmlarning ma'lumotlar ustida aniqlash, qoidalar va patternlarni tashkil qilish, ma'lumotlardagi tarixiy tendentsiyalarni aniqlash va boshqalar kabi vazifalarni bajarishdagi samaradorliklarini anglatadi.
Algoritmlar samaradorligini oshirish uchun quyidagi muhim asosiy qator muhim qadamlar mavjud:
Ma'lumotlar to'plami: Algoritmlarni yaxshi o'rganish va aniqlash uchun ma'lumotlar to'plami juda muhimdir. Ma'lumotlar to'plami yaxshi tayyorlangan, to'g'ri formatda bo'lgan, yiqilgan ma'lumotlardan tashkil topgan bo'lishi kerak. Ma'lumotlar ustida qidiruv, filtrlash, va normalizatsiya qilishning muhimligi bu jarayonda hisobga olingan.
Algoritm turi: Algoritmlar samaradorligi uchun foydalaniladigan algoritm turi ham muhimdir. Misol uchun, bayes algoritmlari, qaror qabul qilish algoritmlari (decision tree), k-means, neyron tarmoqlar, maksimal entropiya va boshqalar kabi algoritmlar mavjud. Har bir algoritmning o'ziga xos xususiyatlari va samaradorlik parametrlari bo'ladi.
Ma'lumotlar tahlili: Ma'lumotlar ustida tahlil qilishning muhim ahamiyati ham mavjud. Bu tahlil, ma'lumotlar ustida qoidalar va patternlarni aniqlashga yordam beradi. Ma'lumotlar ustida statistik analiz, ma'lumot vizualizatsiyasi, korrelyatsiya tahlili, tashqi vaqtli tahlil, klasterlash va boshqalar kabi usullar foydalanilishi mumkin.
Cross-validation va ma'lumotlar bo'linishi: Algoritmlar samaradorligini oshirish uchun ma'lumotlar doirasida cross-validation (kross-validatsiya) va ma'lumotlar bo'linishi usullari qo'llanilishi mumkin. Cross-validation, ma'lumotlarni o'rganish va sinovlash jarayonida ta'minlashga yordam beradi. Ma'lumotlar bo'linishi esa, ma'lumotlar to'plamini o'rgangan va sinovdan tashqari ma'lumotlarda sinovlash uchun foydalaniladi.
Hiperparametrlar optimizatsiyasi: Algoritmlarning samaradorligini oshirish uchun hiperparametrlar optimizatsiyasi muhimdir. Hiperparametrlar, algoritmlarni sozlash va boshqarishga qo'llaniladigan parametrlardir. Hiperparametrlar optimizatsiyasi, algoritmlar uchun eng yaxshi hiperparametrlarni topish, o'zgaruvchilarning qo'shimcha tashkil topishini tahlil qilish va algoritmlarni yaxshi o'rganishga yordam beradi.
Test natijalarining tahlili: Algoritmlar samaradorligini aniqlash uchun test natijalarining tahlili muhimdir. Bu natijalar, algoritmlar tomonidan qayta qayta aniqlangan patternlarni o'rganish va qaror qabul qilish jarayonida qanday natijalar chiqarishini tushunishga yordam beradi. Bu jarayonda algoritmning yo'qolgan faux paslari aniqlanadi va o'zgarishlarni qo'llash or
Algoritm, belgilangan vazifani bajarish uchun qadam-qadamga tartiblangan operatsiyalar to'plamidir. Bu operatsiyalar, ma'lumotlar bilan ishlash, hisoblash, qaror qabul qilish, qidiruv, tartiblash, takrorlash va boshqalar kabi amallardan iborat bo'lishi mumkin. Algoritmning maqsadi, muayyan bir vazifani avvalgi holatdan o'zgartirib kerakli natijalarni olishdir.
Algoritmning quyidagi asosiy xususiyatlari mavjud:
Kiritish: Algoritmda kerakli ma'lumotlarni kiritish uchun usullar va qo'llanma belgilanishi kerak. Bu ma'lumotlar, algoitmda amalga oshiriladigan hisob-kitob operatsiyalari uchun kerakli malumotlardir.
Tartiblash: Algoritm, amalga oshirilishi kerak bo'lgan operatsiyalarni aniq tartibda bajarish uchun qadam-qadamga tartiblanishi kerak. Bu tartib, bir amalni bajarishdan keyingi amalni bajarish uchun kerakli bo'lgan ma'lumotlarni tayinlash bilan bog'liq bo'lishi mumkin.
Shartlar: Algoritmlar, shartlar bilan bir-qator amallar bajarishni talab qilishi mumkin. Shartlar, belgilangan holatlar bo'yicha belgilanadi va algoritmda belgilanadigan amallar bilan bog'liq bo'ladi.
Hisobotlash: Algoritmda muhim hisob-kitoblar, ma'lumotlarni yig'ish, ko'paytirish, bo'lish, yig'indi, o'rtacha hisoblash va boshqalar kabi hisob-kitob amallari amalga oshirilishi mumkin. Bu hisobotlash operatsiyalari, algoritmda natijalar olish uchun muhimdir.
Takrorlanish: Algoritmda biror birikmalar yoki amallar bir necha marta takrorlanishi talab qilinishi mumkin. Bu takrorlanish, biror amalni bir necha marta bajarish uchun qo'llaniladi. Misol uchun, sikl (loop) operatori bu takrorlanishni amalga oshirish uchun foydalaniladi.
Chiquvchi: Algoritmda amalga oshirilgan natijalar chiquvchi yoki natijalarni saqlash usullari belgilanishi mumkin. Natijalar, konsolga chiqarish, faylga yozish, ekranga chiqarish yoki boshqa usullar orqali ko'rsatilishi mumkin.
Yuqori darajadagi bajarish va samaradorlik: Algoritmlar, muayyan vazifalarni bajarishda yuqori darajadagi samaradorlikni ta'minlashga qaratilgan. Bu samaradorlik, algoritmlarning to'g'ri va samarador natijalar chiqarish, ma'lumotlar ustida yuqori darajada tahlil qilish va xavfsizlikni ta'minlash bilan bog'liq.
Algoritmlar, kompyuterlarning, avtomobillarning, telekommunikatsiya tarmoqlarining, internetning, matematika va boshqa sohalarning bir qator muhim vazifalarini bajarishda qo'llaniladi. Algoritmlar, ma'lum bir masalani hal qilishda yoki ma'lumotlar ustida tahlil qilishda keng qo'llaniladi. Amaliyotda, algoritmlar mustaqil dasturlar yoki dasturlash tillari yordamida yaratiladi.
NetworkX Python dasturlash tilida ijtimoiy tarmoq tahlilini osonlashtiradigan bir kutubxonadir. Ushbu kutubxona tarmoq ma'lumotlarini yaratish, tahlil qilish, tizim komponentlarini topish, darajalar, yo'nalishlar, yo'lovchilar soni va boshqalar kabi ijtimoiy tarmoqning turli aspektlarini o'rganishga imkon beradi. Ushbu kutubxona yordamida tarmoq obyektlari va ularning xususiyatlarini yaratish, ma'lumotlarni o'qish va o'zgartirish, tahlil amallarini bajarmoq, vizualizatsiya qilish va boshqa qo'shimcha funktsiyalarni amalga oshirish mumkin.
NetworkX kutubxonasining asosiy xususiyatlari:
1. Tarmoq ma'lumotlarini saqlash va tahrirlash imkoniyati.
2. Tarmoq obyektlarini yaratish va ularga xususiyatlar qo'shish.
3. Tarmoqning komponentlarini topish va ularga bog'liqligi haqida ma'lumotlar olish.
4. Tarmoqning darajalarini, yo'nalishlarini va yo'lovchilar sonini hisoblash.
5. Tarmoqning tahlilini amalga oshirish uchun qo'llanmalar, misol uchun, eng qisqa yo'l topish, markov tizimi, tarmoqning o'rta darajadagi gradusi va boshqalar.
6. Tarmoqning vizualizatsiyasini o'zgartirish va ko'rish uchun qo'llanmalar.
NetworkX kutubxonasining o'rnatilishi va ishlatilishi oson, hamda Pythonning ko'p yoki kam barcha versiyalarida ishlaydi. Ushbu kutubxona tahlil sohasida hisoblanadi va akademik sohada, iste'molchilar va tadqiqotchilar tomonidan keng qo'llaniladi.
Albatta! Ma'lumotlarni qidirish orqali elektron tijorat tizimlarida tavsiyalar algoritmlarining samaradorligi haqida ba'zi qo'shimcha tafsilotlar:
Birgalikda filtrlash: Hamkorlikdagi filtrlash - bu shaxsiy tavsiyalar berish uchun foydalanuvchi xatti-harakati va afzalliklarini tahlil qiluvchi keng tarqalgan tavsiyalar algoritmi. Uni ikki turga bo'lish mumkin: foydalanuvchiga asoslangan va ob'ektga asoslangan hamkorlikda filtrlash. Foydalanuvchiga asoslangan hamkorlikdagi filtrlash o'xshash foydalanuvchilarni ularning afzalliklari asosida aniqlaydi va o'xshash foydalanuvchilarga yoqqan narsalarni tavsiya qiladi. Elementga asoslangan hamkorlikdagi filtrlash foydalanuvchining afzalliklari asosida o'xshash narsalarni aniqlaydi va foydalanuvchi yoqtirgan narsalarga o'xshash narsalarni tavsiya qiladi. Birgalikda filtrlash algoritmlari foydalanuvchi imtiyozlarini samarali tarzda qo'lga kiritishi va shaxsiy tavsiyalar berishi mumkin.
Kontentga asoslangan filtrlash: Kontentga asoslangan filtrlash foydalanuvchilarga o'tmishdagi afzalliklari va elementlarning mazmuni yoki atributlari asosida narsalarni tavsiya qiladi. U elementlarning xususiyatlarini tahlil qiladi va tavsiyalar yaratish uchun ularni foydalanuvchi profillari yoki tarixiy ma'lumotlar bilan moslashtiradi. Misol uchun, agar foydalanuvchi jangovar filmlarni afzal ko'rgan bo'lsa, kontentga asoslangan filtrlash algoritmlari shunga o'xshash atributlarga ega bo'lgan boshqa aksiyalar filmlarini tavsiya qilishi mumkin. Kontentga asoslangan filtrlash foydalanuvchilarning o'zaro aloqalari haqida cheklangan ma'lumotlar mavjud bo'lganda yoki yangi foydalanuvchilar uchun tavsiyalar berganda foydalidir.
Gibrid yondashuvlar: Gibrid tavsiya tizimlari o'zlarining shaxsiy kuchli tomonlaridan foydalanish uchun bir nechta tavsiya algoritmlarini birlashtiradi. Ushbu tizimlar yanada aniqroq va xilma-xil tavsiyalar berish uchun hamkorlikdagi filtrlash, kontentga asoslangan filtrlash va boshqa usullarni birlashtirishi mumkin. Misol uchun, gibrid yondashuv foydalanuvchi imtiyozlarini qo'lga kiritish uchun hamkorlikda filtrlash va element atributlari va kontekstni o'z ichiga olish uchun kontentga asoslangan filtrlashdan foydalanishi mumkin. Gibrid yondashuvlar individual algoritmlarning cheklovlarini engib o'tishga va tavsiyalar samaradorligini oshirishga qaratilgan.
O'rganishni mustahkamlash: Tavsiya qilish jarayonini vaqt o'tishi bilan optimallashtirish uchun tavsiya tizimlarida mustahkamlashni o'rganish usullarini qo'llash mumkin. Ushbu algoritmlar foydalanuvchilarning fikr-mulohazalaridan o'rganadi va tavsiyalarni mos ravishda moslashtiradi. O'rganishni kuchaytirish algoritmlari turli xil tavsiya strategiyalarini o'rganishi, foydalanuvchilarning fikr-mulohazalari asosida ularning samaradorligini baholashi va foydalanuvchi qoniqishini oshirish uchun tavsiyalarni moslashtirishi mumkin. Ushbu yondashuv tavsiya tizimlarini doimiy ravishda takomillashtirish va o'zgaruvchan foydalanuvchi imtiyozlariga moslashish imkonini beradi.
Chuqur o'rganishga asoslangan yondashuvlar: Neyron tarmoqlar kabi chuqur o'rganish usullari tavsiya tizimlarida istiqbolli natijalarni ko'rsatdi. Ushbu modellar foydalanuvchining ob'ekt o'zaro ta'siridan murakkab naqsh va tasvirlarni o'rganishi va aniq bashorat qilishlari mumkin. Chuqur o'rganishga asoslangan tavsiya tizimlari foydalanuvchining murakkab afzalliklari va ob'ektlar munosabatlarini qamrab olishi mumkin, bu esa aniqroq va moslashtirilgan tavsiyalarga olib keladi. Ushbu modellar katta hisoblash resurslari va katta hajmdagi o'quv ma'lumotlarini talab qiladi, lekin eng zamonaviy tavsiyalar ishlashini ta'minlaydi.
Shuni ta'kidlash kerakki, tavsiyalar algoritmini tanlash turli omillarga, jumladan, mavjud ma'lumotlarga, tizim talablariga va o'ziga xos biznes kontekstiga bog'liq. Tegishli o'lchovlardan foydalangan holda turli xil algoritmlarni baholash va taqqoslash va real hayotda ishlashni hisobga olish ma'lum bir elektron tijorat tizimi uchun tavsiya etilgan eng samarali yondashuvni aniqlash uchun juda muhimdir.

Foydalanilgan adabiyotlar.

1. 
   Mashinani o'qitish va neyron tarmoq arxitekturasi
   
2. 
   https://vas3k.ru/blog/machine_learning/
   
3. 
   Tensorflow
   
4. 
   https://colab.research.google.com/notebooks/mlcc/tensorflow_programming_concepts.ipynb
   
5. 
   https://www.tensorflow.org/tutorials/quickstart/beginner
   
6. 
   Colab
   
7. 
   https://habr.com/ru/post/428117/
   
8. 
   https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
   
9. 
   https://habr.com/ru/post/413229/
   
10. 
    Data
    
11. 
    https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic)
    
12. 
    https://towardsdatascience.com/top-sources-for-machine-learning-datasets-bb6d0dc3378b
    
13. 
    https://docs.microsoft.com/ru-ru/azure/machine-learning/team-data-science-process/prepare-
    
14. 
    data
    
15. 
    http://blog.datalytica.ru/2018/04/blog-post.html