Koshti Data Mining

Statistik usullar Ma'lumotlarni qazib olish
Qi ichida Usullar o'zaro bo'linadi:

• statistik ma'lumotlarning tabiatini oldinga tahlil qilish (statsionarlik, normallik, mustaqillik, bir xillik gipotezalarini qayta baholash, funktsiya turini baholash rozpodílu, vv parametrív yupqa);

  
  

• vyyavlennya zv'yazkiv deb naqshlar(chiziqli va chiziqli bo'lmagan regressiya tahlili, korrelyatsiya tahlili va boshqalar);

  
  

• boy statistik tahlil (chiziqli va chiziqli bo'lmagan diskriminant tahlili, klaster tahlili, komponentlar tahlili, omil tahlili va boshqalar);

  
  

• dinamik modellar va vaqt seriyalariga asoslangan prognoz.

  
  

Statistik usullarning arsenalini Ma'lumotlarni qazib olish bir necha usullar guruhlariga bo'linadi:

• O'tgan ma'lumotlarni tavsiflovchi tahlil qilish va tavsiflash.

  
  

• Bog'lanishlarni tahlil qilish (korrelyatsiya va regressiya tahlili, faktoriy tahlil, dispersiya tahlili).

  
  

• Boy statistik tahlil (komponent tahlili, diskriminant tahlili, boy regressiya tahlili, kanonik korrelyatsiya va boshqalar).

  
  

• Soatlik seriyalarni tahlil qilish (dinamik modellar va prognozlash).

  
  

Kibernetik usullar va ma'lumotlarni qazib olish
Ma'lumotni qazib olishning yana bir usuli - kompyuter matematikasi g'oyasini va aql-idrok nazariyasini birlashtirgan shaxssiz yondashuvlar.
Guruhdan oldin quyidagi usullar qo'llanilishi kerak:

• parcha neyron massivlari (tanib olish, klasterlash, prognoz qilish);

  
  

• evolyutsion dasturlash (zokrema. argumentlarning guruh shakli usuli uchun algoritmlar);

  
  

• genetik algoritmlar (optimallashtirish);

  
  

• assotsiativ xotira (analoglar, prototiplar taklifi);

  
  

• loyqa mantiq;

  
  

• eritma daraxti;

  
  

• ekspert bilimlarini amalga oshirish tizimlari.

  
  

Klaster tahlili

Meta-klasterlash - asosiy tuzilmalarni qidirish.
Klasterlashtirish tavsiflovchi protsedura bo'lib, hech qanday statistik naqshlarni yaratishning imkoni yo'q, lekin u sizga rivojlanish tahlilini o'tkazish va "ma'lumotlarning tuzilishi" ni o'rganish imkoniyatini ham beradi.
"Klaster" tushunchasining o'zi noaniq: teri holatida "klaster" mavjud. Klaster (klaster) tushunchasi “skupchennya”, “grono” deb tarjima qilingan. Klasterni kuchlar kabi ob'ektlar guruhi sifatida tavsiflash mumkin.
Klasterning xususiyatlarini ikkita belgi deb atash mumkin:

• ichki bir xillik;

  
  

• ovoz yalıtımı.

  
  

Oziqlanish, tobto ilmiy tuzilmasi to'g'risidagi ma'lumotlarni tartibga solish uchun vazifa boy bo'lgan kunning soatida tahlilchilar tomonidan so'raladi. taksonomiyalarni aniqlang.

Boshning orqa tomonidagi eng stosuvannya klasteri biologiya, antropologiya, psixologiya kabi fanlarni olib tashladi. Iqtisodiy maqsadlarga erishish uchun uch marta klasterlash iqtisodiy ma'lumotlar va hodisalarning o'ziga xos xususiyatlari orqali g'alaba qozonish uchun etarli emas edi.
Klasterlar shunday bo'lishi mumkinki, ular bir-biriga o'xshamaydi yoki eksklyuziv (bir-birining ustiga tushmaydigan, eksklyuziv) va bir-biriga o'xshash bo'lishi mumkin.
Shuni ta'kidlash kerakki, klaster tahlilining turli usullarini sinab ko'rish natijasida turli shakldagi klasterlarni tanlash mumkin. Misol uchun, "lanset" tipidagi klasterlar mumkin, agar klasterlar eski "lansetlar" bilan ifodalangan bo'lsa, tushirilgan shakldagi klasterlar va boshqalar, va deuce usullari ancha uzun shakldagi klasterlarni yaratishi mumkin.
Turli usullar turli o'lchamdagi klasterlarni yaratishi mumkin (masalan, kichik yoki katta) yoki ma'lumotlar to'plamida turli o'lchamdagi klasterlarning mavjudligiga imkon beradi. Klasterni tahlil qilish usullari vikidivdagi shovqinga ayniqsa sezgir, aks holda - kamroq. Turli xil klasterlash usullarini sinab ko'rish natijasida turli natijalar bekor qilinishi mumkin, bu normal va ayniqsa, boshqa algoritmning ishi. Klasterlash usulini tanlash soati ostida quyidagi vrakhovuvaty o'ziga xosligini hisobga olgan holda.
Keling, klasterlashtirishga yondashuvlarning qisqacha tavsifini beraylik.
Ma'lumotlarni taqsimlashga asoslangan algoritmlar (Partitioningalgoritms), zokrema. iterativ:

• ob'ektlarni k klasterga bo'lish;

  
  

• Klasterlashni yakunlash uchun ob'ektlarni takroriy qayta parchalanishi.

  
  

• Ierarxialgoritmlar:

  
  

• aglomeratsiya: orqa tarafdagi teri ob'ekti - to'da, to'da,

  
  

• birin-ketin, xuddi shunday kattaroq klaster hosil qiling.

  
  

Ob'ektlarning kontsentratsiyasiga asoslangan usullar (zichlikka asoslangan usullar):

• ob'ektlarni qurish imkoniyatiga asoslangan;

  
  

• Shovqinga e'tibor bermang, etarli shaklda klasterlarni perebuvannya.

  
  

To‘r - usullar (gridga asoslangan usullar):

• to'r strukturasidagi ob'ektlarni kvantlash.

  
  

Model usullari (modelga asoslangan):

• danim uchun eng mos bo'lgan klasterlarni tanib olish uchun modellarni tanlash.

  
  

Klaster tahlili usullari. Iterativ usullar.

Ko'p sonli soqchilar bilan ierarxik usul va klaster tahlili yordamchi emas. Vikariylik davrida bo'linishga asoslangan me'moriy bo'lmagan usullar, shuningdek, butunlikni bo'lishning iterativ usullari mavjud. Rozpodílu jarayonida docklar don qoidasiga amal qiladigan vaqtdan oldin yangi klasterlar hosil bo'ladi.
Bunday arxik bo'lmagan klasterlash ma'lumotlarning bir xil miqdordagi klasterlar bo'yicha taqsimlanishiga o'xshaydi. Ikki yondashuvdan foydalaning. Dam olish kunlari ma'lumotlarining keng maydonida eng katta er uchastkalari sifatida belgilangan inter-klaster yaqinidagi birinchi er, tobto. klasterning maqsadi u erda, bu erda katta "kondensatsiyalangan nuqta" mavjud. Yana bir pídkhíd polagaê í mínímízatsííí mirí vídmínností ob'êkív
Algoritm k-means (k-means)
K-o'rtachalar algoritmidagi noararxiya usullarining o'rtasining eng katta kengaytmasi, shuningdek, darajalar. shved klaster tahlili. Algoritmning so'nggi tavsifini Xartigan va Vong (Hartigan va Vong, 1978) asarlarida topish mumkin. Vídmínu vyd oaarkhíchichnykh metodív, yaky emas vmagayut prydnyh pripusnyh shkodo kilkosty kílkístí, fizibilite vikoristannja tsgogo usuli uchun u eng katta imovírnu kollikístív haqida faraz qilish kerak.
Katta masofalarga tarqaladigan k-o'rta kelajak klasterlari algoritmi, bittadan. Muammoning asosiy turi, yakí virishuê k-alqoritmi, - nayavníst ruxsat (gipotezalar) shkodo soni klasterlar, bu bilan hidi mayut buti raznimi yulka, naskolki mumkin. K raqamini tanlash oldingi tadqiqotlar, nazariy tadqiqotlar va sezgi natijalariga asoslangan bo'lishi mumkin.
Algoritmning asosiy g'oyasi: klasterlarning qat'iy soni berilgan bo'lsa, klasterlarga imkon qadar bir-biriga nisbatan bir xil o'rtacha klasterlar (barcha o'zgarishlar uchun) berilishi kerak.
Algoritmning tavsifi
1. Klasterlar orqasidagi ob'ektlar ostida ko'tarildi.

• K raqami tanlanadi va birinchi bir nechta nuqtalar klasterlarning "markazlari" hisoblanadi.

  
  

• Teri klasteri bitta markazga ega.

  
  

Kob centroidlarini tanlash quyidagicha o'rnatilishi mumkin:

• kob chiqishini maksimal darajada oshirish uchun k-qo'riqchini tanlang;

  
  

• vipadkovy vibrír k-qo'riqchi;

  
  

• birinchi k-qo'riqchilarni tanlash.

  
  

Urush orqali teri ob'ekti qo'shiq klasteriga tayinlangan.

2. Iterativ jarayon.
Klaster markazlari sanaladi, ular keyin va keyin koordinatali o'rta klasterlar tomonidan hisobga olinadi. Ob'ektlar yana qayta tiklanadi.
Markazlarni hisoblash va ob'ektlarni uch marta qayta tartibga solish jarayoni, docklar aqllardan birini hisoblamadi:

• klaster markazlari barqarorlashdi, tobto. barcha ehtiyot choralari klasterdan oldin yotadi, ular qatordagi iteratsiyadan oldin yotadi;

  
  

• takrorlash soni maksimal takrorlash soniga teng.

  
  

Robotning dumbasi va ikkitadan yaxshiroq bo'lgan k uchun k o'rtacha algoritmi kichkintoyga qaratilgan.

K-vosita algoritmiga robot misoli (k=2)

Klasterlar sonini tanlash - katlamali ovqatlar. Har qanday raqamga ruxsat berishning iloji yo'q, 2 ta klaster yaratishni tavsiya eting, keyin 3, 4, 5, keyin natijalarni qaytadan oling.