Koshti Data Mining

Asosiy tezislar

• Ma'lumotlarning intellektual tahlili ko'p miqdordagi to'plangan ma'lumotlarga tayanib, boshqa tahlil usullari (masalan, OLAP) bilan buzib ko'rsatilishi mumkin bo'lgan gipotezalarni yaratishga imkon beradi.

  
  

Ma'lumotni qazib olish - bu ilgari ma'lum bo'lmagan, ahamiyatsiz, amaliy jihatdan to'g'ri va inson talqini uchun ochiq bo'lgan egallangan bilimlarning etimlaridan qolgan mashina (algoritmlar, zamonaviy razvedka) merosi.

Data Mining usullari tomonidan buzilgan uchta asosiy vazifa mavjud: tasniflash va regressiya vazifasi, assotsiativ qoidalarni izlash vazifasi va klasterlash vazifasi. Tan olish uchun tavsif va tarjimalarga badbo'y hid qo'shiladi. Amalga oshirish usullari bo'yicha vazifa nazorat ostida o'qitish (o'qituvchi bilan o'qitilgan) va nazoratsiz ta'lim (o'qituvchisiz o'qitilgan) ga bo'linadi.
Tasniflash va regresslash vazifasi mustaqil mulkdan keyin eskirgan mulkning ahamiyatiga bog'liq bo'lishi kerak. Agar o'zgaruvchan raqamli qiymatlar bo'lsa, biz regressiya vazifasi haqida, aks holda tasniflash vazifasi haqida gapirishimiz mumkin.
p align="justify"> Assotsiativ qoidalarni qidirayotganda, men ob'ektlar yoki podiaslar orasidagi qisman konlarni (yoki assotsiatsiyalarni) aniqlash uchun usuldan foydalanaman. Bog'lanish natijalari qoidalar sifatida paydo bo'ladi va siz ma'lumotlarni tahlil qilish tabiatini eng yaxshi tushunish sifatida g'alaba qozonishingiz mumkin, shuning uchun ularni uzatish.
Klasterlash vazifasi mustaqil guruhlar (klasterlar) va tahlil qilinadigan barcha ma'lumotlar sonidagi ularning xususiyatlariga asoslanadi. Ushbu vazifani hal qilish ma'lumotlarni yaxshiroq tushunishga yordam beradi. Bundan tashqari, bir hil ob'ektlarni guruhlash ularning sonini tezlashtirishga imkon beradi, shuningdek, tahlilni osonlashtiradi.
Ma'lumotlarni qidirish usullari turli xil to'g'ridan-to'g'ri axborot texnologiyalari yordamida qo'llaniladi: statistika, neyron tarmoqlar, loyqa ko'paytmalar, genetik algoritmlar va boshqalar.
Intellektual tahlil quyidagi bosqichlarni o'z ichiga oladi: tahlil vazifasini tahlil qilish va shakllantirish, avtomatlashtirilgan tahlil uchun ma'lumotlarni tayyorlash, Data Mining usullari va tezkor modellarni kompilyatsiya qilish, tezkor modellarni qayta tekshirish, inson modellarini talqin qilish.
Data Mining usullarini yopishdan oldin ma'lumotlar qayta ishlanishi mumkin. Usullar shaklida yotish uchun o'zgartirish turi.
Ma'lumotlarni qidirish usullari inson faoliyatining turli sohalarida samarali qo'llanilishi mumkin: biznes, tibbiyot, fan, telekommunikatsiya va boshqalar.
3. Matnli axborotni tahlil qilish - Text Mining
Ma'lumotlar bazalarida saqlanadigan tuzilgan ma'lumotlarni tahlil qilish, shu jumladan oldinga ishlov berish: ma'lumotlar bazasini loyihalash, ma'lumotlarni qoidalarga muvofiq kiritish, ma'lumotlarni maxsus tuzilmalarda (masalan, aloqador jadvallar) joylashtirish. Ushbu darajada vositachisiz, ushbu ma'lumotni tahlil qilish va undan yangi bilimlarni olish uchun qo'shimcha bilimlardan foydalanish kerak. Kim uchun badbo'y yomon natijani ishlab chiqarish uchun tahlil va obov'yazkovo bog'langan. CCD kursi orqali tuzilgan ma'lumotlarni tahlil qilish kamayadi. Bundan tashqari, barcha ma'lumotlarni asosiy ma'lumotlarni isrof qilmasdan tuzib bo'lmaydi. Masalan, matnning semantikasini yo'qotmasdan va ob'ektlarni farqlamasdan matnli hujjatlarni jadval ko'rinishiga o'zgartirish amalda mumkin emas. Shuning uchun hujjatlar ma'lumotlar bazasida matn maydonlari (BLOB-maydonlari) kabi transformatsiyalarsiz saqlanadi. Shu bilan birga, matnga katta hajmdagi ma'lumotlar ilova qilinadi, ammo tuzilmagan tabiati Data Mining algoritmlarini buzishga imkon bermaydi. Ushbu muammolarni hal qilish uchun tuzilmagan matnni tahlil qilish usullari va usullari o'rganilmoqda. G'arb adabiyoti bunday tahlilni Text Mining deb ataydi.
Strukturaviy bo'lmagan matnlarni tahlil qilish usullari bir nechta sohalarda yotadi: ma'lumotlarni qayta ishlash, tabiiy tilni qayta ishlash, ma'lumot qidirish, ma'lumot olish va bilimlarni boshqarish.
Destination Text Mining: Matndagi bilimlarni ochish - bu strukturaviy bo'lmagan matn ma'lumotlaridagi haqiqiy yangi, potentsial jigarrang va oqilona naqshlarni ochishning ahamiyatsiz jarayoni.
Ko'rib turganingizdek, Data Mining maqsadini hisobga olgan holda, bu "tuzilishsiz matnli ma'lumotlar" haqida yangi tushunchaga o'xshaydi. Bunday bilimlar ostida matnni tuzilishiga qo'shimcha chegaralarsiz mantiqiy birlashtirgan hujjatlar to'plamini tushunish mumkin. Bunday hujjatlarning asoslari veb-saytlar, elektron pochta, me'yoriy hujjatlar va boshqalardir. Misol uchun, bunday hujjatlar yig'ma va katta bo'lishi mumkin va matn va grafik ma'lumotlarni o'z ichiga oladi. XML tilini (kengaytirilgan belgilash tili), SGML standart tilini (Standard Generalized Markup Language) va matn tuzilishiga mos keladigan boshqa shunga o'xshash hujjatlarni odatda nap_structured hujjatlar deb ataladi. Xushbo'y hidni Text Mining usullari yordamida qayta ishlash mumkin.
Matnli hujjatlarni tahlil qilish jarayoni bir nechta kichik ketma-ketlik sifatida mumkin
Ma'lumot qidirish. Avvalo, tahlil qilinadigan hujjatlarni aniqlash va ularning mavjudligini ta'minlash kerak. Qoida tariqasida, mualliflar tahlil qilinadigan hujjatlar to'plamini mustaqil ravishda - qo'lda tanlashlari mumkin, ammo ko'p sonli hujjatlar uchun berilgan mezonlarga muvofiq avtomatlashtirilgan tanlash variantlarini tanlash kerak.
Hujjatlarni oldindan qayta ishlash. Ushbu bosqichda hujjatlarni bir qarashda ko'rsatish uchun eng oddiy, lekin ayni paytda eng zarur qayta ishlash qo'llaniladi, ular bilan Matn qazib olish usullari qo'llaniladi. Bunday o'zgarishlar usuli zayvih so'zlarni olib tashlash va kattaroq zhorstkoy shaklini qo'shishdir. Oldinga ishlov berish usuli haqidagi hisobot bo'limda tavsiflanadi.
Axborotni bashorat qilish. Turli hujjatlardagi ma'lumotlarni o'rganish ba'zi asosiy odamlarning qarashlarini tushunishga o'tkazadi, undan keyingi tahlillarni amalga oshirish mumkin.
Matn qazib olishda usullar tanlovi. Ushbu kesimda naqshlar chizilgan va matnlarda ko'k rangda. Bu krok matnlarni tahlil qilish jarayonida asosiy hisoblanadi va amaliy vazifalar, go'yo ular bu krotsni buzadi.
Natijalarni talqin qilish. Bilimlarni rivojlantirish jarayonining qolgan qismi olingan natijalarni sharhlashni o'tkazadi. Qoidaga ko'ra, sharh berilgan natijalar bo'yicha tabiiy yoki grafik usulda bo'ladi.
Vizualizatsiya matnni tahlil qilish sifatida ham vikoristana bo'lishi mumkin. Bu tushunishning kalitidir, chunki u grafik ko'zga ko'rinadi. Bunday pídhíd koristuvacheví shvidko índentifíkívatí brvny o'sha ít ít íntellekt tomonidan yordam beradi, shuningdek, ularning ahamiyatini bildiradi.