Kompyuter lingvistikasida modellashtirish va analogiya metodlari

2.2. Matematik statistika va kvantitativ metod.
Statistik tahlil metodi boshqa fanlar qatori tilshunoslik fani uchun ham muhim ahamiyatga ega. Bunda tilda mavjud hodisalar aniq matematik parametrlarda baholanadi, tekshiriladi. Statistika lotincha «status» so‘zidan olingan bo‘lib, hodisalarning holati, ahvolini bildiradi. «Status» so‘zidan «stato» - davlat, «statusta» - davlatni biluvchi, «statustica» - davlat to‘g‘risida muayyan bilim, ma’lumotlar yig‘indisi ma’nosini bildiruvchi so‘zlar kelib chiqqan.³ Bundan 3500 yil oldin Qadimgi Misrda o‘tkazilgan aholi hisobi, Rossiyada Pyotr I davridagi «aholi taftishi», Angliyadagi «Dahshatli sud kitobi» kabilar dastlabki statistik ma’lumotlardir.
XVII asrda Angliyada yuzaga kelgan «siyosiy arifmetika» fani statistikaning shakllanishiga asos bo‘lgan. Statistika ijtimoiy hodisalarning miqdoriy tomonlarini ularning sifat tomonlari bilan uzviy aloqadorlikda o‘rganuvchi fandir. Hodisalar­ning sifat tomonlarini maxsus fanlar o‘rganadi. Xususan, tovushlar, so‘zlar, gaplarni lingvistika, qofiya, ritm, vazn, she’r tuzilishini adabiyotshunoslik, organik hayotni biologiya, yer qatlamlari va boyliklarini geologiya kabi fanlar o‘rganadi. Statistika esa ushbu hodisalarni miqdoriy parametrlar asosida o‘rganadi. Bunda statistika hodisalarni turli omillar ta’siridagi o‘zgaruvchanlik xususiyatini - variatsiyasini e’tiborga oladi. Shu jihatdan statistik ma’lumotlar hodisalar rivojining dinamikasini aks ettira oladi. Lekin shu o‘rinda aytib o‘tish lozimki, statistikaga yagona mutlaq haqiqat deb yondashish, statistik ma’lumotlarga haddan tashqari ishonish ham to‘g‘ri emas. Ayrim yolg‘on faktik materiallarga asoslanib tayyorlangan statistik ma’lumotlar hodisalar haqida xato tushunchalar berishi mumkin. Shu ma’noda statistika yuzasidan shunday hazilomuz gap aytiladi: «Yolg‘onning uch turi bor: a) yolg‘on; b) g‘irt yo‘lg‘on; c) statistika».
Statistikaning til hodisalariga tatbiq etilishi natijasida lingvostatistika sohasi shakllandi, unda til birliklari, lisoniy hodisalar, matnlar statistik tahlil etiladi. Matnning statistik tahlili - tilni ehtimollik belgilariga ko‘ra tahlil qilish, til hodisalarining statistik xarakteristikalari asosida baholash demakdir. Til birligining gapda yoki matnda qo‘llanish chastotasi (sur’ati) ehtimollik deyiladi. Til hodisalari haqidagi haqiqatlar lingvostatistik tadqiqotlar yordamida aniqlanadi. Masalan, o‘zbek tili uchun qaysi bo‘g‘in strukturasi tipik ekanligini, gap modullaridan qaysi biri eng asosiy konstruksiya ekanligini, bosh kelishikdagi otlarning asosan qaysi gap bo‘lagi vazifasida kelishini, tanlangan matnda so‘z turkumlarining qay darajada ishlatilishini aniqlash uchun lingvostatistik tahlillarga ehtiyoj seziladi.
Til hodisalarini statistik metod asosida tahlil qilish uchun doim ma’lum bir matn yoki matnlar to‘plami olinadi. Ular badiiy adabiyotdan, gazeta va jurnallardan, publitsistik maqolalardan, ilmiy asarlardan, dialektologlarning jonli nutqidan yozib olgan materiallaridan tanlanadi. Statistik xususiyati o‘rganilayotgan muayyan matnlar «tanlama» deyiladi. Tanlamaning hajmi tekshirilayotgan hodisalarning umumiy sonidir, uni «N» bilan belgi­lash mumkin. Masalan, 100 ta so‘z; 37 ta bosh kelishik shaklidagi ot kabi. Aniqlanayotgan hodisani ko‘rsatadigan miqdor (masalan, ot oldida aniqlovchi vazifasida keladigan takrorlangan otlar miqdori) absolut chastota hisob­lanadi, uni «M» harfi bilan belgilash mumkin. 37 ta otdan 30 tasining aniqlovchi vazifasida kelishi absolut chastotadir. Absolut chastota (M)ning tanlama hajmi (H)ga nisbati (M/H)dan nisbiy chastota kelib chiqadi.¹ Nisbiy chastota «Р» harfi bilan belgilanadi. Nisbiy chastota uch xil usul bilan aniqlanadi:
a) oddiy kasr hisobida: P = M/H
b) protsent asosida: P = МЧ100/Н
c) promil hisobida: Р = МЧ 1000/H
Matnning statistik tahlilida Zif qonunidan o‘rinli foydalaniladi. Katta hajmdagi matnlarda har bir so‘zning qanchalik tez takrorlanishini (chastotasini) va ularning takrorlanish tezligini hisoblashda Zif qonuni amal qila­di.² Bunda so‘zning chastotasi (f), uning ro‘yxatdagi holati qatori (r) deb belgilanadi. Zif qonuniga ko‘ra, matnda eng ko‘p ishlatilgan so‘z r = 1, undan pastroq chastotada kuzatilgan so‘z r = 2, undan keyingisi r = 3 tarzida belgilanadi. Bundan kelib chiqadiki, matndagi ixtiyoriy so‘z uchun (f) chastotaga (r)ning ko‘paytmasi natijasi o‘zgarmas miqdor - konstanta (C)ga teng bo‘ladi (r4f = C), bu yerda S matn hajmiga bog‘liq. Masalan, amerikalik yozuvchi Mark Tvenning «Tom Soyerning sarguzashtlari» asari Zif qonuni asosida tahlil etilgan. Asarda jami 71 370 ta belgi mavjud bo‘lib, takrorlanmagan so‘z tiplari 8018 ta. Matnda ishlatilgan so‘zlarning o‘rtacha tak­rorlanish chastotasi 8,9 dir, ya’ni matndagi so‘zlar taqriban 9 marta takrorlanadi. Lekin bunda eng katta muammo shuki, so‘z tiplarining barchasi matn ichida qo‘llanish darajasi bir xil emas. Ayrim so‘zlar 700 marta takrorlanadi, bunday so‘zlar romanning 1% qismini tashkil etadi. Yana shun­day so‘zlar ham borki, ular bir marta takrorlanadi. Bunday so‘zlar hapas legomena (yunoncha so‘z «faqat bir marta o‘qi», degan ma’noni anglatadi) deb ataladi, ular asarning qariyb yarmini tashkil etadi. Qariyb 90% so‘zlar 10 marta yoki undan kam, 10% ga yaqin so‘z tiplari 3 marta yoki undan kam miqdorda takrorlanadi.
Matnning statistik tahlili matn atributsiyasi muammosiga ham oydinlik kiritishda muhim tadqiqot usuli hisoblanadi. Ayniqsa, badiiy matnlarning statistik tahlili natijasida o‘sha matn muallifi ham aniqlanmoqda. Bunda matnda tez-tez ishlatiluvchi til birliklari (otlar, sifatlar, kalit so‘zlar, fe’llar, grammatik shakllar, jumla qurilishi, bir so‘z bilan aytganda, yozuvchining idiostilini - o‘ziga xos uslubini ko‘rsatuvchi vositalai) lingvostatistik tahlil yordamida aniqlanadi. Turli matnlardan olingan dalillarning qiyosiy tah­lili bizga o‘sha matnning mazmun-mundarijasini, matn tuzilgan davrni, dalillarni argumentlash xarakterini va hatto mualliflikni aniqlashga imkon beradi. Badiiy asarlarning sujet qurilishiga, matn strukturasiga kvantitativ metodlarning tatbiq etilishi natijasida F.Dostoyevskiy, L.Tolstoy, M.Sholoxov kabi yozuvchilarning matnlari atributsiyasi amalga oshirilgan. Keyingi paytlarda anonim (muallifi noma’lum) va psevdonim (soxta muallifli) matnlarning aniqlanishi yuzasidan ham tadqiqotlar amalga oshirilmoqda.¹ Bu aspekt kriminalistika sohasida muhim ahamiyat kasb etmoqda.
Amerikalik olim Jozef Grinberg kvantitativ metodni tilshunoslikka - morfologik tiplar nazariyasiga tatbiq etgan. Tadqiqot natijalarini «Quanti­tative approach to the morphological typology of languages» (1960) («Tillar morfologik tipologiyasiga kvantitativ yondashuv») nomli maqolasida umumlashtirgan. Olim o‘zigacha amalga oshirilgan ishlar haqida shunday yozadi: «Tillarning tipologik tasnifi mantiqiy-ratsional mezonlar asosida yuza­ga kelgan. Tasnif namunalari nazariy jihatdan asoslangan, ammo lingvistik fakt bilan uzviyligi yaqqol ko‘zga tashlanmaydi. Bu esa tasnifni amaliyotga tatbiq etib tekshirishni taqozo etadi». Shu nuqtayi nazardan olim matema­tik aniqlikka erishish maqsadida til hodisalarini, mavjud lisoniy tiplarning uchrash darajasini miqdoriy parametrlar asosida qayta baholadi. J.Grinberg kvantitativ metodni 8 tilga (sanskrit, anglo-saks, yoqut, vetnam, fors, ingliz, suaxili, eskimos tillariga) tatbiq qilgan. Bunda olim o‘zi belgilagan formulalar asosida lisoniy tiplarning va tillarda kuzatiladigan tipologik belgi­larning miqdoriy tavsifini, statistik ma’lumotlarni ilmiy jamoatchilikka havola etdi.
Chastotali lug‘atlar matnda so‘zlarning ishlatilish chastotasi (qay darajada ishlatilishi, tez-tez ishlatilishi)dan kelib chiqqan holda tayyorlanadigan so‘zliklar hisoblanadi. Chastotali lug‘atlar statistik leksikografiyaning rivoji natijasida yuzaga kelgan. Bunday lug‘atlar, ayniqsa, til o‘qitish jarayonida leksik minimumlarni aniqlashda muhim ahamiyatga ega. So‘zlarning chastotasini aniqlash lingvostatistik tahlillar yordamida amalga oshiriladi. Chastotali lug‘atlar kompyuterning lingvistik informatsion bazasi hisobla­nadi. Masalan, chastotali lug‘atdagi birinchi 10 va 50 eng ko‘p uchraydigan so‘z formalarining miqdori umumiy so‘z birliklariga nisbatan agglutinativ tillarda fiektiv tillarga qaraganda kamroq foizni tashkil etadi. Agglutinativ tillarda dastlabki 1000 so‘z formasi umumiy so‘z birliklarining 50 - 60 foizini tashkil etsa, bu ko‘rsatkich flektiv tillarda 62 - 87 foiz atrofida bo‘ladi. Flektiv tillarda chastotali lug‘atning dastlabki 1000 so‘zi umumiy har xil so‘zlar sonining 69 - 89 foizini tashkil etsa, bu ko‘rsatkich agglutinativ tillar­da 64 - 89 foiz atrofidadir. Flektiv tillarda dastlabki ko‘p uchraydigan 100 - 200 so‘z formasi (ko‘pchiligi yordamchi so‘zlar) jami har xil so‘z forma- larining 50 foizini tashkil etsa, bu ko‘rsatkich uchun agglutinativ konstruk- siyali turkiy tillarda 600 - 1000 ko‘p uchraydigan so‘z formalari zarur bo‘lar ekan, buning asosiy sababi agglutinativ va flektiv tillar morfologik strukturasi va so‘z formalarining tuzilishidadir.
Chappa (ters) chastotali lug‘atlar tilda qo‘shimchalarning qanday qo‘llanilishini aniqlab beradi. Chastotali va ters chastotali lug‘atlarning ma’lumotlariga ko‘ra, ot, olmosh, sifat, ravish va son tillardagi jami so‘zlarning 70% ni tashkil qilgani holda, fe’l ulushi ularning 1/4 ga teng. Tillarda so‘z turkumlarining ishlatilishi ham tadqiqotchilar e’tiborini o‘ziga jalb etadi. Hind-yevropa tillarida yordamchi so‘z turkumlarining ko‘proq ishlatilishi kuzatiladi (28 - 34%), o‘zbek tilida esa kam o‘rin egallaydi (ati­gi 8%).
Chastotali lug‘atlarning kompyuter lingvistikasi uchun ahamiyati quyidagilarda ko‘rinadi:
- birinchidan, chastotali lug‘atlar avtomatik qidiruv tizimi asosida ishlaydigan elektron lug‘atlar yaratish uchun, ularning sohaviy turlari uchun tayyor lingvistik ta’minot vazifasini o‘taydi;
- ikkinchidan, chastotali lug‘atlar til o‘qitishni avtomatlashtirish jarayonida, kompyuter lingvodidaktikasi sohasida metodologik ahamiyat kasb etadi;
- uchinchidan, chastotali lug‘atlar chet tillarini o‘qitishning samaradorligini oshirish uchun muhim omil bo‘lib, ular xorijiy tillarning leksik va leksik-morfologik minimumlarini yaratishga imkon beradi.