Kompyuter lingvistikasida modellashtirish va analogiya metodlari

Ishning maqsadi amaliy tilshunoslikning eng asosiy yo‘nalishlaridan biri bo‘lgan kompyuter lingvistikasi haqida tushunchalarni chuqurlashtirish va lingvistik modellashtirishning turlari va uni amalga oshirishni tahlil etish, o‘rganish.
Ishning vazifalari. Ishning maqsadini amalga oshirish uchun quyidagi vazifalar qo‘yildi:

• 
  amaliy tilshunoslikning kelajakdagi istiqbolini tahlil etish;
  
• 
  amaliy tilshunoslik yo‘nalishlarini kompyuter lingvistikasi bilan aloqasini o‘rganib chiqish;
  
• 
  kompyuter lingvistikasining yo‘nalishlarini izohlash;
  
• 
  modellashtirish tushunchasi va uning turlarini yoritish;
  
• 
  lingvistik modellashtirish kompyuter lingvistikasining eng asosiy tilni tadqiq etish metodi ekanligini ko‘rib chiqish;
  
• 
  lingvistik modellashtirish va anologiya metodlarini qiyoslash;
  
• 
  formal grammatika va lingvistik modellashtirishning munosabatini izohlash.
  
• 
  Modellashtirish bo‘yicha slaydlar tayyorlash.
  

Ishning ilmiy va amaliy ahamiyati. Malakaviy ishda lingvistik modellashtirish boshqa tilni tekshirish metodlari bilan qiyoslab o‘rganib chiqildi. Amaliy tilshunoslikning kelajakdagi istiqbolli yo‘nalishlari haqida ma’lumot berildi. Ushbu ish oliy ta’lim muassasalarida “Kompyuter lingvistikasi” bo‘yicha maxsus kurslarda foydalanish mumkin. Ishda keltirilgan dasturlar, slaydlar asosida o‘zbek tilidan ta’limiy-elektron ishlanmalar tayyorlash mumkin.
Ishniig tuzilishi va hajmi. Ish kirish, ikki bob, umumiy xulosalar, adabiyotlar ro‘yxatidan iborat bo‘lib, jami _______ sahifani tashkil etadi.
BIRINCHI BOB.
KOMPYUTER LINGVISTIKASI AMALIY TILSHUNOSLIKNING ISTIQBOLI SIFATIDA

1.1. Amaliy tilshunoslik rivoji – ijtimoiy ehtiyoj.

Nazariy bilimlarning amalga tatbiqi doimo har qanday tadqiqot oldiga qo‘yiladigan talab bo‘lsa-da, bu maqsadni amalga oshirish har doim ham oson emas. Tilshunoslik fanining amaliy ahamiyati haqida gap ketganda, bir necha jabhalarni darrov sanab berish mumkin. Xususan, horijiy tillarni o‘rganish va o‘rgatish, og‘zaki va yozma nutq madaniyatini shakllantirish kabilar.
Insonning ona tili insonni boshqa mavjudotlardangina emas, insonlarning o‘zlarini ham bir-biridan farqlab turuvchi, tabiat tomonidan berilgan eng sodda, shu bilan birga eng murakkab tasnif asosidir. Aynan inson tili uning milliy, jinsiy, shaxsiy belgilari haqida ma’lumotlarni shakllantiradi, saqlaydi va boshqalarga yetkazishda asosiy vosita bo‘lib xizmat qiladi.
Jahon madaniyatiga buyuk hissa qo‘shgan mutafakkirlarning barchasi ham ta’lim va tarbiya borasida fikr yuritar ekanlar, bu jarayonda ona tilining o‘rni beqiyos ekanligini qayd etadilar.
O‘zbekiston Respublikasi Prezidenti I.A.Karimov o‘zlarining “Yuksak ma’naviyat – yengilmas kuch” asarlarida: “Ma’lumki, til o‘zlikni anglash, milliy ong va tafakkurning ifodasi, avlodlar o‘rtasidagi ruhiy-ma’naviy bog‘liqlik til orqali namoyon bo‘ladi. Jamiki ezgu fazilatlar inson qalbiga, avvalo, ona allasi, ona tilining betakror jozibasi bilan singadi. Ona tili bu millatning ruhidir”¹ - deb ta’kidlaydilar.
XX-XXI asr tilshunosligida til falsafasining eng yetuk namoyandalaridan hisoblangan Vaysberger va uning izdoshlari tomonidan ona tili fenomenining inson tafakkuri va hayotiy tamoyillari shakllanuvidagi o‘rni borasida g‘oyatda qiziqarli tadqiqotlar olib borildi va borilmoqdaki, bu alohida yirik mubohasa uchun mavzu bo‘la oladi.
Jahonda amaliy tilshunoslikning barq urib rivojlanayotgan bir qator jabhalari bor. Ular yutuqlarining o‘zbek tiliga tatbiq qilinishi ham o‘zbek tilshunosligining ijtimoiy va iqtisodiy samaradorligini yuksaltirishga xizmat qilishi shubhasiz.
Tilshunoslikning sof nazariy tadqiqotlar doirasidagi tadriji yangi amaliy shakllar kashf etishi zaruriyati bundan ancha yillar muqaddam yuzaga kela boshlagan edi. Ammo ushbu zaruriyatning konkret ko‘rinishlari bahstalabgina emas, hali bu borada bahslar ham boshlanmagan edi. Tilshunos Sh.Shahobiddinova “Ma’rifat” gazetasidagi maqolasida tilning amaliy tomonlarini tadqiq etishga ehtiyoj tug‘ilganiga quyidagi voqea asosida tushuntiradi: “15 yillar muqaddam maqola muallifi mudir bo‘lib xizmat qiluvchi o‘zbek tilshunosligi kafedrasiga bir yigit kirib kelib, o‘zini tergovchi deb tanishtirdi va bir masalada yordam so‘rab kelganini aytdi. Ma’lum bo‘lishicha, o‘z joniga qasd qilgan erkak xat qoldirgan bo‘lib, uning ushbu nomasida hayotdan o‘z xohishi bilan ketayotgani, bu borada hech kimni ayblamasligi aytilgan. Tergovchi shu xat borasida tilshunos sifatida fikrimizni bilmoqchi ekan. Men taajjublanib: “Xatni o‘z qo‘li bilan yozganiga shubhangiz bormi? Buni aniqlaydigan o‘z mutaxassislaringiz yo‘qmi?” – deb so‘radim. “Mutaxassislarimiz bor.U xatni o‘z qo‘li bilan yozgani aniq. Faqat o‘z hohishi bilan yozganmi, birov majburlaganmi? Xat yozayotganda, uning ruhiy holati qanday bo‘lgan, shularni bilmoqchiman” , - deb javob berdi u. Men bizda bunday savollarga javob berish imkoni yo‘qligi, bunday masalalar bilan tilshunoslik shug‘ullanmasligini aytdim. U esa Moskvada tahsil olganini va amaliyot chog‘ida shunga o‘xshash muammolar bilan Moskva davlat universitetining filologiya fakultetiga murojaat qilishlariga guvoh bo‘lganini aytib berdi. Ushbu voqeadan bir necha yil keyin “Iste’dod” jamg‘armasi orqali Moskva davlat universitetida malaka oshirayotib bir narsa meni hayron qoldirdi. Filologiya fakultetining dars jadvali devorda juda katta maydonni egallab turardi. Ma’lum bo‘lishicha, talabalar kichik - kichik (4-6 kishilik) guruhlarga bo‘linib, filologiyaning muayyan yo‘nalishlarida tahsil olishar ekan. Ushbu yo‘nalishlar qatorida biz uchun tanish bo‘lgan atamalar – tarixiy tilshunoslik, qiyosiy tilshunoslik, struktur tilshunoslik, matnshunoslik, tarjimashunoslik va hokazolar qatorida sud lingvistikasi atamasiga ko‘zim tushib qoldi. Ana shunda tergovchi yigitning nima uchun filologlardan yordam so‘raganini tushunib yetdim. Keyinchalik ushbu yo‘nalish uchun mas’ul bo‘lgan kafedra professor–o‘qituvchilari bilan suhbatda sud lingvistikasi sohasida o‘qish istagida bo‘lganlar ko‘pligi, sababki, universitetni bitirgach, ish topishda muammo yo‘qligini, aksincha, bunday kadrlarga ehtiyoj katta va maoshlari yuqori ekani haqida ma’lumot oldim.”¹ Haqiqatdan ham sud lingvistikasi bo‘yicha mutaxassislar Rossiyaning bir qator universitetilarida tayyorlanishga qaramay, bu sohada kadrlar yetishmovchiligi mavjud. Shu o‘rinda eslatib o‘tish joizki, bizning respublikasizda bu sohada umuman kadrlar tayyorlanmaydi. Barcha tatbiqiy yo‘nalishlar qatori sud lingvistikasi ham pragmatik harakterda bo‘lib, uning amaliy asoslari muayyan millat uchun alohida ishlab chiqilishi lozim. Tatbiqiy tilshunoslik yo‘nalishlarining barchasiga xos bo‘lgan yana bir xususiyat ularning chambarchas bog‘liqligidir. Tilshunoslikda sathlararo bog‘liqlik, til birliklarining o‘zaro munosabatlari doim ham tan olinib kelingan. Tatbiqiy tilshunoslik yo‘nalishlari aro bog‘liqlik esa o‘zaro taqozo hamda maqsad va vazifalarga ko‘ra tarmoqlanishga asoslangan murakkab ko‘rinish kasb etadi.
Aytib o‘tilganlaridan tashqari, o‘z nomidan ko‘rinib turganidek, bu xil yo‘nalishlar tilga xos bo‘lgan xususiyatlar, tilshunoslik qo‘lga kiritgan nazariy natijalarni boshqa fanlar yoki fan yo‘nalishlariga tatbiqan amaliy qo‘llaydi.
G‘arb tillari, shuningdek, rus tili misolida ham tatbiqiy tilshunoslik borasida yirik tadqiqotlar olib borilmoqda. Tarixga nazar tashlasak, hatto sistemaviy tilshunoslik “otasi” F. de Sossyur ham til sistemasi manzarasini har bir individ o‘zicha tiklab borishini , o‘sha “o‘zida va o‘zi uchun ” sistemada individualizm o‘rnini, ya’ni tatbiqiy lingvistikaning jahonda barq urib rivojlanayotgan yo‘nalishi psixolingvistika sistemaviy tilshunoslik uchun qarama-qarshi yo‘nalish emasligini tan olgan. Uning izdoshlari E.Benvenist, R.Bart, J.Derrida, J.Lakan, M.Fuko va boshqalar ijtimoiy olam manzarasini yaratuvchi qurol – til haqida fikr yuritib tatbiqiy tilshunoslikning nazariy asoslari poydevorini qo‘yganlar.
Rus tilshunosligida tatbiqiy tilshunoslikning turli jabhalari bo‘yicha ish olib borgan o‘nlab olimlarni sanab o‘tish mumkin. V.N.Teliya, I.V.Zikova, A.V.Artemova, G.G.Slishkin, I.A.Sternin, G.YE.Kreydmen, F.I.Kartashkova, M.V.Tomskaya, L.V.Polubichenko, I.G.Serova kabilar ularning juda kam qismi, xolos.
O‘zbek tilshunosligida keyingi davrda reklamalar, qonunchilik tiliga bag‘ishlangan bir qator tadqiqotlar paydo bo‘ldi. “Tilshunoslik va tabiiy fanlar”, “Kompyuter lingvistikasi”, “Matematik lingvistika” fanlari oliy o‘quv yurtlari filologiya yo‘nalishlari o‘quv rejalariga (nomuntazam) kiritildi. Ushbu yo‘nalishlarda muayyan tadqiqotlar paydo bo‘ldi. Biroq ushbu tadqiqotlar, balki shu sohada dastlabki tajribalardan bo‘lgani sababli, umumiy ma’lumotlar berish va jahon tilshunosligida mavjud tajribalarni o‘zbek tiliga tatbiq etishga urinishdan iborat bo‘lib qoldi.
Shulardan kompyuter lingvistikasi hozirgi kunda eng tez rivojlanayotgan va juda ahamiyatli tilshunoslik sifatida baholanishi mumkin.
Insonning kompyuterga nisbatan qaramlik holatining shakllanib borayotgani bugun jahon miqiyosidagi muammo ekanligi sir emas. Bu dastyorning quliga aylanib qolish insonning ruhi va ruh ifodasi bo‘lgan tilida ham aks etayotganini ijtimoiy saytlarga qisqa ekskursiya ham ko‘rsatib bera oladi. Hozirda biz kuzata olgan kompyuter lingvistikasiga oid tadqiqotlarda bu narsa kompyuter lingvistikasi oldiga qo‘yilgan asosiy vazifalar sirasida odatda sanalmasa-da, yaqin kelajak psixolingvistika va kompyuter lingvistikasining kesishmasida turuvchi asosiy masala sifatida aynan shu muammoni qo‘ya boshlashi shubhasiz. Hozirda ham kompyuter lingvistikasi fani oldida jamiyatimizni yangi ijtimoiy-iqtisodiy bosqichlarga ko‘tarishda zarur bo‘lgan vazifalar anchagina. Xususan, kompyuter uchun o‘zbekcha to‘liq va to‘laqonli lingvistik ta’minot yaratish, avtomatik tahrirlash, o‘zbek tilidan boshqa tilga yoki aksincha tarjima qiluvchi mukammal dasturlarni yaratish, sodda qilib aytganda, kompyuterni o‘zbekcha “gapirtirish” amaliy tilshunoslikning bu yo‘nalishi oldida turgan eng dastlabki vazifalardir. Keyingi yillarda tatbiqiy yo‘nalishning bu sohasiga tilshunoslar orasida qiziqishning ortib borayotgani quvonarli hol bo‘lsa-da, ko‘p sonli bo‘lmagan bu tadqiqotchilar faoliyati bu o‘ta dolzarb yo‘nalishda maxsus mutaxassislar tayyorlash zaruriyatini hal etib bera olmasligi ham aniq.
Hozirgi kunda amaliy tilshunoslikning o‘zbek tilini tatbiqiy tadqiq etishning metodologik asoslari ishlab chiqish, metod va prinsiplari belgilash muhim masala. O‘zbek tilining tatbiqiy yo‘nalishlarini amalga oshirishning dasturi ishlab chiqilishi lozim. Unda amaliy tilshunoslik taraqqiyoti uchun dolzarb bo‘lgan quyidagi muammolarning hal etilishi ko‘zda tutiladi:
- tilshunoslikning sof nazariy fan doirasidan chiqib, iqtisodiy samarador yo‘nalishlar taraqqiy topgan fan mavqeini ham olishida zaruriy tadqiqotlar metodologiyasi va metodlari belgilab berish;
- amaliy tilshunoslikning bugungi ijtimoiy-iqtisodiy taraqqiyot davri uchun ayniqsa dolzarb bo‘lgan ustuvor yo‘nalishlari belgilash va asoslash;
- ishlab chiqilgan metodlar va metodologiya asosida muayyan amaliy yo‘nalish tavsifini yaratish.
Kelgusida amaliy tilshunoslikka oid tadqiqotlar natijalari asosida darsliklar, qo‘llanmalar yaratilishi ma’naviy yetuk, tadbirkor va zamonaviy barkamol yosh avlodni tarbiyalash ishida muhim hissa bo‘lib xizmat qilishi shubhasiz.
1.2. Kompyuter lingvistikasi yo‘nalishlari.
Ma’lumki, tilshunoslik fani XIX (1816-yilda) asrda mustaqil fan sifatida shakllandi. Shundan boshlab u turli aspektlarda, yo‘nalishlarda rivojlanib kelmoqda. Keyingi yillarda barcha fanlardagi kabi tilshunoslikda ham ikki fanning «chorrahasida» (kesishuvida) yuzaga kelgan fanlar jadal rivojlanmoqda. Jumladan, ana shunday fanlar sirasiga sotsiolingvistika (sotsiologiya va tilshunoslik), psixolingvistika (psixologiya va tilshunoslik), etnolingvistika (etnografiya va lingvistika), neyrolingvistika (nevrologiya va tilshun­oslik), matematik lingvistika va kompyuter lingvistikasi fanlarini kiritish mumkin. Bunday holni boshqa fanlar doirasida ham kuzatish mumkin: biokimyo, astrofizika, matematik fizika, matematik logika kabi. Buni fan­lar tizimida bir necha fanlarning o‘zaro hamkorligi, integratsiyasi deb ba­holash lozim bo‘ladi. XX asrning 50-yillaridan boshlab tilshunoslikda «mashina tarjimasi», «mashina tilshunosligi» atamalari qo‘llanila boshlandi._ Mazkur asrning buyuk kashfiyoti bo‘lgan kompyuter texnologiyalari tilshunoslikka ham kirib kelganining isboti edi. Mashina tarjimasi yoki avtomatik tarjima deyilganda bir tildagi matnni ikkinchi bir tilga EHM (kompyuter) vositasida, tez vaqt ichida tarjima qilish nazarda tutiladi. Mashi­na tarjimasining asoschilari kibernetika va matematika sohasi vakillari bo‘lib, keyinchalik bu ishda tilshunoslar ham faol qatnasha boshlagan. Shu tariqa mashina tarjimasi g‘oyalari butun dunyoda nazariy va amaliy tilshunoslikning rivojlanishida katta ahamiyat kasb etdi. Bu yo‘nalish bilan pa­rallel ravishda formal grammatika nazariyasi yuzaga kelib, til va uning alohida aspektlari modelini yaratishga e’tibor qaratildi. Tilning bu jihatlari matematik lingvistika fanida ishlab chiqildi, bu, o‘z navbatida, kompyuter lingvistikasi fanining yuzaga kelishi uchun poydevor bo‘ldi. Demak, shu asosda tilshunoslikning yangi yo‘nalishi - kompyuter lingvistikasi va tilshunoslikning bir qator nazariy va amaliy yo‘nalishlari vujudga keldi.
Matematik lingvistika fani XX asrning 50-yillarida (1952-yilda) tilshunoslikning alohida yo‘nalishi sifatida yuzaga keldi. Bu fanning shakllanishida Kopengagen struktural tilshunoslik maktabi (glossematika)ning asoschisi Lui Yelmslevning g‘oyalari o‘ziga xos «turtki» vazifasini o‘tagan. U hatto til hodisalarini matematik bayonda tushuntiradigan fanning nomini ham taklif etgan. Olimning fikricha, bu fan «Til algebrasi» («Lingvistik algebra») deb atalishi lozim edi.¹ Amerikalik tilshunos Noam Chomskiyning formal grammatika, transformatsion grammatika haqidagi qarashlari bevosita matematik lingvistikaning alohida yo‘nalish sifatida yuzaga kelishiga sabab bo‘lgan.² Mana shunday qarashlar ta’sirida matematik lingvistika fani shakllandi. Matematik lingvistika - bu tabiiy tillarning matematik modellarini (bunday formallashgan til metatil deb ataladi) ishlab chiqish, xususan, sun’iy tillarni yaratish algoritmini tuzish bilan shug‘ullanuvehi fandir. Matematik lingvistika oldida turuvchi eng muhim masalalar quyidagilardir:

• 
  tilning aksiomatik nazariyasini ishlab chiqish;
  
• 
  formal grammatika yaratish;
  
• 
  tillarning matematik modellarini ishlab chiqish.
  

Har bir fanning o‘z maqsad va vazifalari bo‘ladi. Matematik lingvistika fanining asosiy maqsadi tabiiy tillarning matematik modelini ishlab chiqishdir. Ushbu maqsadga erishish uchun fan o‘z oldiga quyidagi vazifalarni qo‘yadi:

• 
  tabiiy va sun’iy tillarning formal modellari algoritmini ishlab chiqish;
  
• 
  lisoniy hodisalami matematik parametrlarda baholash;
  
• 
  til hodisalarini matematik metodlar yordamida tahlil qilish (ehtimollar nazariyasi, statistika va kvantitativ metodlarni tatbiq etish).
  

Kompyuter lingvistikasi matematik lingvistikaning mantiqiy davomi bo‘lib, u amaliy tilshunoslikning eng muhim qismini tashkil etadi. Komp­yuter lingvistikasi 1954-yil AQShda Jorjtaun universitetida mashina tarjimasi bo‘yicha dunyoda o‘tkazilgan birinchi tajriba asnosida yo‘nalish sifatida shakllana boshladi, 1960-yilga kelib mustaqil fan sifatida shakllandi. Kompyuter lingvistikasi inglizcha «computational linguistics» so‘zining kalkasidir. XX asrning 80-yillariga qadar bu fan turlicha nomlar bilan atalgan: hisoblash lingvistikasi, matematik lingvistika, kvantitativ lingvistika, injener lingvistikasi kabi. Bu fanning asosiy maqsadi lingvistik masalalarni yechishning kompyuter dasturlarini ishlab chiqish, inson va mashina (komp­yuter) muloqotini optimallashtirish, tabiiy tilni qayta ishlashdir. Tabiiy tilni qayta ishlash kompyuter lingvistikasida tabiiy tillarning komp­yuter analizi va sintezini o‘z ichiga oladi. Bunda analiz tabiiy tilning kompyuterda morfologik, sintaktik va semantik tahlil yordamida tushunilishiga nisbatan ishlatiladi, sintez esa kompyuterda matnning grammatik shakllantirilishi va generatsiyasi (hosil qilinishi) demakdir. Tabiiy tilni qayta ishlash bo‘yicha yaratilgan dasturiy ta’minotlar quyidagilar: AlchemyAPI, Expert System S.p.A., General Architecture for Text Engineering (GA TE), Modular Audio Recog­nition Framework, Monty Lingua, Natural Language Toolkit (NLTK).
Kompyuter lingvistikasining asosiy yo‘nalishlariga quyidagilar kiradi:
- avtomatik o‘qitish tizimini ishlab chiqish;
- bilimlarni tekshirish;
- matnlarni turli jihatdan avtomatik tahrirlash;
- matnlarning avtomatik tarzda morfologik, sintaktik va semantik tah- lilini (inglizcha parsing) ta’minlovchi tizimlar yaratish (parser dasturlar);
- mashina tarjimasi uchun mo‘ljallangan dasturlarni ishlab chiqish;
- lug‘atlarni va kompyuterdagi matnni statistik tahlil qilish;
- lingvistik muammolarni hal qilishga yo‘naltirilgan optimal dasturlar yaratish;
- muloqotning kompyuter modelini ishlab chiqish;
- matn strukturasining gipertekst texnologiyasini yaratish;
- elektron lug‘atlar va tezauruslar yaratish;
- sun’iy intellekt tizimini ishlab chiqish;
- matnlar korpusini yaratish;
- matnni avtomatik referatlash;
- sujet strukturasini modellashtirish;
- nutqni avtomatik tushunish tizimini ishlab chiqish (inglizcha ASR - Automatic Speech Recognition);
- matndan faktlarni avtomatik ajratib olish (inglizcha fact extraction, text mining).
Kompyuter lingvistikasida qo‘llaniladigan va yaratiladigan lingvistik vositalarni shartli ravishda ikki qismga bo‘lish mumkin: deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birliklari lug‘ati, grammatik ma’lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Prot­sedura qismi esa yuqoridagi lingvistik ta’minot bazasini boshqarish vositalarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o‘z ichiga oladi.
O‘zbek tili materiallari bo‘yicha kompyuter lingvistikasiga oid tadqiqot olib borgan olimlar sifatida H.Arziqulov, S.Rizayev, S.Muhamedov, A.Po‘latov, S.Muhamedova, N.Jo‘rayevalarni ko‘rsatish mumkin. Olimlar asosan statistik tahlil, algoritmlash, o‘zbek tilining aksiomatik nazariyasi, fe’llarning kompyuter analizi va sintezi kabi yo‘nalishlar bo‘yicha izlanishlarni amalga oshirganlar. O‘zbek tilshunosligidagi kompyuter lingvistikasining boshqa yo‘nalishlari esa o‘z tadqiqotchilarini kutmoqda. Shunga ko‘ra, bugungi kunda o‘zbek tilshunosligining kompyuter bilan bog‘liq holda hal etilishi lozim bolgan quyidagi vazifalarni ta’kidlab ko‘rsatish mumkin:¹
1. O‘zbek tilining kompyuter uslubini yaratish.
2. Axborot matnlaridagi qoliplilik, qisqalik standartlarini ishlab chi­qish.
3. Kompyuter izohli va tarjima lug‘atlarini yaratish.
4. O‘zbek tili va adabiyoti darsliklarining elektron versiyalarini ishlab chiqish.
5. Kompyuterda inglizcha-o‘zbekcha tarjima dasturlarini ishlab chiqish.
6. Kompyuterdagi matnlarni avtomatik tahrirlash dasturlarini yaratish.
7. O‘zbek tili grammatikasining kompyuter modelini yaratish.
8. «Inglizcha-o‘zbekcha tarjimon» kompyuter dasturini ishlab chiqish.
9. O‘zbek tilidagi matnlarni tahrirlash dasturlarini yaratish.
10. O‘zbek tilidagi «Windows» operatsion tizimini yaratish.
11. Inglizcha-o‘zbekcha, o‘zbekcha-inglizcha kompyuter lug‘atlarini ishlab chiqish.
Kompyuter lingvistikasi amaliy tilshunoslikning tarkibiy qismi hisoblanadi, u nazariy tilshunoslik yutuqlaridan foydalanadi, oziqlanadi. Komp­yuter lingvistikasi va nazariy tilshunoslik bir-birini to‘ldiradi. Kompyuter lingvistikasida til insondan tashqarida mavhum sistema sifatida, L.Yelmslev ta’rifi bilan aytganda, «sof munosabatlar tizimi» sifatida tavsiflanadi. Ko­mpyuter lingvistikasi va klassik (mumtoz) tilshunoslik orasidagi farq quyidagi nuqtalarda ko‘rinadi:
- mumtoz tilshunoslikda til inson bilan mutanosiblikda, juftlikda ko‘rib chiqiladi. Ya’ni mumtoz tilshunoslik insonga yo‘naltirilgan bo‘ladi va uning faol ishtirokida qabul qilinadi. Kompyuter lingvistikasi esa tavsiflash jarayonida insonni istisno qiladi va u ko‘proq kompyuterga moslashtiriladi;
- mumtoz tilshunoslik ko‘proq tavsifiy (deskriptiv) xarakterga ega hisoblanadi. Kompyuter lingvistikasi esa masalani miqdoriy xarakteristikalar va aniq parametrlar asosida hal etadi. Demak, mumtoz tilshunoslik ko‘proq tavsifiy bayonga asoslansa, kompyuter lingvistikasi miqdoriy (kvantitativ) tavsifga, algoritmlash, modellashtirish, statistik tahlilga asoslanadi;
- mumtoz tilshunoslik ko‘proq nazariy xarakterga ega bo‘lib, tilshunoslikning nazariy masalalari bilan shug‘ullanadi. Kompyuter lingvistikasi esa amaliy xarakterga ega bo‘lib, til bilan bog‘liq muammolarning amaliy jihatlariga e’tibor qaratadi hamda uni aniq maqsadga yo‘naltirilgan dasturlar, metodlar, tizimlar yordamida hal etish bilan shug‘ullanadi;
- mumtoz tilshunoslikning tahlil obekti tabiiy til hisoblanadi va talililda uning mavjud barcha imkoniyatlari e’tiborga olinadi. Kompyuter lingvis­tikasida esa ko‘proq sun’iy tillar (programmalashtirish tillari, algoritmik tillar)ga tayaniladi, tabiiy tillarning mavjud imkoniyatlari cheklanadi, bunda tabiiy tilga ishlov berilib, kompyuterga moslashtiriladi.
Fanlar hamisha o‘zaro uzviy bog‘liqlik va hamkorlikda ish ko‘radi, ular bir-birisiz yashay olmaydi. Jumladan, kompyuter lingvistikasi fani ham bundan mustasno emas. Kompyuter lingvistikasi mantiq, informatika, statistika, semiotika, kibernetika, ehtimollar nazariyasi kabi turli fan sohalari bilan o‘zaro aloqadorlikda ish ko‘radi.

IKKINCHI BOB.

KOMPYUTER LINGVISTIKASINING TILNI TADQIQ ETISH METODLARI VA LINGVISTIK MODELLASHTIRISH

2.1. Formal grammatika.

Grammatika tabiiy tillar strukturasi haqidagi fan bo‘lib, u morfologik kategoriya va shakllar, sintaktik ketegoriya va konstruksiyalar hamda so‘z yasash usullari tizimini tashkil etadi. Til qurilish birliklarining paradigma- tik va sintagmatik munosabatga kirishuvi (vertikal va gorizontal yo‘nalishda) muayyan qoidalar asosida yuz beradi. Ushbu qoidalar yigindisi tilning gram- matik qurilishi va grammatik sistemasi deb yuritiladi. Grammatika ikki yirik sistemani o‘z ichiga oladi:

1. 
   Morfologik sistema - so‘z formalari, grammatik shakllar, gramma­tik kategoriyalar tizimi.
   
2. 
   Sintaktik sistema - sintaktik kategoriyalar va konstruksiyalar, so‘zlarning o‘zaro birikish qonuniyatlari.
   

Grammatika yunoncha so‘z bo‘lib, «o‘qish va yozish san’ati» ma’nosini bildiradi. Bu tushuncha dastlab xat-savod, imloni o‘rgatuvchi fan ma’nosida ishlatilgan. Keyinroq grammatika tilning fonologik, morfologik, sintaktik va semantik belgilarini tavsiflovchi til qoidalari majmuasi ma’nosiga ko‘chgan. Grammatika haqidagi ilk qarashlar falsafa, mantiq, germenevtika (diniy matnlarni sharhlash, talqin etish) qobig‘ida boigan. Bunda tilning paydo boiishi, til va tafakkur munosabati, lingvistik belgi motivatsiyasi, diniy matnlar mazmunini to‘g‘ri tushunish bilan bog‘liq masalalar o‘rganilgan, til strukturasi esa yetarli darajada tadqiq etilmagan. Faqatgi- na miloddan avvalgi II - I asrlarda shakllangan Aleksandriya grammatika maktabining eng yirik vakili Dionisiy Traks (miloddan avvalgi 170 - 90- yillarda yashagan) o‘zigacha boigan tadqiqotchilarning ishlari va tajriba- larini o‘rganib, ulardan foydalanib rimliklar uchun «Grammatika san’ati» («Grammatike techne») nomli sistemalashtirilgan dastlabki yunon gramma- tikasini yaratdi. Shundan buyon grammatika falsafadan mustaqil soha sifatida ajralib chiqdi.¹
Antik davrda grammatika preskriptiv (to‘g‘ri gapirish, to‘g‘ri jumla tu- zishni ko‘rsatuvchi yo‘riqnoma) xarakterga ega boigan. XVIII asr oxirlarida grammatikani tushunish keskin o‘zgardi. Bu davrda bobo til konsepsi- yasini ilgari surgan qiyosiy-tarixiy grammatika shakllandi. Unda yevropa tillarining qadimgi sanskrit tili bilan tarixiy aloqasini aniqlash yordamida hind-yevropa tillari shajarasini rekonstruksiya qilish bo‘yicha qiyosiy aspekt- da tadqiqotlar olib borildi.
XX asr boshlarida Ferdinand de Sossyur grammatikani tavsiflashda sinxroniya va diaxroniyani farqladi. Bunda grammatikani tarixiy (diaxron) o‘rganishni emas, balki sinxron (muayyan vaqtdagi holati) tadqiq qilish lozim, deb hisobladi. XX asrning 50-yillarida Noam Chomskiy grammati­kani tavsiflashning yangi metodini tavsiya etdi. Bu tilshunoslikda «formal grammatika nazariyasi» deb ataladi. Olimning tadqiqot natijalari komp­yuter lingvistikasining shakllanishiga asos bo‘ldi. N.Chomskiyning formal grammatika haqidagi qarashlari «Syntactic Structures» (1957) hamda «As­pects of the Theory of Syntax» nomli kitoblarida yoritilgan.
Grammatikaga bo‘lgan yondashuvlar turlicha bo‘lganligi bois tilshu- noslik tarixida turli grammatikalar yaratilgan. Jumladan, nazariy gram­matika va amaliy grammatika; an’anaviy (klassik) grammatika va noklassik grammatika; sinxron va diaxron grammatika; xususiy va umumiy (univer­sal) grammatika; kategorial grammatika, tobelik grammatikasi, leksik-funk- sional grammatika, konstruktiv grammatika, transformatsion grammatika, kontekstdan xoli grammatika (context-free grammar) kabi.
Grammatik tavsifning eng sodda (primitiv) formal modeli gap bo‘laklariga ajratish modeli sanaladi. Tabiiy tillar grammatikasida sodda gap ikki qismdan - ega va kesimdan tashkil topgan sintaktik qurilma sifati­da tavsiflanadi. Ega nutqning predmetini, kesim esa uning belgisini ko‘rsatadi. Ega va kesim alohida so‘zlar bilan ham, so‘zlar guruhi bilan ham ifodalanishi mumkin. Agar ega va kesim so‘zlar guruhi bilan ifodalan- sa, sodda gap ikki struktur elementga ajratiladi: ega guruhi (noun phrase) va kesim guruhi (verb phrase).
Ega guruhida asosiy mazmun ifodalovchi unsur ot so‘z turkumi bilan ifodalangan ega yoki otlashgan so‘zlar (substantivatsiya), ega guruhidagi boshqa so‘zlar esa eganing aniqlashtiruvchilari vazifasida keladi. Eganing aniqlashtiruvchilari ot, sifat, son, olmosh, kvantifikatorlar (miqdor bildiruvchi so‘zlar), determinatorlar (artikllar) orqali ifodalangan aniqlovchi gap bo‘lagidir. Kesim guruhida asosiy mazmun ifodalovchi unsur fe’l-kesim hamda ot-kesim hisoblanadi, shuningdek, turli so‘z turkumlari bi­lan ifodalangan to‘ldiruvchi va hoi kesimning aniqlashtiruvchilari bo‘lib keladi. Mazkur modelda ega va kesim gapning bosh boiaklari, gapning semantik-sintaktik yadrosi, aniqlovchi, to‘ldiruvchi, hoi esa ikkinchi darajali bo‘laklar deb nomlanadi. Ushbu talqin mumtoz sintaksis tamoyillariga muvofiq keladi.
XX asrning ikkinchi yarmida struktur sintaksis, semantik sintaksis yo‘nalishlari paydo bo‘lishi bilan gapning sintaktik tuzilishiga, gap bo‘laklariga bo‘lgan yondashuv ham o‘zgardi. Yuqoridagi ikki cho‘qqili nazariyaning o‘rniga bir cho‘qqili nazariya maydonga keldi. Unga ko‘ra, faqat kesimgina gapning grammatik yadrosi sifatida e’tirof etildi. Ushbu yondashuv fransuz tilshunosi Lyusen Tenerning verbosentrizm (lotincha «verbum» - «fe’l», «kesim» ma’nolarini anglatadi, «centrum» - «markaz», unga ko‘ra, gapning markazi gap bo‘lagi sifatida kesim, so‘z turkumi sifati- da fe’ldir) konsepsiyasi bilan bog‘liqdir.¹ Ingliz tilshunosi O.Yespersen mazkur konsepsiyaga qarshi o‘laroq gapdagi mutlaq hokim bo‘lak sifatida egani e’tirof etgan. Gap bo‘laklari iyerarxiyasida egani markazga qo‘yish tendensiyasi mantiq fanidan kelib chiqqan. Chunki mantiqda ism (subekt) substansiyani (mohiyatni), fe’l (predikat) aksidensiyani (hodisani) ifodalaydi, degan qarash mavjud. Bunda ega gapning tub mohiyatini aks ettiruvchi birlamchi bo‘lak, kesim esa egani to‘ldiruvchi, eganing turli belgilarini ko‘rsatuvchi ikkilamchi bo‘lak sifatida talqin etiladi.
L.Tener g‘oyalari ta’sirida shakllangan tobelik grammatikasi modellari kompyuter lingvistikasining avtomatik analiz dasturlarida ishlatiladi. Bu model tobelik daraxti (shajara) deb ataladi. Bunda gap asosan daraxt ko‘rinishida tasvirlanadi, jumla tarkibidagi so‘zlar bir-biri bilan tobelik munosabatida bo‘ladi (bevosita dominatsiya munosabati). Kesim daraxtning ildizida joylashgan bo‘ladi va dominant bo‘lak hisoblanadi, boshqa so‘zlar (gap bo‘laklari) unga bevosita yoki bilvosita (boshqa so‘zlar yorda- mida) tobelangan bo‘ladi.
Tilshunoslikda an’anaviy gap bo‘laklariga ajratishdan tashqari, yana gapni kommunikativ nuqtayi nazardan qismlarga ajratish ham mavjud, u gapning aktual bo‘linishi deb ataladi. Bunda gap tema va rema qismlariga ajratiladi. Bunda tema nutqiy muloqotning bizga ma’lum qismiga nisbatan ishlatiladi, rema esa muayyan narsa, voqea-hodisa, jarayon kabilar haqidagi yangi informatsiyani anglatadi. Ko‘pincha tema ega guruhi orqali, rema esa kesim guruhi orqali ifodalanadi. Ba’zan buning aksi bo‘lishi ham mumkin. Masalan, «Botirjon universitetda ishlayapti» gapida ega vazifasida kelgan Botirjon tema hisoblanadi, chunki nutq vaziyati uchun Botirjon aniq va avvaldan tanish bo‘lgan shaxsdir. Gapda kesim guruhini tashkil etgan universitetda ishlayapti remadir. Demak, bunda Botirjonning univer­sitetda ishlayotganligi fakti nutq vaziyati uchun yangi xabardir, shuning uchun u rema hisoblanadi.
Tobelik daraxti (shajara) modeliga eng yaqin model bevosita ishtirokchilar (immediate constituents) sintaktik modeli hisoblanadi. Bevosita ishtirokchilar metodiga ko‘ra, tayanch nuqta konstruksiya hisoblanadi. Konstruksiya tarkibidan ishtirokchilar va bevosita ishtirokchilar ajratiladi.¹ Konstruksiya atamasi ostida ma’noli qismlarning ketma-ket munosabatidan tashkil topgan butunlik tushuniladi. Ishtirokchilar deb kattaroq konstruksiya tarkibiga kirgan so‘z yoki konstruksiyaga aytiladi. Muayyan konstruksiyaning bevosita shakllanishida ishtirok etgan bir yoki bir nechta ishtirokchilarga bevosita ishtrokchilar deyiladi. Masalan, A’lochi talabalar о’z vazifalarini aniq va puxta bajaradilar. Bu jumla konstruksiya hisoblanadi, uning tarkibidagi barcha ma’noli so‘zlar («va» bog‘lovchisidan tashqari) ishtirokchilar, bevosita aloqaga kirishgan so‘zlar bevosita ishirokchilar deyiladi. Bun­da a’lochi so‘zi talabalar so‘zi bilan, aniq, puxta so‘zlari bajaradilar so‘zi bilan, o‘z so‘zi vazifalarini so‘zi bilan o‘zaro zich bog‘langan. Demak, be­vosita ishtirokchilar sintaktik modelida dastlab so‘z birikmalari ajratiladi, so‘ngra ular gap ichida birlashtiriladi.
O‘zbek tilshunosligi darg‘alaridan biri, o‘tkir nigohli olim, professor Nurmonovning fikricha, mazkur modelda nutqning har bir mustaqil par-chasi ikki qismdan tashkil topadi. O‘z navbatida, har qaysi qism yana o‘z ichida ana shunday qismlardan iborat boiadi. Ko‘rinadiki, har bir konst­ruksiya binar tamoyilga ko‘ra qismlarga bo‘linadi va bu bo‘linish konstruk­siya doirasida graduallik (darajalanish) xususiyatiga ega boiadi.¹
Bevosita ishtirokchilarga ajratish modeli tanqidiy idrok etilib, undagi ayrim g‘oyalar asosida birmuncha mukammalroq va formallashtirishning negizi hisoblangan generativ va transformatsion grammatika (generative and transformational grammar) maydonga keldi. Transformatsion gram­matika 1950-yillarda dastlab Z.Harrisning til strukturasidagi transformatsiya xususidagi qarashlari ta’sirida yuzaga kela boshladi, bu yo‘nalish Z.Harrisning shogirdi N.Chomskiy tomonidan rivojlantirildi. Unga ko‘ra, dastlabki yadro strukturalar birikma strukturalar qoidalar tizimi orqali tug‘iladi. Ya’ni har qanday til grammatikasi yadro strukturalar (kernel struc­tures) yig‘indisidir. Yadro gaplar deb sodda, yig‘iq, darak gaplar tushuniladi.² Ingliz tilida yadro gaplar sifatida quyidagi konstruksiyalar ajratib ko‘rsatiladi:³

1.	NV	Noun Verb	Ot fe’l	John came
2.	NVpN	Noun Verb Preposition Noun	Ot fe’l predlogli ot	John looked at Mary
3.	NVN	Noun Verb Noun	Ot fe’l ot	John saw Mary
4.	N is N	Noun is Noun	Ot is ot	John is a teacher
5.