Kompyuter lingvistikasi. Tilnlarning intensiv o`rganish dasturlari reja

Kompyuter lingvistikasi. Tilnlarning intensiv o`rganish dasturlari reja

KOMPYUTER LINGVISTIKASI. TILNLARNING INTENSIV O`RGANISH DASTURLARI
REJA:

1. Kompyuter lingvistikasi amaliy tilshunoslikning istiqboli sifatida

   
   

2. Kompyuter lingvistikasi yo‘nalishlari.

   
   

3. Kompyuter lingvistikasining tilni tadqiq etish metodlari va lingvistik modellashtirish

   
   

Nazariy bilimlarning amalga tatbiqi doimo har qanday tadqiqot oldiga qo‘yiladigan talab bo‘lsa-da, bu maqsadni amalga oshirish har doim ham oson emas. Tilshunoslik fanining amaliy ahamiyati haqida gap ketganda, bir necha jabhalarni darrov sanab berish mumkin. Xususan, horijiy tillarni o‘rganish va o‘rgatish, og‘zaki va yozma nutq madaniyatini shakllantirish kabilar.

Insonning ona tili insonni boshqa mavjudotlardangina emas, insonlarning o‘zlarini ham bir-biridan farqlab turuvchi, tabiat tomonidan berilgan eng sodda, shu bilan birga eng murakkab tasnif asosidir. Aynan inson tili uning milliy, jinsiy, shaxsiy belgilari haqida ma’lumotlarni shakllantiradi, saqlaydi va boshqalarga yetkazishda asosiy vosita bo‘lib xizmat qiladi.
Jahon madaniyatiga buyuk hissa qo‘shgan mutafakkirlarning barchasi ham ta’lim va tarbiya borasida fikr yuritar ekanlar, bu jarayonda ona tilining o‘rni beqiyos ekanligini qayd etadilar.
O‘zbekiston Respublikasi Prezidenti I.A.Karimov o‘zlarining “Yuksak ma’naviyat – yengilmas kuch” asarlarida: “Ma’lumki, til o‘zlikni anglash, milliy ong va tafakkurning ifodasi, avlodlar o‘rtasidagi ruhiy-ma’naviy bog‘liqlik til orqali namoyon bo‘ladi. Jamiki ezgu fazilatlar inson qalbiga, avvalo, ona allasi, ona tilining betakror jozibasi bilan singadi. Ona tili bu millatning ruhidir”1 - deb ta’kidlaydilar.
XX-XXI asr tilshunosligida til falsafasining eng yetuk namoyandalaridan hisoblangan Vaysberger va uning izdoshlari tomonidan ona tili fenomenining inson tafakkuri va hayotiy tamoyillari shakllanuvidagi o‘rni borasida g‘oyatda qiziqarli tadqiqotlar olib borildi va borilmoqdaki, bu alohida yirik mubohasa uchun mavzu bo‘la oladi.
Jahonda amaliy tilshunoslikning barq urib rivojlanayotgan bir qator jabhalari bor. Ular yutuqlarining o‘zbek tiliga tatbiq qilinishi ham o‘zbek tilshunosligining ijtimoiy va iqtisodiy samaradorligini yuksaltirishga xizmat qilishi shubhasiz.
Tilshunoslikning sof nazariy tadqiqotlar doirasidagi tadriji yangi amaliy shakllar kashf etishi zaruriyati bundan ancha yillar muqaddam yuzaga kela boshlagan edi. Ammo ushbu zaruriyatning konkret ko‘rinishlari bahstalabgina emas, hali bu borada bahslar ham boshlanmagan edi. Tilshunos Sh.Shahobiddinova “Ma’rifat” gazetasidagi maqolasida tilning amaliy tomonlarini tadqiq etishga ehtiyoj tug‘ilganiga quyidagi voqea asosida tushuntiradi: “15 yillar muqaddam maqola muallifi mudir bo‘lib xizmat qiluvchi o‘zbek tilshunosligi kafedrasiga bir yigit kirib kelib, o‘zini tergovchi deb tanishtirdi va bir masalada yordam so‘rab kelganini aytdi. Ma’lum bo‘lishicha, o‘z joniga qasd qilgan erkak xat qoldirgan bo‘lib, uning ushbu nomasida hayotdan o‘z xohishi bilan ketayotgani, bu borada hech kimni ayblamasligi aytilgan. Tergovchi shu xat borasida tilshunos sifatida fikrimizni bilmoqchi ekan. Men taajjublanib: “Xatni o‘z qo‘li bilan yozganiga shubhangiz bormi? Buni aniqlaydigan o‘z mutaxassislaringiz yo‘qmi?” – deb so‘radim. “Mutaxassislarimiz bor.U xatni o‘z qo‘li bilan yozgani aniq. Faqat o‘z hohishi bilan yozganmi, birov majburlaganmi? Xat yozayotganda, uning ruhiy holati qanday bo‘lgan, shularni bilmoqchiman” , - deb javob berdi u. Men bizda bunday savollarga javob berish imkoni yo‘qligi, bunday masalalar bilan tilshunoslik shug‘ullanmasligini aytdim. U esa Moskvada tahsil olganini va amaliyot chog‘ida shunga o‘xshash muammolar bilan Moskva davlat universitetining filologiya fakultetiga murojaat qilishlariga guvoh bo‘lganini aytib berdi. Ushbu voqeadan bir necha yil keyin “Iste’dod” jamg‘armasi orqali Moskva davlat universitetida malaka oshirayotib bir narsa meni hayron qoldirdi. Filologiya fakultetining dars jadvali devorda juda katta maydonni egallab turardi. Ma’lum bo‘lishicha, talabalar kichik - kichik (4-6 kishilik) guruhlarga bo‘linib, filologiyaning muayyan yo‘nalishlarida tahsil olishar ekan. Ushbu yo‘nalishlar qatorida biz uchun tanish bo‘lgan atamalar – tarixiy tilshunoslik, qiyosiy tilshunoslik, struktur tilshunoslik, matnshunoslik, tarjimashunoslik va hokazolar qatorida sud lingvistikasi atamasiga ko‘zim tushib qoldi. Ana shunda tergovchi yigitning nima uchun filologlardan yordam so‘raganini tushunib yetdim. Keyinchalik ushbu yo‘nalish uchun mas’ul bo‘lgan kafedra professor–o‘qituvchilari bilan suhbatda sud lingvistikasi sohasida o‘qish istagida bo‘lganlar ko‘pligi, sababki, universitetni bitirgach, ish topishda muammo yo‘qligini, aksincha, bunday kadrlarga ehtiyoj katta va maoshlari yuqori ekani haqida ma’lumot oldim.”1 Haqiqatdan ham sud lingvistikasi bo‘yicha mutaxassislar Rossiyaning bir qator universitetilarida tayyorlanishga qaramay, bu sohada kadrlar yetishmovchiligi mavjud. Shu o‘rinda eslatib o‘tish joizki, bizning respublikasizda bu sohada umuman kadrlar tayyorlanmaydi. Barcha tatbiqiy yo‘nalishlar qatori sud lingvistikasi ham pragmatik harakterda bo‘lib, uning amaliy asoslari muayyan millat uchun alohida ishlab chiqilishi lozim. Tatbiqiy tilshunoslik yo‘nalishlarining barchasiga xos bo‘lgan yana bir xususiyat ularning chambarchas bog‘liqligidir. Tilshunoslikda sathlararo bog‘liqlik, til birliklarining o‘zaro munosabatlari doim ham tan olinib kelingan. Tatbiqiy tilshunoslik yo‘nalishlari aro bog‘liqlik esa o‘zaro taqozo hamda maqsad va vazifalarga ko‘ra tarmoqlanishga asoslangan murakkab ko‘rinish kasb etadi.
Aytib o‘tilganlaridan tashqari, o‘z nomidan ko‘rinib turganidek, bu xil yo‘nalishlar tilga xos bo‘lgan xususiyatlar, tilshunoslik qo‘lga kiritgan nazariy natijalarni boshqa fanlar yoki fan yo‘nalishlariga tatbiqan amaliy qo‘llaydi.
G‘arb tillari, shuningdek, rus tili misolida ham tatbiqiy tilshunoslik borasida yirik tadqiqotlar olib borilmoqda. Tarixga nazar tashlasak, hatto sistemaviy tilshunoslik “otasi” F. de Sossyur ham til sistemasi manzarasini har bir individ o‘zicha tiklab borishini , o‘sha “o‘zida va o‘zi uchun ” sistemada individualizm o‘rnini, ya’ni tatbiqiy lingvistikaning jahonda barq urib rivojlanayotgan yo‘nalishi psixolingvistika sistemaviy tilshunoslik uchun qarama-qarshi yo‘nalish emasligini tan olgan. Uning izdoshlari E.Benvenist, R.Bart, J.Derrida, J.Lakan, M.Fuko va boshqalar ijtimoiy olam manzarasini yaratuvchi qurol – til haqida fikr yuritib tatbiqiy tilshunoslikning nazariy asoslari poydevorini qo‘yganlar.
Rus tilshunosligida tatbiqiy tilshunoslikning turli jabhalari bo‘yicha ish olib borgan o‘nlab olimlarni sanab o‘tish mumkin. V.N.Teliya, I.V.Zikova, A.V.Artemova, G.G.Slishkin, I.A.Sternin, G.YE.Kreydmen, F.I.Kartashkova, M.V.Tomskaya, L.V.Polubichenko, I.G.Serova kabilar ularning juda kam qismi, xolos.
O‘zbek tilshunosligida keyingi davrda reklamalar, qonunchilik tiliga bag‘ishlangan bir qator tadqiqotlar paydo bo‘ldi. “Tilshunoslik va tabiiy fanlar”, “Kompyuter lingvistikasi”, “Matematik lingvistika” fanlari oliy o‘quv yurtlari filologiya yo‘nalishlari o‘quv rejalariga (nomuntazam) kiritildi. Ushbu yo‘nalishlarda muayyan tadqiqotlar paydo bo‘ldi. Biroq ushbu tadqiqotlar, balki shu sohada dastlabki tajribalardan bo‘lgani sababli, umumiy ma’lumotlar berish va jahon tilshunosligida mavjud tajribalarni o‘zbek tiliga tatbiq etishga urinishdan iborat bo‘lib qoldi.
Shulardan kompyuter lingvistikasi hozirgi kunda eng tez rivojlanayotgan va juda ahamiyatli tilshunoslik sifatida baholanishi mumkin.
Insonning kompyuterga nisbatan qaramlik holatining shakllanib borayotgani bugun jahon miqiyosidagi muammo ekanligi sir emas. Bu dastyorning quliga aylanib qolish insonning ruhi va ruh ifodasi bo‘lgan tilida ham aks etayotganini ijtimoiy saytlarga qisqa ekskursiya ham ko‘rsatib bera oladi. Hozirda biz kuzata olgan kompyuter lingvistikasiga oid tadqiqotlarda bu narsa kompyuter lingvistikasi oldiga qo‘yilgan asosiy vazifalar sirasida odatda sanalmasa-da, yaqin kelajak psixolingvistika va kompyuter lingvistikasining kesishmasida turuvchi asosiy masala sifatida aynan shu muammoni qo‘ya boshlashi shubhasiz. Hozirda ham kompyuter lingvistikasi fani oldida jamiyatimizni yangi ijtimoiy-iqtisodiy bosqichlarga ko‘tarishda zarur bo‘lgan vazifalar anchagina. Xususan, kompyuter uchun o‘zbekcha to‘liq va to‘laqonli lingvistik ta’minot yaratish, avtomatik tahrirlash, o‘zbek tilidan boshqa tilga yoki aksincha tarjima qiluvchi mukammal dasturlarni yaratish, sodda qilib aytganda, kompyuterni o‘zbekcha “gapirtirish” amaliy tilshunoslikning bu yo‘nalishi oldida turgan eng dastlabki vazifalardir. Keyingi yillarda tatbiqiy yo‘nalishning bu sohasiga tilshunoslar orasida qiziqishning ortib borayotgani quvonarli hol bo‘lsa-da, ko‘p sonli bo‘lmagan bu tadqiqotchilar faoliyati bu o‘ta dolzarb yo‘nalishda maxsus mutaxassislar tayyorlash zaruriyatini hal etib bera olmasligi ham aniq.
Hozirgi kunda amaliy tilshunoslikning o‘zbek tilini tatbiqiy tadqiq etishning metodologik asoslari ishlab chiqish, metod va prinsiplari belgilash muhim masala. O‘zbek tilining tatbiqiy yo‘nalishlarini amalga oshirishning dasturi ishlab chiqilishi lozim. Unda amaliy tilshunoslik taraqqiyoti uchun dolzarb bo‘lgan quyidagi muammolarning hal etilishi ko‘zda tutiladi:
- tilshunoslikning sof nazariy fan doirasidan chiqib, iqtisodiy samarador yo‘nalishlar taraqqiy topgan fan mavqeini ham olishida zaruriy tadqiqotlar metodologiyasi va metodlari belgilab berish
- amaliy tilshunoslikning bugungi ijtimoiy-iqtisodiy taraqqiyot davri uchun ayniqsa dolzarb bo‘lgan ustuvor yo‘nalishlari belgilash va asoslash;
- ishlab chiqilgan metodlar va metodologiya asosida muayyan amaliy yo‘nalish tavsifini yaratish.
Kelgusida amaliy tilshunoslikka oid tadqiqotlar natijalari asosida darsliklar, qo‘llanmalar yaratilishi ma’naviy yetuk, tadbirkor va zamonaviy barkamol yosh avlodni tarbiyalash ishida muhim hissa bo‘lib xizmat qilishi shubhasiz.
Ma’lumki, tilshunoslik fani XIX (1816-yilda) asrda mustaqil fan sifatida shakllandi. Shundan boshlab u turli aspektlarda, yo‘nalishlarda rivojlanib kelmoqda. Keyingi yillarda barcha fanlardagi kabi tilshunoslikda ham ikki fanning «chorrahasida» (kesishuvida) yuzaga kelgan fanlar jadal rivojlanmoqda. Jumladan, ana shunday fanlar sirasiga sotsiolingvistika (sotsiologiya va tilshunoslik), psixolingvistika (psixologiya va tilshunoslik), etnolingvistika (etnografiya va lingvistika), neyrolingvistika (nevrologiya va tilshun­oslik), matematik lingvistika va kompyuter lingvistikasi fanlarini kiritish mumkin. Bunday holni boshqa fanlar doirasida ham kuzatish mumkin: biokimyo, astrofizika, matematik fizika, matematik logika kabi. Buni fan­lar tizimida bir necha fanlarning o‘zaro hamkorligi, integratsiyasi deb ba­holash lozim bo‘ladi. XX asrning 50-yillaridan boshlab tilshunoslikda «mashina tarjimasi», «mashina tilshunosligi» atamalari qo‘llanila boshlandi._ Mazkur asrning buyuk kashfiyoti bo‘lgan kompyuter texnologiyalari tilshunoslikka ham kirib kelganining isboti edi. Mashina tarjimasi yoki avtomatik tarjima deyilganda bir tildagi matnni ikkinchi bir tilga EHM (kompyuter) vositasida, tez vaqt ichida tarjima qilish nazarda tutiladi. Mashi­na tarjimasining asoschilari kibernetika va matematika sohasi vakillari bo‘lib, keyinchalik bu ishda tilshunoslar ham faol qatnasha boshlagan. Shu tariqa mashina tarjimasi g‘oyalari butun dunyoda nazariy va amaliy tilshunoslikning rivojlanishida katta ahamiyat kasb etdi. Bu yo‘nalish bilan pa­rallel ravishda formal grammatika nazariyasi yuzaga kelib, til va uning alohida aspektlari modelini yaratishga e’tibor qaratildi. Tilning bu jihatlari matematik lingvistika fanida ishlab chiqildi, bu, o‘z navbatida, kompyuter lingvistikasi fanining yuzaga kelishi uchun poydevor bo‘ldi. Demak, shu asosda tilshunoslikning yangi yo‘nalishi - kompyuter lingvistikasi va tilshunoslikning bir qator nazariy va amaliy yo‘nalishlari vujudga keldi.
Matematik lingvistika fani XX asrning 50-yillarida (1952-yilda) tilshunoslikning alohida yo‘nalishi sifatida yuzaga keldi. Bu fanning shakllanishida Kopengagen struktural tilshunoslik maktabi (glossematika)ning asoschisi Lui Yelmslevning g‘oyalari o‘ziga xos «turtki» vazifasini o‘tagan. U hatto til hodisalarini matematik bayonda tushuntiradigan fanning nomini ham taklif etgan. Olimning fikricha, bu fan «Til algebrasi» («Lingvistik algebra») deb atalishi lozim edi.1 Amerikalik tilshunos Noam Chomskiyning formal grammatika, transformatsion grammatika haqidagi qarashlari bevosita matematik lingvistikaning alohida yo‘nalish sifatida yuzaga kelishiga sabab bo‘lgan.2 Mana shunday qarashlar ta’sirida matematik lingvistika fani shakllandi. Matematik lingvistika - bu tabiiy tillarning matematik modellarini (bunday formallashgan til metatil deb ataladi) ishlab chiqish, xususan, sun’iy tillarni yaratish algoritmini tuzish bilan shug‘ullanuvehi fandir. Matematik lingvistika oldida turuvchi eng muhim masalalar quyidagilardir:
tilning aksiomatik nazariyasini ishlab chiqish;
formal grammatika yaratish;
tillarning matematik modellarini ishlab chiqish.
Har bir fanning o‘z maqsad va vazifalari bo‘ladi. Matematik lingvistika fanining asosiy maqsadi tabiiy tillarning matematik modelini ishlab chiqishdir. Ushbu maqsadga erishish uchun fan o‘z oldiga quyidagi vazifalarni qo‘yadi:

tabiiy va sun’iy tillarning formal modellari algoritmini ishlab chiqish;

lisoniy hodisalami matematik parametrlarda baholash;
til hodisalarini matematik metodlar yordamida tahlil qilish (ehtimollar nazariyasi, statistika va kvantitativ metodlarni tatbiq etish).
Kompyuter lingvistikasi matematik lingvistikaning mantiqiy davomi bo‘lib, u amaliy tilshunoslikning eng muhim qismini tashkil etadi. Komp­yuter lingvistikasi 1954-yil AQShda Jorjtaun universitetida mashina tarjimasi bo‘yicha dunyoda o‘tkazilgan birinchi tajriba asnosida yo‘nalish sifatida shakllana boshladi, 1960-yilga kelib mustaqil fan sifatida shakllandi. Kompyuter lingvistikasi inglizcha «computational linguistics» so‘zining kalkasidir. XX asrning 80-yillariga qadar bu fan turlicha nomlar bilan atalgan: hisoblash lingvistikasi, matematik lingvistika, kvantitativ lingvistika, injener lingvistikasi kabi. Bu fanning asosiy maqsadi lingvistik masalalarni yechishning kompyuter dasturlarini ishlab chiqish, inson va mashina (komp­yuter) muloqotini optimallashtirish, tabiiy tilni qayta ishlashdir. Tabiiy tilni qayta ishlash kompyuter lingvistikasida tabiiy tillarning komp­yuter analizi va sintezini o‘z ichiga oladi. Bunda analiz tabiiy tilning kompyuterda morfologik, sintaktik va semantik tahlil yordamida tushunilishiga nisbatan ishlatiladi, sintez esa kompyuterda matnning grammatik shakllantirilishi va generatsiyasi (hosil qilinishi) demakdir. Tabiiy tilni qayta ishlash bo‘yicha yaratilgan dasturiy ta’minotlar quyidagilar: AlchemyAPI, Expert System S.p.A., General Architecture for Text Engineering (GA TE), Modular Audio Recog­nition Framework, Monty Lingua, Natural Language Toolkit (NLTK).
Kompyuter lingvistikasida qo‘llaniladigan va yaratiladigan lingvistik vositalarni shartli ravishda ikki qismga bo‘lish mumkin: deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birliklari lug‘ati, grammatik ma’lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Prot­sedura qismi esa yuqoridagi lingvistik ta’minot bazasini boshqarish vositalarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o‘z ichiga oladi.
O‘zbek tili materiallari bo‘yicha kompyuter lingvistikasiga oid tadqiqot olib borgan olimlar sifatida H.Arziqulov, S.Rizayev, S.Muhamedov, A.Po‘latov, S.Muhamedova, N.Jo‘rayevalarni ko‘rsatish mumkin. Olimlar asosan statistik tahlil, algoritmlash, o‘zbek tilining aksiomatik nazariyasi, fe’llarning kompyuter analizi va sintezi kabi yo‘nalishlar bo‘yicha izlanishlarni amalga oshirganlar. O‘zbek tilshunosligidagi kompyuter lingvistikasining boshqa yo‘nalishlari esa o‘z tadqiqotchilarini kutmoqda. Shunga ko‘ra, bugungi kunda o‘zbek tilshunosligining kompyuter bilan bog‘liq holda hal etilishi lozim bolgan quyidagi vazifalarni ta’kidlab ko‘rsatish mumkin:1
1. O‘zbek tilining kompyuter uslubini yaratish.
2. Axborot matnlaridagi qoliplilik, qisqalik standartlarini ishlab chi­qish.
3. Kompyuter izohli va tarjima lug‘atlarini yaratish.
4. O‘zbek tili va adabiyoti darsliklarining elektron versiyalarini ishlab chiqish.
5. Kompyuterda inglizcha-o‘zbekcha tarjima dasturlarini ishlab chiqish
6. Kompyuterdagi matnlarni avtomatik tahrirlash dasturlarini yaratish
7. O‘zbek tili grammatikasining kompyuter modelini yaratish.
8. «Inglizcha-o‘zbekcha tarjimon» kompyuter dasturini ishlab chiqish.
9. O‘zbek tilidagi matnlarni tahrirlash dasturlarini yaratish.
10. O‘zbek tilidagi «Windows» operatsion tizimini yaratish.