Kompyuter lingvistikasi

XX asrning 50-yillaridan boshlab tilshunoslikda "mashina tarjimasi", "mashina tilshunosligi" atamalari qo’llanila boshlandi. Bu asrning buyuk kashfiyoti bo’lgan kompyuter texnologiyalari tilshunoslikka ham kirib kelganining isboti edi. Mashina tarjimasi yoki avtomatik tarjima deyilganda bir tildagi matnni ikkinchi bir tilga EHM (kompyuter) vositasida, tez vaqt ichida tarjima qilish nazarda tutiladi. Mashina tarjimasining asoschilari kibernetika va matematika sohasi vakillari bo’lib, keyinchalik bu ishda tilshunoslar ham faol qatnasha boshlagan. Shu tariqa mashina tarjimasi g’oyalari butun dunyoda nazariy va amaliy tilshunoslikning rivojlanishida katta ahamiyat kasb etdi. Bu yo’nalish bilan parallel ravishda formal grammatika nazariyasi yuzaga kelib, til va uning alohida aspektlari modelini yaratishga e'tibor qaratildi. Tilning bu jihatlari matematik lingvistika fanida ishlab chiqilib, bu o’z navbatida, kompyuter lingvistikasi fanining yuzaga kelishi uchun poydevor bo’ldi. Demak, shu asosda tilshunoslikning yangi yo’nalishi bo’lgan kompyuter lingvistikasi va tilshunoslikning bir qator nazariy va amaliy yo’nalishlari vujudga keldi.
Matematik lingvistika fani XX asrning 50-yillarida (1952 yilda) tilshunoslikning alohida yo’nalishi sifatida yuzaga keldi. Bu fanning shakllanishida Kopengagen struktural tilshunoslik maktabi (glossematika)ning asoschisi Lui Yelmslevning g’oyalari o’ziga xos „turtki“ vazifasini o’tagan. U hatto til hosidalarini matematik bayonda tushuntiradigan fanning nomini ham taklif etgan. Olimning fikricha, bu fan „Til algebrasi“ („Lingvistik algebra“) deb atalishi lozim edi. Amerikalik tilshunos Noam Chomskiyning formal grammatika, transformatsion grammatika haqiagi qarashlari bevosita matematik lingvistikaning alohida yo’nalish sifatida yuzaga kelishiga sabab bo’lgan. Mana shunday qarashlar ta’sirida matematik lingvistika fani shakllandi. Matematik lingvistika bu – tabiiy tillarning matematik modellarini (bunday formallashgan til metatil deb ataladi) ishlab chiqish, xususan, sun’iy tillarni yaratish algoritmini tuzish bilan shug’ullanuvchi fandir. Matematik lingvistika oldida turuvchi eng muhim masalalar quyidagilardir:
- tilning aksiomatik nazariyasini ishlab chiqish;
- formal grammatika yaratish;
- tillarning matematik modellarini ishlab chiqish.
Har bir fanning o’z maqsad va vazifalari bo’ladi. Matematik lingvistika fanining asosiy maqsadi tabiiy tillarning matematik modelini ishlab chiqishdir. Ushbu maqsadga erishish uchun fan o’z oldiga quyidagi vazifalarni qo’yadi:
- tabiiy va sun’iy tillarning formal modellari algoritmini ishlab chiqish;
- lisoniy hodisalarni matematik parametrlarda baholash;
- til hodisalarini matematik metodlar yordamida tahlil qilish (ehtimollar nazariyasi, statistika va kvantitativ metodlarni tatbiq etish).
Kompyuter lingvistikasi matematik lingvistikaning mantiqiy davomi bo’lib, u amaliy tilshunoslikning eng muhim qismini tashkil etadi. Kompyuter lingvistikasi 1954 yil AQSHda Jorjtaun universitetida mashina tarjimasi bo’yicha dunyoda o’tkazilgan birinchi tajriba asnosida yo’nalish sifatida shakllana boshladi, 1960 yilga kelib mustaqil fan sifatida shakllandi. Kompyuter lingvistikasi inglizcha “computational linguistics” so’zining kalkasidir. XX asrning 80-yillariga qadar bu fan turlicha nomlar bilan atalgan: hisoblash lingvistikasi, matematik lingvistika, kvantitativ lingvistika, injener lingvistikasi kabi. Bu fanning asosiy maqsadi lingvistik masalalarni yechishning kompyuter dasturlarini ishlab chiqish, inson va mashina (kompyuter) muloqotini optimallashtirish , tabiiy tilni qayta ishlash (Natural Language Processing)dir. NLP kompyuter lingvistikasida tabiiy tillarning kompyuter analizi va sintezini o’z ichiga oladi. Bunda analiz tabiiy tilning kompyuterda morfologik, sintaktik va semantik tahlil yordamida tushunilishiga nisbatan ishlatiladi, sintez esa kompyuterda matnning grammatik shakllantirilishi va generatsiyasi (hosil qilinishi) demakdir. NLP bo’yicha yaratilgan dasturiy ta’minotlar quyidagilar: AlchemyAPI, Expert System S.p.A., General Architecture for Text Engineering (GATE), Modular Audio Recognition Framework, MontyLingua, Natural Language Toolkit (NLTK).
Kompyuter lingvistikasining asosiy vazifalariga quyidagilar kiradi:
• avtomatik o’qitish tizimini ishlab chiqish;
• bilimlarni tekshirish;
• matnlarni turli jihatdan avtomatik tahrirlash;
• matnlarni avtomatik tarzda morfologik, sintaktik va semantik tahlilini (inglizcha parsing) ta’minlovchi tizimlar yaratish (parser dasturlar);
• mashina tarjimasi uchun mo’ljallangan dasturlarni ishlab chiqish;
• lug’atlarni va kompyuterdagi matnni statistik tahlil qilish;
• lingvistik muammolarni hal qilishga yo’naltirilgan optimal dasturlar yaratish;
• muloqotning kompyuter modelini ishlab chiqish;
• matn strukturasining gipertekst texnologiyasini yaratish;
• elektron lug’atlar va tezauruslar yaratish;
• sun’iy intellekt tizimini ishlab chiqish;
• matnlar korpusini yaratish;
• matnni avtomatik referatlash;
• syujet strukturasini modellashtirish;
• nutqni avtomatik tushunish tizimini ishlab chiqish (inglizcha ASR – Automatic Speech Recognition);
• matndan faktlarni avtomatik ajratib olish (inglizcha fact extraction, text mining).
Kompyuter lingvistikasida qo’llaniladigan va yaratiladigan linvistik vositalarni shartli ravishda ikkiga qismga bo’lish mumkin: deklarativ hamda protsedura qismlari. Deklarativ qismga til va nutq birliklari lug’ati, grammatik ma’lumotnomalar, matnlar korpusi kabilarni kiritish mumkin. Protsedura qismi esa yuqoridagi lingvistik ta’minot bazasini boshqarish vositalarini (algoritmlar tuzish, dasturlar yaratish, kompyuter analizi va sintezi kabilar) o’z ichiga oladi.
O’zbek tili materiallari bo’yicha kompyuter lingvistikasiga oid tadqiqot olib borgan olimlar sifatida S.Rizaev va S.Muhamedov, A.Po’latov, S.Muhamedova, N.Jo’rayevalarni alohida ko’rsatish mumkin. Olimlar asosan statistik tahlil, algoritmlash, o’zbek tilining aksiomatik nazariyasi, fe’llarning kompyuter analizi va sintezi kabi yo’nalishlar bo’yicha izlanishlarni amalga oshirganlar. O’zbek tilshunosligidagi kompyuter lingvistikasining boshqa yo’nalishlari esa o’z tadqiqotchilarini kutmoqda. Shunga ko’ra, bugungi kunda o’zbek tilshunosligining kompyuter bilan bog’liq holda hal etilishi lozim bo’lgan quyidagi vazifalarni ta'kidlab ko’rsatish mumkin:
1. O’zbek tilining kompyuter uslubini yaratish.
2. Axborot matnlaridagi qoliplilik, qisqalik standartlarini ishlab iqish.
3. Kompyuter izohli va tarjima lug’atlarini yaratish.
4. O’zbek tili va adabiyoti darsliklarining elektron versiyalarini ishlab chiqish.
5. Kompyuterda inglizcha-o’zbekcha tarjima dasturlarini ishlab chiqish.
6. Kompyuterdagi matnlarni avtomatik tahrirlash dasturlarini yaratish.
7. O’zbek tili grammatikasining kompyuter modelini yaratish.
8. "Inglizcha-o’zbekcha tarjimon" kompyuter dasturini ishlab chiqish.
9. O’zbek tilidagi matnlarni tahrir qilish dasturlarini yaratish.
10. O’zbek tilidagi "Windows" operatsion tizimini yaratish.
11. Inglizcha-o’zbekcha, o’zbekcha-inglizcha kompyuter lug’atlarini ishlab chiqish.
Kompyuter lingvistikasi amaliy tilshunoslikning tarkibiy qismi hisoblanadi, u nazariy tilshunoslik yutuqlaridan foydalanadi, oziqlanadi. Kompyuter lingvistikasi va nazariy tilshunoslik bir-birini to’ldiradi. Kompyuter lingvistikasida til insondan tashqarida mavhum sistema sifatida, L.Yelmslev ta’rifi bilan aytganda “sof munosabatlar tizimi” sifatida tavsiflanadi. Kompyuter lingvistikasi va klassik (mumtoz) tilshunoslik orasidagi farq quyidagi nuqtalarda ko’rinadi:
- Mumtoz tilshunoslikda til inson bilan mutanosiblikda, juftlikda ko’rib chiqiladi. Ya’ni mumtoz tilshunoslik insonga yo’naltirilgan bo’ladi va uning faol ishtirokida qabul qilinadi. Kompyuter lingvistikasi esa tavsiflash jarayonida insonni istisno qiladi va u ko’proq kompyuterga moslashtiriladi.
- Mumtoz tilshunoslik ko’proq tavsifiy (deskriptiv) xarakterga ega hisoblanadi. Kompyuter lingvistikasi esa masalani miqdoriy xarakteristikalar va aniq parametrlar asosida hal qiladi. Demak, mumtoz tilshunoslik ko’proq tavsifiy bayonga asoslansa, kompyuter lingvistikasi miqdoriy (kvantitativ) tavsifga, algoritmlash, modellashtirish, statistik tahlilga asoslanadi.
- Mumtoz tilshunoslik ko’proq nazariy xarakterga ega bo’lib, tilshunoslikning nazariy masalalari bilan shug’ullanadi. Kompyuter lingvistikasi esa amaliy harakterga ega bo’lib, til bilan bog’liq muammolarning amaliy jihatlariga e’tibor qaratadi hamda uni aniq maqsadga yo’naltirilgan dasturlar, metodlar, tizimlar yordamida hal etish bilan shug’ullanadi.
- Mumtoz tilshunoslikning tahlil obyekti tabiiy til hisoblanadi va tahlilda uning mavjud barcha imkoniyatlari e’tiborga olinadi. Kompyuter lingvistikasida esa ko’proq sun’iy tillarga (programmalashtirish tillari, algoritmik tillar)ga tayaniladi, tabiiy tillarning mavjud imkoniyatlari cheklanadi, bunda tabiiy tilga ishlov berilib (NLP), kompyuterga moslashtiriladi.
Fanlar hamisha o’zaro uzviy bog’liqlik va hamkorlikda ish ko’radi, ular bir-birisiz yashay olmaydi. Jumladan, kompyuter lingvistikasi fani ham bundan mustasno emas. Kompyuter lingvistikasi mantiq, informatika, statistika, semiotika, kibernetika, ehtimollar nazariyasi kabi turli fan sohalari bilan o’zaro aloqadorlikda ish ko’radi.