O‘zmu xabarlari Вестник нууз acta nuuz

Keywords:
natural language processing, NLP, NLTK, information technology linguistic programs, linguistic systems 
 
СИСТЕМЫ ОБРАБОТКИ ЕСТЕСТВЕННОГО ЯЗЫКА (NLP) НА ЯЗЫКЕ ПРОГРАММИРОВАНИЯ PYTHON 
Аннотация 
В процессе глобализации и цифровой информации информационные технологии играют важную роль в развитии 
узбекского языка. В сфере компьютерного лингвистиве в результате процесса автоматической обработки естественного 
языка (Natural Language Processing / NLP) и создания компьютерно-понятной языковой (формальной) формы 
естественного языка, разработаны многие компьютерные программы, которые предназначены решать лингвистические 
проблемы как редактирование, анализ, перевод, электронное озвучивание текста, преобразование устной речи в 
электронный текст, роботизированная коммуникация), например преобразование большого текста в минитекст и т.д. 
В этой статье обсуждаются основы и системы обработки естественного языка с использованием пакетов языка 
программирования Python. 
Ключевые слова:
обработка естественного языка, NLP, NLTK, лингвистические программы информационных 
технологий, лингвистические системы 
 
Kirish. 
Jahon tilshunosligida XX asrning 50-yillaridan 
til va matn muammolari bilan bog‘liq masalalar kompyuter 
texnologiyalari yordamida hal qilinmoqda. Natijada matnni 
avtomatik tushunish, mashina tarjimasi, matnni referatlash 
(gipermatnni asosiy mazmunni o‘zida saqlagan minimatnga 
keltirish, ya’ni matn hajmini qisqartirish, uni qisqa bayon 
holiga aylantirish), tasniflash (mavzu, uslub va janr jihatidan 
o‘zaro yaqin matnlarni guruhlash), matnni tahrir va tahlil 
qilish, matnni generatsiyalash (bir nechta tabiiy tilga oid 
hujjatli matnlardan formula, texnik ishlanmalar, dasturiy 
tizimlarni yig‘ish), matndan ma’lumotni olish, og‘zaki nutqni 
raqamli ma’lumotda berish va aksincha, yozma nutqni og‘zaki 
nutqqa aylantirish, tabiiy tilning Milliy koʻrpusi va boshqa tur 
lingvistik korpuslarini yaratish, ontologik lug‘atlar bazasini 
shakllantirish 
kabi 
dolzarb 
masalalar 
kompyuter 
lingvistikasining mundarijasini egallagan va tabiiy tilni qayta 
ishlash (Natural Language Processing / NLP) sohasida asosiy 
vazifa hamda yo‘nalishlariga aylangan [2:5]. 
Kompyuter lingvistikasi, aynan, NLP har bir tilning 
axborot texnologiyalari makonida o‘z o‘rnini topishiga xizmat 
qiladi. Bugungi kunda oʻzbek tilining qo‘llanilish doirasini 
kengaytirish, elektron lug‘atlar, tarjimon dasturlari, lingvistik 
dasturlari va tizimlarini yaratish, o‘zbek tili Milliy korpusi va 
boshqa turdagi til korpuslarini yaratish ustuvor vazifalaridan 
hisoblanadi. Buning uchun oʻzbek tilini qayta ishlash 
jarayonlari ustida ilmiy va amaliy izlanishlar olib borilmoqda 
va, albatta, muayyan natijalarga ham erishilmoqda. Jumladan, 
Alisher Navoiy nomidagi Toshkent davlat oʻzbek tili va 
adabiyoti universitetida o‘zbek tili Milliy korpusi [1] va 
ta’limiy korpus, oʻzbek nutq sintezatori [15], yaratildi. Turkiy 
tillarning elektron platformasini yaratish ustida izlanishlar 
boshlangan. Alisher Navoiy va Zahiriddin Muhammad Bobur 
ijod mahsullari, shuningdek, yana bir qancha adiblar 
kitoblarining mobil ilovalari yaratilib, foydalanuvchilar 
taqdim etildi.