Va axborot texnologiyalari 11-sinf toshkent – 2021
Yüklə 49,29 Mb. Pdf görüntüsü
|
- Bu səhifədəki naviqasiya:
- I I BOB. PYTHONDA TABIIY TILNI QAYTA ISHLASH TEXNOLOGIYASI 102
- Semantik tahlil.
|
Sintaktik tahlil.
Tahlilning bu turi berilgan matndagi so‘z va gaplarni yasalish jihatidan tahlil qiladi. So‘zlarda so‘z birikmalarining to‘g‘ri qo‘llanilishi va gap yasalishidagi grammatik TTQIga ikki xil yondashuv mavjud: 1) qoidalarga asoslangan tabiiy tilni qayta ishlash . Bu turdagi dastur ma‘lumotlarni qayta ishlashda aql-idrokdan foydalanadi, ya‘ni gaplarning mantiqiy tuzilishini inson kabi tahlil qilgan holda yaratadi. Masalan, bunday yondashuv asosida ishlovchi dastur muzlashi inson hayotiga xavf solishini inobatga olgan holda gap mazmunini shakllantirishi mumkin. Qoidalarga asoslangan yondashuv bo‘yicha ishlovchi dasturlar sekin ishlaydi va ko‘p vaqt talab etadi. Shu sababli bu yondashuv dasturchilar orasida ommalashmagan; 2) statistik tabiiy tilni qayta ishlash. Bunday yondashuv asosida katta hajmdagi ma‘lumotlar mashinani o‘qitish texnologiyasiga asoslangan algoritmlar yordamida qayta ishlanadi. Bu esa ma‘lumotlarning tezkor qayta ishlanishiga hamda foydalanuvchi bilan to‘xtovsiz aloqani ta‘minlashga olib keladi. Bunda dastur sifati dasturchi tomonidan qo‘llanilayotgan algoritmlar imkoniyatiga chambarchas bog‘liqdir. Ya’ni dasturchining optimal algoritmlardan foydalanishi sifatli TTQI dasturining yaratilishiga olib keladi. I I BOB. PYTHONDA TABIIY TILNI QAYTA ISHLASH TEXNOLOGIYASI 102 qoidalar sintaktik tahlil asosida o‘rganiladi. Grammatik jihatdan noto‘g‘ri gaplarni qabul qilmaydi. Masalan, “Daraxt kemaga bordi” jumlasi sintaktik jihatdan xato hisoblanadi. Shuning uchun tuzilayotgan TTQI dasturida sintaktik tahlil muhim ahamiyat kasb etadi. Semantik tahlil. Semantik tahlil so‘zlar ma‘nosiga asoslangan holda jumla yoki gaplar mazmundorligini tahlil qiladi. Semantik tahlil sintaktik tahlil bilan birgalikda matnlarning to‘g‘ri qo‘llanilishiga yordam beradi. Masalan, “qaynoq muz bo‘lagi” kabi jumlalar tahlildan o‘tmaydi, chunki muz bo‘lagi qaynoq bo‘lishi mumkin emas. TTQI texnologiyasi inson kabi mukammal so‘zlashuv imkoniyatini taqdim etishi uchun unda yuqoridagi tarkibiy qismlar to‘laqonli aks etishi lozim. Bugungi kungacha yaratilgan dasturlarda ayrim komponentlar qo‘llanilmagan. Shu sababli TTQI texnologiyasiga ega bo‘lgan dastur hozircha kutilgan natijani bermayapti. Python dasturlash tilida TTQI texnologiyasidan foydalanishga yordam beruvchi bir qancha kutubxonalar mavjud. Bularga NLTK, spaCy, Gensim, Pattern, TextBlob kabilarni misol keltirishimiz mumkin. NLTK (Natural Language Toolkit) Python dasturlash tili TTQI texnologiyasi uchun maxsus yaratilgan modul bo‘lib, jarayonlarni modellashtirish uchun bir qancha qo‘shimcha imkoniyatlarga ega. Xususan, tokenizatsiya, nutqni qismlarga bo‘lish va belgilash, nutqni tanib olish, foydalanuvchi his-tuyg‘ularini tahlil qilish va chat-bot to‘plamlaridan iborat. Shuningdek, NLTK kutubxonasi nutqni aniqlash bilan bog‘liq loyihalarda faol qo‘llanilmoqda. spaCy TTQI uchun ommabop Python kutubxonasi bo‘lib, ochiq manbali vosita hisoblanadi. spaCy ko‘proq ishlab chiqarish jarayonida foydalanishga mo‘ljallangan. Kutubxona quyidagi imkoniyatlarni taqdim etadi: tokenizatsiya, nutqni tanib olish, uni qismlarga bo‘lish va belgilash, foydalanuvchi his-tuyg‘ularini tahlillash, qarama-qarshilikni tahlil qilish va so‘z vektorlari bilan ishlash. Bundan tashqari, mazkur kutubxona kiritilgan ma‘lumotlarni avtomatik ravishda to‘ldirish va tuzatish, sharhlarni tahlil qilish va tahlil qilinayotgan ma‘lumotni umumiy xulosalash kabi qo‘shimcha imkoniyatlarni ham taklif etadi. Bunday imkoniyatlar dasturchilar TTQI dasturlarini yaratishlarida uchrashi mumkin bo‘lgan qiyinchiliklarning kamayishiga olib kelmoqda. Gensim kutubxonasi Pythonda berilgan ma‘lumotni modellashtirish hamda o‘xshashlikni aniqlash vazifasini bajaradi. Ya’ni u kiritilgan ma‘lumotlarni kuchli tahlillash imkoniyatini taqdim etadi. Gensim umumiy maqsadli TTQI kutubxonasi bo‘lmasa-da, keng qamrovli tahlillash imkoniyati orqali yaratilayotgan dasturlarning sifatiga ijobiy ta’sir ko‘rsatishi bilan ahamiyatlidir. Pattern TTQI jarayonida ma‘lumotlarni avtomatik ravishda sintaktik tahlil qilish imkoniyatini taqdim etishi bilan boshqa shu kabi vazifalarni bajaruvchi Python kutubxonalaridan ajralib |