Sun’iy neyron tarmoqlarida nutqni sintezlash modellari tahlili mavzusida bitiruv malakaviy ishi

2.2. Sun’iy neyron tarmoqlarida TTS nazorat qilish, ajratish va uzatish
Yaxshi TTS tizimi har doim matnga ko'ra "to'g'ri" nutqni yaratish uchun mustahkam bo'lishi kerak burchak holatlariga duch kelganda. Neyron TTSda so'zni o'tkazib yuborish, takrorlash va kabi mustahkam masalalar Diqqatning pasayishi16 ko'pincha akustik modellarda17 mel-spektrogramma ketma-ketligini yaratishda sodir bo'ladi. belgilar/fonema ketma-ketligidan. Umuman olganda, bu kuchli muammolarning sabablari ikkita toifa: 1) Belgilar/fonemalar orasidagi moslashishni o'rganishdagi qiyinchilik va mel-spektrogrammalar; 2) Avtoregressiyada yuzaga keladigan ta'sir ko'rsatish va xatolarning tarqalishi muammolari avlod. Vokoderlar jiddiy muammolarga duch kelmaydilar, chunki akustik xususiyatlar va to'lqin shakli mavjud allaqachon ramkaga moslashtirilgan (ya'ni, akustik xususiyatlarning har bir ramkasi ma'lum bir raqamga to'g'ri keladi to'lqin shakli nuqtalarining (hop o'lchami). Shu sababli, mustahkam TTS bo'yicha mavjud ishlar yuqoridagi ikkitasiga qaratilgan muammolar
.
• Belgilar/fonemalar va mel-spektrogrammalar o'rtasida moslashishni o'rganish uchun ishlar bo'lishi mumkin ikki jihatga bo'lingan: 1) diqqat mexanizmining mustahkamligini oshirish [22, 15, 27, 24, 12, 10, 3] va 2) e'tiborni olib tashlash va buning o'rniga uzoqni aniq bashorat qilish. matn va nutq o'rtasidagi uzunlikning mos kelmasligi.
• Avtoregressiv avlodda ekspozitsiyaning noto'g'riligi va xatolarning tarqalishi muammolari uchun ishlar mumkin shuningdek, ikkita jihatga bo'linadi: 1) ta'sirni engillashtirish uchun avtoregressiv avlodni takomillashtirish noto'g'ri va xatolarning tarqalishi muammolari [23, 20, 2, 5] va 2) avtoregressiv avlodni olib tashlash va buning o'rniga avtoregressiv bo'lmagan avloddan foydalanish [4, 10, 27, 11].
Yuqorida ko'rsatilganidek, mustahkamlikni oshirish uchun ushbu toifalardagi ba'zi mashhur texnikalarni umumlashtiramiz Jadval 10. Ikki muammoni hal qiluvchi ishlar bir-biriga mos kelishi mumkin, masalan, ba'zi ishlar
AR yoki NAR avlodida e'tibor mexanizmini va shunga o'xshash vaqtni bashorat qilishni kuchaytirish AR va NAR avlodida qo'llanilishi mumkin. Biz ushbu toifalarni quyidagicha ko'rib chiqamiz.