Cинтез та конверсія українського співочого мовлення - Грицишин, Яна (Київський національний університет імені Тараса Шевченка, 2025)
Синтез співочого мовлення (SVS) – перспективний напрям у галузі комп’ютерної лінгвістики, акустики та штучного інтелекту, який значно покращився завдяки розвитку нейронних мереж. Однак, попри розвиток японських, китайських та англомовних SVS-систем, українськомовні відкриті аналоги ще не створені. Окрім цього, окремо привертає увагу розвиток технологій клонування голосу, що дозволяють створювати персоналізовані голосові моделі. Кваліфікаційна робота присвячена аналізу і розробці українських SVS- та SVC-систем, а також оцінка якості синтезу. Проєкт має важливе практичне значення для музики, кінематографу, реклами, а також для академічних досліджень українського співочого мовлення, сприяючи популяризації мови в технологічному просторі. В ході роботи було визначено диференційні ознаки співочого мовлення, надано коротку історію розвитку систем синтезу вокалу, описано провідні архітектури, а також створено і проаналізовано системи синтезу співочого мовлення за допомогою DiffSinger та систему клонування голосу на основі RVC-WebUI. Згенеровані результати демонструють високу якість згенерованих фрагментів обома системами. DiffSinger більш гнучкий, добре зберігає тембр і контроль над ритмом, але потребує багато ресурсів і має окремі артефакти у звучанні. RVC-WebUI бере на вхід реальні записи, забезпечує природність звучання, але наявність артефактів залежить від якості вхідних даних і не дає контролю над змістом. Хоч кожна з них і має свої недоліки, обидва підходи виявились ефективними за різних умов та завдань. Їх поєднання може підвищити гнучкість і якість синтезу.

Singing Voice Synthesis (SVS) is a promising field in computational linguistics, acoustics, and artificial intelligence that has significantly improved due to advancements in neural networks. However, despite the development of Japanese, Chinese, and English SVS systems, open-source Ukrainian-language counterparts have not yet been created. Additionally, the rise of voice conversion technologies has attracted attention, enabling the creation of personalized vocal models. This qualification work focuses on analyzing and developing Ukrainian SVS and SVC systems, along with evaluating their synthesis quality. The project holds significant practical value for music, cinema, advertising, and academic research on Ukrainian singing speech, promoting the language in the technological space. The study defines the distinctive features of singing speech, provides a briefhistory of vocal synthesis systems, describes leading architectures, and develops and examines singing voice synthesis systems using DiffSinger and voice conversion technology based on RVC-WebUI. The results demonstrate high-quality output from both systems. DiffSinger is more flexible, retains timbre and rhythm control well, but requires substantial resources and has occasional artifacts. RVC-WebUI processes real recordings, ensuring naturalness, but is dependent on input quality and does not allow control over content. Despite their individual limitations, both approaches prove effective fordifferent tasks, and their combination could enhance synthesis flexibility and quality.
Keywords: співоче мовлення; синтез мовлення; генеративні моделі; дифузійні моделі; клонування голосу; singing voice; speech synthesis; generative models; diffusion models; voice conversion