Іларіонов, Олег ЄвгеновичОлег ЄвгеновичІларіоновАстахов, АнтонАнтонАстахов0000-0003-1986-6130Красовська, Ганна ВалеріївнаГанна ВалеріївнаКрасовська0000-0002-8629-9933Доманецька, Ірина МиколаївнаІрина МиколаївнаДоманецька2026-03-042026-03-042021-11-04О. Іларіонов, А. Астахов , Г. Красовська, І. Доманецька “Інтелектуальний модуль розпізнавання емоцій за голосом”, Сучасні інформаційні технології, vol.1, p. 46–52, 2021.УДК 004.93410.17721/AIT.2021.1.06https://ir.library.knu.ua/handle/15071834/11828Speech is the main way of communication for people, and people can receive not only semantic but also emotional information from speech. Recognition of emotions by voice is relevant to areas such as psychological care, security systems development, lie detection, customer relationship analysis, video game development. Because the recognition of emotions by a person is subjective, and therefore inexact and time consuming, there is a need to create software that could solve this problem. The article considers the state of the problem of recognizing human emotions by voice. Modern publications, the approaches used in them, namely models of emotions, data sets, methods of extraction of signs, classifiers are analyzed. It is determined that existing developments have an average accuracy of about 0.75. The general structure of the system of recognition of human emotions by voice is analyzed, the corresponding intellectual module is designed and developed. A Unified Modeling Language (UML) is used to create a component diagram and a class diagram. RAVDESS and TESS datasets were selected as datasets to diversify the training sample. A discrete model of emotions (joy, sadness, anger, disgust, fear, surprise, calm, neutral emotion), MFCC (Mel Frequency Cepstral Coefficients) method for extracting signs, convolutional neural network for classification were used. . The neural network was developed using the TensorFlow and Keras machine learning libraries. The spectrogram and graphs of the audio signal, as well as graphs of accuracy and recognition errors are constructed. As a result of the software implementation of the intelligent module for recognizing emotions by voice, the accuracy of validation has been increased to 0.8.Для людей мовлення є основним способом комунікації, причому люди з мовлення можуть отримувати не тільки семантичну, а й емоційну інформацію. Розпізнавання емоцій за голосом є актуальним для таких галузей, як надання психологічної допомоги, розробка систем безпеки, виявлення брехні, аналіз зв’язків з клієнтами, розробка відеоігор. Оскільки розпізнавання емоцій людиною є суб’єктивним, а отже неточним, та потребує багато часу, існує необхідність у створенні програмного забезпечення, яке могло б вирішити цю задачу. В статті було розглянуто стан проблеми розпізнавання емоцій людини за голосом. Проаналізовано сучасні публікації, використані в них підходи, а саме моделі емоцій, набори даних, методи вилучення ознак, класифікатори. Визначено, що існуючі розробки мають середню точність близько 0,75. Проаналізовано загальну структуру системи розпізнавання емоцій людини за голосом, спроектовано та розроблено відповідний інтелектуальний модуль. За допомогою уніфікованої мови моделювання UML (від англ. “Unified Modeling Language”) створено діаграму компонентів та діаграму класів. В якості наборів даних обрано датасети RAVDESS і TESS для урізноманітнення навчальної вибірки. Використано дискретну модель емоцій (радість, смуток, гнів, відраза, страх, здивування, спокій, нейтральна емоція), метод MFCC (мел-частотні кепстральні коефіцієнти від англ. “Mel Frequency Cepstral Coefficients”) для вилучення ознак, згорткову нейронну мережу для класифікації. Нейронна мережа розроблена з використанням бібліотек для машинного навчання TensorFlow і Keras. Побудовано спектрограму та графіки аудіосигналу, а також графіки точності та похибки розпізнавання. За результатами програмної реалізації інтелектуального модуля розпізнавання емоцій за голосом збільшено точність валідації до 0,8.ukрозпізнавання емоцій за голосомнейронні мережіглибинне навчаннязгорткові нейронні мережі.recognition of emotions by voiceneural networksdeep learningconvolutional neural networksСтаття