AI-DRIVEN SOFTWARE SYSTEM FOR TRANSLATING SPOKEN UKRAINIAN INTO SIGN LANGUAGE - ЛУЦ, Владислав; БЕЗВЕРХИЙ, Олександр; ТОПОЛЬСЬКОВ, Євгеній (Київський національний університет імені Тараса Шевченка, 2025)
This paper presents a software system designed for real-time translation of spoken Ukrainian into sign language animations. The system employs the Whisper model for automatic speech recognition (ASR), ensuring reliable transcription of oral Ukrainian. Given that the Ukrainian language is highly inflected while sign language does not utilize grammatical cases, a JSON-based correction module has been implemented. This module consists of two components: a dictionary for frequent recognition errors and a lemmatization mechanism that converts words into their base forms. The normalized text is subsequently mapped to GIF animations, each representing a corresponding sign in Ukrainian Sign Language (USL). The translation process operates in real time, providing a sequential display of animations synchronized with the recognized speech. The solution demonstrates both technical efficiency—characterized by low latency and a modular architecture—and social impact by enhancing communication accessibility for individuals who are d/Deaf or hard of hearing, as well as those who use sign language as their primary means of communication. Potential applications include inclusive education, everyday interactions, and the development of assistive technologies tailored to the needs of the signing community.

У роботі подано програмну систему, призначену для перекладу української мови на анімації жестової мови у режимі реального часу. Система використовує модель Whisper для автоматичного розпізнавання мови, забезпечуючи надійну транскрипцію усної української мови. Оскільки українська мова є високофлексійною, а жестова мова не використовує граматичні відмінки, реалізовано модуль виправлення на основі JSON. Він охоплює два компоненти: словник для частих помилок розпізнавання та механізм лематизації, який переписує слова у їх базову форму. Нормалізований текст потім відображається на GIF-анімаціях, кожна з яких представляє відповідний жест української жестової мови. Процес перекладу відбувається в реальному часі, забезпечуючи послідовне відображення анімацій, синхронізованих із розпізнаною мовою. Рішення демонструє, як технічну ефективність (низьку затримку, модульну структуру), так і соціальний вплив через покращення доступності комунікацій для людей з вадами слуху чи тих, хто використовує жестову мову як основний засіб спілкування. Потенційні застосування охоплюють інклюзивну освіту, повсякденні взаємодії та розроблення технологій, адаптованих до потреб спільноти з вадами слуху та мовлення.
ПРОГРАМНА СИСТЕМА ЗІ ШТУЧНИМ ІНТЕЛЕКТОМ ДЛЯ ПЕРЕКЛАДУ УКРАЇНСЬКОЇ ВЕРБАЛЬНОЇ МОВИ НА ЖЕСТОВУ МОВУ
Keywords: inclusive and assistive technologies; Ukrainian Sign Language (USL); artificial intelligence; automatic speech recognition (ASR); Whisper model; lemmatization; JSON-based error correction; GPU CUDA acceleration; інклюзивні та асистивні технології; українська жестова мова; штучний інтелект; автоматичне розпізнавання мовлення; модель Whisper; лематизація; корекція помилок на основі JSON; GPU CUDA прискорення