Інтелектуальна система розпізнавання жестів долоні для взаємодії з інтерфейсом
Тип публікації :
Бакалаврська робота
Дата випуску :
2022
Автор(и) :
Шатохін Андрій Владиславович
Мова основного тексту :
ua
eKNUTSHIR URL :
Цитування :
[APA 7] Шатохін, А. В. (2022). Інтелектуальна система розпізнавання жестів долоні для взаємодії з інтерфейсом [Бакалаврська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/123456789/2805
[ДСТУ] Шатохін А. В. Інтелектуальна система розпізнавання жестів долоні для взаємодії з інтерфейсом : кваліфікаційна робота бакалавра : 12 Інформаційні технології. Київ, 2022. 63 с. URL: https://ir.library.knu.ua/handle/123456789/2805 (дата звернення: 25.07.2026).
У ході виконання даної роботи було реалізовано повноцінну систему для взаємодії користувача та графічного інтерфейсу. Робота передбачала створення двох функціональних частин: графічного інтерфейсу користувача та системи розпізнавання жестів. Система розпізнавання жестів – комплекс з двох модулів, першого – для визначення позиції курсора відносно обмеженої площини і її проекції у відповідності до позиції всередині площини на інтерфейс, та другого – самої нейронної мережі, що отримує вхідний потік зображень та розпізнає їх відповідно до закладених жестів для подальшої передачі на інтерфейс. Для розпізнавання жестів було реалізовано, натреновано та порівняно моделі 3D-ResNet-34 та 3D-ResNet-50, з яких для роботи самої системи було обрано 3D-ResNet-34, який класифікує 14 жестів із точністю 59%, що у 8 разів вище за імовірнісне прогнозування жесту із набору. Даної швидкодії та точності моделі недостатньо для побудови правильної та повноцінної система розпізнавання жестів долоні для взаємодії з інтерфейсом, тому для подальшої розробки над покращеннями є ідея замінити окрему нейронну мережу 3D-ResNet, що працює із зображеннями, на рекурентну нейронну мережу, що буде працювати із точками, які повертає бібліотека MediaPipe для побудови скелету долоні. Це дасть змогу підвищити швидкодію самої системи, а також може покращити точність.
Галузі знань та спеціальності :
12 Інформаційні технології
122 Комп’ютерні науки
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
1.98 MB
Контрольна сума :
(MD5):e931953658b6ebf809ac54b0dee2dfa1
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International