Інтелектуальна система розпізнавання жестів долоні для взаємодії з інтерфейсом

У ході виконання даної роботи було реалізовано повноцінну систему для взаємодії користувача та графічного інтерфейсу. Робота передбачала створення двох функціональних частин: графічного інтерфейсу користувача та системи розпізнавання жестів. Система розпізнавання жестів – комплекс з двох модулів, першого – для визначення позиції курсора відносно обмеженої площини і її проекції у відповідності до позиції всередині площини на інтерфейс, та другого – самої нейронної мережі, що отримує вхідний потік зображень та розпізнає їх відповідно до закладених жестів для подальшої передачі на інтерфейс. Для розпізнавання жестів було реалізовано, натреновано та порівняно моделі 3D-ResNet-34 та 3D-ResNet-50, з яких для роботи самої системи було обрано 3D-ResNet-34, який класифікує 14 жестів із точністю 59%, що у 8 разів вище за імовірнісне прогнозування жесту із набору. Даної швидкодії та точності моделі недостатньо для побудови правильної та повноцінної система розпізнавання жестів долоні для взаємодії з інтерфейсом, тому для подальшої розробки над покращеннями є ідея замінити окрему нейронну мережу 3D-ResNet, що працює із зображеннями, на рекурентну нейронну мережу, що буде працювати із точками, які повертає бібліотека MediaPipe для побудови скелету долоні. Це дасть змогу підвищити швидкодію самої системи, а також може покращити точність.

Шатохін А. В. Інтелектуальна система розпізнавання жестів долоні для взаємодії з інтерфейсом : випускна кваліфікаційна робота бакалавра : 122 Комп’ютерні науки / Шатохін Андрій Владиславович. - Київ, 2022. – 63 с.