Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя

Зелінський С. В. Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя : дис. ... доктора філософії : 123 Комп’ютерна інженерія. Київ, 2025. 139 с.

Зелінський С.В. Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя. — Кваліфікаційна наукова праця на правах рукопису.
Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 123 «Комп’ютерна інженерія». — Київський національний університет імені Тараса Шевченка, Київ, 2025.
Робота присвячена дослідженню та розробці нових підходів до мультимодальної безконтактної взаємодії людини з комп’ютером у цифровому середовищі з використанням відстеження погляду, розпізнавання жестів рук та виразів обличчя. Окрему увагу приділено удосконаленню підходів до аналізу поведінки користувачів у веб-середовищі, зокрема дослідженню візуальної уваги, яка традиційно залишається поза межами типових аналітичних інструментів, що ґрунтуються на кліках, журналах подій та записах сесій.
У роботі обґрунтовано потребу у створенні доступних засобів як для аналізу поведінки користувачів у веб-середовищі з урахуванням зорової уваги, так і для реалізації безконтактної взаємодії з цифровими об’єктами на основі погляду, жестів і виразів обличчя без використання спеціалізованого обладнання. На основі аналізу наукових джерел сформульовано дослідницькі прогалини, які охоплюють відсутність доступних інструментів для аналізу поведінки користувачів у веб-середовищі із врахуванням зорової уваги, обмежене використання поєднання погляду та жестів у браузерній взаємодії, а також нерозкритий потенціал виразів обличчя як засобу управління.
У дисертації реалізовано три взаємопов’язані напрями дослідження:
1. Інтеграція відстеження погляду із записом веб-сесій — реалізовано кросплатформне розширення для веб-браузера, що забезпечує запис змін інтерфейсу та дій користувача із синхронізованим відображенням зорової уваги, без потреби у попередній зміні коду веб-сторінок.
2. Безконтактна взаємодія на основі поєднання погляду та жестів рук —реалізовано систему для маніпулювання об’єктами (перетягування, масштабування, обертання), яка поєднує вибір об’єкта за допомогою погляду та трансформацію за допомогою жестів, що імітують природні дії користувача.
3. Використання виразів обличчя для безконтактної взаємодії — запропоновано та реалізовано підхід, у якому дії задаються через налаштовувані комбінації мімічних форм змішування. Це дозволяє створювати гнучкий інтерфейс для взаємодії без потреби у фізичних пристроях введення.

Ефективність запропонованих рішень оцінено експериментально із залученням користувачів, які виконували типові завдання в цифровому середовищі. Результати дослідження засвідчили позитивну динаміку навчання, високу зацікавленість у використанні безконтактної взаємодії та практичну придатність запропонованих методів у реальних умовах.
Наукова новизна дисертаційної роботи полягає у комплексному підході до розробки мультимодальних засобів безконтактної взаємодії з цифровими інтерфейсами та аналізу поведінки користувачів на основі використання погляду, жестів і виразів обличчя із застосуванням стандартного обладнання. Вперше реалізовано кросплатформний інструмент аналізу поведінки користувачів у веб-середовищі, який поєднує запис сесій взаємодії з відображенням зорової уваги користувача без необхідності модифікації коду веб-сторінок чи використання спеціалізованого обладнання. Вперше запропоновано та реалізовано систему безконтактної взаємодії у веб-браузері, яка поєднує вибір об’єктів за допомогою погляду та їх трансформацію за допомогою жестів рук, що імітують природні дії користувача. Крім того, вперше у веб-середовищі реалізовано підхід до безконтактної взаємодії на основі виразів обличчя, де дії задаються шляхом налаштовуваних комбінацій мімічних форм змішування.
Усі запропоновані рішення функціонують у веб-браузері із використанням лише стандартного обладнання та орієнтовані на широке практичне використання без потреби у спеціалізованому програмному чи апаратному забезпеченні.
Практична цінність роботи полягає у розробці доступних і гнучких засобів для безконтактної взаємодії та аналізу поведінки користувачів, які працюють у сучасних веб-браузерах без потреби у спеціалізованому обладнанні. Запропоновані рішення мають потенціал для впровадження у сферах допоміжних технологій, освіти, промисловості, медицини, а також у дослідженнях користувацького досвіду та інших прикладних контекстах.
Перспективи подальших досліджень передбачають підвищення точності розпізнавання погляду, жестів і виразів обличчя, адаптацію систем до індивідуальних особливостей користувачів, впровадження методів машинного навчання для автоматичного аналізу поведінки, а також інтеграцію розроблених підходів у практичні середовища, де безконтактна взаємодія є критично важливою.