Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя
Тип публікації :
Дисертація
Дата випуску :
16 липня 2025 р.
Автор(и) :
Зелінський, Сергій Вячеславович
Науковий(і) керівник(и)/редактор(и) :
Мова основного тексту :
Ukrainian
eKNUTSHIR URL :
Цитування :
[APA 7] Зелінський, С. В. (2025). Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя [Дис. доктора філософії, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/15071834/7759
[ДСТУ] Зелінський С. В. Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя : дис. … доктора філософії : 123 Комп’ютерна інженерія. Київ, 2025. 139 с. URL: https://ir.library.knu.ua/handle/15071834/7759 (дата звернення: 25.07.2026).
Зелінський С.В. Мультимодальна взаємодія та аналіз поведінки користувачів з використанням відстеження погляду, жестів та виразів обличчя. — Кваліфікаційна наукова праця на правах рукопису.
Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 123 «Комп’ютерна інженерія». — Київський національний університет імені Тараса Шевченка, Київ, 2025.
Робота присвячена дослідженню та розробці нових підходів до мультимодальної безконтактної взаємодії людини з комп’ютером у цифровому середовищі з використанням відстеження погляду, розпізнавання жестів рук та виразів обличчя. Окрему увагу приділено удосконаленню підходів до аналізу поведінки користувачів у веб-середовищі, зокрема дослідженню візуальної уваги, яка традиційно залишається поза межами типових аналітичних інструментів, що ґрунтуються на кліках, журналах подій та записах сесій.
У роботі обґрунтовано потребу у створенні доступних засобів як для аналізу поведінки користувачів у веб-середовищі з урахуванням зорової уваги, так і для реалізації безконтактної взаємодії з цифровими об’єктами на основі погляду, жестів і виразів обличчя без використання спеціалізованого обладнання. На основі аналізу наукових джерел сформульовано дослідницькі прогалини, які охоплюють відсутність доступних інструментів для аналізу поведінки користувачів у веб-середовищі із врахуванням зорової уваги, обмежене використання поєднання погляду та жестів у браузерній взаємодії, а також нерозкритий потенціал виразів обличчя як засобу управління.
У дисертації реалізовано три взаємопов’язані напрями дослідження:
1. Інтеграція відстеження погляду із записом веб-сесій — реалізовано кросплатформне розширення для веб-браузера, що забезпечує запис змін інтерфейсу та дій користувача із синхронізованим відображенням зорової уваги, без потреби у попередній зміні коду веб-сторінок.
2. Безконтактна взаємодія на основі поєднання погляду та жестів рук —реалізовано систему для маніпулювання об’єктами (перетягування, масштабування, обертання), яка поєднує вибір об’єкта за допомогою погляду та трансформацію за допомогою жестів, що імітують природні дії користувача.
3. Використання виразів обличчя для безконтактної взаємодії — запропоновано та реалізовано підхід, у якому дії задаються через налаштовувані комбінації мімічних форм змішування. Це дозволяє створювати гнучкий інтерфейс для взаємодії без потреби у фізичних пристроях введення.
Ефективність запропонованих рішень оцінено експериментально із залученням користувачів, які виконували типові завдання в цифровому середовищі. Результати дослідження засвідчили позитивну динаміку навчання, високу зацікавленість у використанні безконтактної взаємодії та практичну придатність запропонованих методів у реальних умовах.
Наукова новизна дисертаційної роботи полягає у комплексному підході до розробки мультимодальних засобів безконтактної взаємодії з цифровими інтерфейсами та аналізу поведінки користувачів на основі використання погляду, жестів і виразів обличчя із застосуванням стандартного обладнання. Вперше реалізовано кросплатформний інструмент аналізу поведінки користувачів у веб-середовищі, який поєднує запис сесій взаємодії з відображенням зорової уваги користувача без необхідності модифікації коду веб-сторінок чи використання спеціалізованого обладнання. Вперше запропоновано та реалізовано систему безконтактної взаємодії у веб-браузері, яка поєднує вибір об’єктів за допомогою погляду та їх трансформацію за допомогою жестів рук, що імітують природні дії користувача. Крім того, вперше у веб-середовищі реалізовано підхід до безконтактної взаємодії на основі виразів обличчя, де дії задаються шляхом налаштовуваних комбінацій мімічних форм змішування.
Усі запропоновані рішення функціонують у веб-браузері із використанням лише стандартного обладнання та орієнтовані на широке практичне використання без потреби у спеціалізованому програмному чи апаратному забезпеченні.
Практична цінність роботи полягає у розробці доступних і гнучких засобів для безконтактної взаємодії та аналізу поведінки користувачів, які працюють у сучасних веб-браузерах без потреби у спеціалізованому обладнанні. Запропоновані рішення мають потенціал для впровадження у сферах допоміжних технологій, освіти, промисловості, медицини, а також у дослідженнях користувацького досвіду та інших прикладних контекстах.
Перспективи подальших досліджень передбачають підвищення точності розпізнавання погляду, жестів і виразів обличчя, адаптацію систем до індивідуальних особливостей користувачів, впровадження методів машинного навчання для автоматичного аналізу поведінки, а також інтеграцію розроблених підходів у практичні середовища, де безконтактна взаємодія є критично важливою.
Дисертація на здобуття наукового ступеня доктора філософії за спеціальністю 123 «Комп’ютерна інженерія». — Київський національний університет імені Тараса Шевченка, Київ, 2025.
Робота присвячена дослідженню та розробці нових підходів до мультимодальної безконтактної взаємодії людини з комп’ютером у цифровому середовищі з використанням відстеження погляду, розпізнавання жестів рук та виразів обличчя. Окрему увагу приділено удосконаленню підходів до аналізу поведінки користувачів у веб-середовищі, зокрема дослідженню візуальної уваги, яка традиційно залишається поза межами типових аналітичних інструментів, що ґрунтуються на кліках, журналах подій та записах сесій.
У роботі обґрунтовано потребу у створенні доступних засобів як для аналізу поведінки користувачів у веб-середовищі з урахуванням зорової уваги, так і для реалізації безконтактної взаємодії з цифровими об’єктами на основі погляду, жестів і виразів обличчя без використання спеціалізованого обладнання. На основі аналізу наукових джерел сформульовано дослідницькі прогалини, які охоплюють відсутність доступних інструментів для аналізу поведінки користувачів у веб-середовищі із врахуванням зорової уваги, обмежене використання поєднання погляду та жестів у браузерній взаємодії, а також нерозкритий потенціал виразів обличчя як засобу управління.
У дисертації реалізовано три взаємопов’язані напрями дослідження:
1. Інтеграція відстеження погляду із записом веб-сесій — реалізовано кросплатформне розширення для веб-браузера, що забезпечує запис змін інтерфейсу та дій користувача із синхронізованим відображенням зорової уваги, без потреби у попередній зміні коду веб-сторінок.
2. Безконтактна взаємодія на основі поєднання погляду та жестів рук —реалізовано систему для маніпулювання об’єктами (перетягування, масштабування, обертання), яка поєднує вибір об’єкта за допомогою погляду та трансформацію за допомогою жестів, що імітують природні дії користувача.
3. Використання виразів обличчя для безконтактної взаємодії — запропоновано та реалізовано підхід, у якому дії задаються через налаштовувані комбінації мімічних форм змішування. Це дозволяє створювати гнучкий інтерфейс для взаємодії без потреби у фізичних пристроях введення.
Ефективність запропонованих рішень оцінено експериментально із залученням користувачів, які виконували типові завдання в цифровому середовищі. Результати дослідження засвідчили позитивну динаміку навчання, високу зацікавленість у використанні безконтактної взаємодії та практичну придатність запропонованих методів у реальних умовах.
Наукова новизна дисертаційної роботи полягає у комплексному підході до розробки мультимодальних засобів безконтактної взаємодії з цифровими інтерфейсами та аналізу поведінки користувачів на основі використання погляду, жестів і виразів обличчя із застосуванням стандартного обладнання. Вперше реалізовано кросплатформний інструмент аналізу поведінки користувачів у веб-середовищі, який поєднує запис сесій взаємодії з відображенням зорової уваги користувача без необхідності модифікації коду веб-сторінок чи використання спеціалізованого обладнання. Вперше запропоновано та реалізовано систему безконтактної взаємодії у веб-браузері, яка поєднує вибір об’єктів за допомогою погляду та їх трансформацію за допомогою жестів рук, що імітують природні дії користувача. Крім того, вперше у веб-середовищі реалізовано підхід до безконтактної взаємодії на основі виразів обличчя, де дії задаються шляхом налаштовуваних комбінацій мімічних форм змішування.
Усі запропоновані рішення функціонують у веб-браузері із використанням лише стандартного обладнання та орієнтовані на широке практичне використання без потреби у спеціалізованому програмному чи апаратному забезпеченні.
Практична цінність роботи полягає у розробці доступних і гнучких засобів для безконтактної взаємодії та аналізу поведінки користувачів, які працюють у сучасних веб-браузерах без потреби у спеціалізованому обладнанні. Запропоновані рішення мають потенціал для впровадження у сферах допоміжних технологій, освіти, промисловості, медицини, а також у дослідженнях користувацького досвіду та інших прикладних контекстах.
Перспективи подальших досліджень передбачають підвищення точності розпізнавання погляду, жестів і виразів обличчя, адаптацію систем до індивідуальних особливостей користувачів, впровадження методів машинного навчання для автоматичного аналізу поведінки, а також інтеграцію розроблених підходів у практичні середовища, де безконтактна взаємодія є критично важливою.
Ключові слова :
мультимодальна взаємодія безконтактна взаємодія відстеження погляду розпізнавання жестів вирази обличчя запис веб-сесій людино-комп’ютерна взаємодія аналіз поведінки користувачів комп’ютерний зір машинне навчання інтерфейси користувача допоміжні технології веб-застосунки. multimodal interaction hands-free interaction eye tracking gesture recognition facial expressions web session recording human–computer interaction user behavior analysis computer vision machine learning user interfaces assistive technologies web applications.
Галузі знань та спеціальності :
12 Інформаційні технології::123 Комп’ютерна інженерія
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
18.48 MB
Контрольна сума :
(MD5):02dd9d61ba5773bc623b0f4ac1e8525d
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International