Клієнт-серверна система дистанційної експертної допомоги з просторовими анотаціями у середовищі змішаної реальності
Тип публікації :
Магістерська робота
Дата випуску :
травень 2026 р.
Автор(и) :
Завадський, Олександр Олегович
Науковий(і) керівник(и)/редактор(и) :
Мова основного тексту :
Ukrainian
eKNUTSHIR URL :
Цитування :
[APA 7] Завадський, О. О. (2026). Клієнт-серверна система дистанційної експертної допомоги з просторовими анотаціями у середовищі змішаної реальності [Магістерська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/15071834/27776
[ДСТУ] Завадський О. О. Клієнт-серверна система дистанційної експертної допомоги з просторовими анотаціями у середовищі змішаної реальності : кваліфікаційна робота магістра : 172 Електронні комунікації та радіотехніка / наук. кер. Г. Б. Жиров. Київ, 2026. 109 с. URL: https://ir.library.knu.ua/handle/15071834/27776 (дата звернення: 25.07.2026).
Об'єкт дослідження: Клієнт-серверна система дистанційної експертної допомоги з просторовими анотаціями у середовищі змішаної реальності на базі гарнітури Meta Quest 3S.
Мета роботи: Підвищення ефективності просторової взаємодії у системах дистанційної експертної підтримки шляхом розробки та дослідження дворівневої клієнт-серверної архітектури з використанням world-space анотацій у середовищі змішаної реальності.
Основний зміст:
У першому розділі виконано систематичний огляд існуючих AR-систем дистанційної допомоги - Microsoft Dynamics 365 Remote Assist, TeamViewer Assist AR, PTC Vuforia Chalk, Scope AR WorkLink - та виявлено їх спільний недолік: використання screen-space анотацій або залежність від SaaS-інфраструктури; досліджено passthrough-технології MR-гарнітур (OST та VST/Passthrough), протоколи передачі даних UDP, WebSocket і WebRTC, методи просторової реєстрації анотацій (VI-SLAM, depth raycast, OVRSpatialAnchor), стекові рішення для відеостримінгу (HLS, RTMP, SRT, WebRTC, кодеки H.264/JPEG), а також загрози інформаційній безпеці систем реального часу (MITM, DoS, IP leakage, session hijacking) та засоби їх нейтралізації (TLS 1.3, DTLS, SRTP, WSS).
У другому розділі описано архітектуру та реалізацію авторської системи з проектною назвою «V.I.R.A.», що складається з чотирьох компонентів: Unityзастосунку для Meta Quest 3S (відеостримінг JPEG-over-UDP та обробка анотацій), Android Relay (Kotlin, UDP-WebSocket-міст), хмарного Node.js/TypeScript-сервера з coturn TURN-сервером та браузерного інтерфейсу оператора (React/TypeScript з WebRTC DataChannel); детально розглянуто реалізацію кожного компонента, включно з фрагментацією UDP-пакетів, WebSocket-relay, WebRTC SDP/ICEhandshake та React-інтерфейсом з маркерною палітрою і режимом Freeze Frame.
Розроблено оригінальний механізм world-space просторових анотацій на основі OVRSpatialAnchor (Meta XR SDK) та depth raycast через Meta Environment Depth API: для кожної 2D-координати оператора виконується зворотне проектування у тривимірний простір сцени з точністю 3-5 см при доступному depth-сенсорі або з fallback-глибиною 3,0 м, після чого анотація прив'язується до VI-SLAM-карти гарнітури та зберігає стабільне положення у просторі. За результатами тестування підтверджено наскрізну затримку 30-80 мс у LAN-режимі (UDP + WebSocket) та 80-200 мс (120-350 мс через TURN relay) у Cloud-режимі (WebRTC через coturn, Hetzner CAX11); завантаження CPU сервера при ретрансляції 18-25 кадрів/с не перевищує 1,5% event loop Node.js, що підтверджує масштабованість IO-bound архітектури; система досягла рівня внутрішнього версіонування v0.7.0 Alpha (40 зібраних білдів (скомпільованих версій програм) з хронологією від 21.11.2025 до 25.03.2026 включно) зі стабільно працюючим LAN-режимом та MVP-готовністю Cloud-режиму
Мета роботи: Підвищення ефективності просторової взаємодії у системах дистанційної експертної підтримки шляхом розробки та дослідження дворівневої клієнт-серверної архітектури з використанням world-space анотацій у середовищі змішаної реальності.
Основний зміст:
У першому розділі виконано систематичний огляд існуючих AR-систем дистанційної допомоги - Microsoft Dynamics 365 Remote Assist, TeamViewer Assist AR, PTC Vuforia Chalk, Scope AR WorkLink - та виявлено їх спільний недолік: використання screen-space анотацій або залежність від SaaS-інфраструктури; досліджено passthrough-технології MR-гарнітур (OST та VST/Passthrough), протоколи передачі даних UDP, WebSocket і WebRTC, методи просторової реєстрації анотацій (VI-SLAM, depth raycast, OVRSpatialAnchor), стекові рішення для відеостримінгу (HLS, RTMP, SRT, WebRTC, кодеки H.264/JPEG), а також загрози інформаційній безпеці систем реального часу (MITM, DoS, IP leakage, session hijacking) та засоби їх нейтралізації (TLS 1.3, DTLS, SRTP, WSS).
У другому розділі описано архітектуру та реалізацію авторської системи з проектною назвою «V.I.R.A.», що складається з чотирьох компонентів: Unityзастосунку для Meta Quest 3S (відеостримінг JPEG-over-UDP та обробка анотацій), Android Relay (Kotlin, UDP-WebSocket-міст), хмарного Node.js/TypeScript-сервера з coturn TURN-сервером та браузерного інтерфейсу оператора (React/TypeScript з WebRTC DataChannel); детально розглянуто реалізацію кожного компонента, включно з фрагментацією UDP-пакетів, WebSocket-relay, WebRTC SDP/ICEhandshake та React-інтерфейсом з маркерною палітрою і режимом Freeze Frame.
Розроблено оригінальний механізм world-space просторових анотацій на основі OVRSpatialAnchor (Meta XR SDK) та depth raycast через Meta Environment Depth API: для кожної 2D-координати оператора виконується зворотне проектування у тривимірний простір сцени з точністю 3-5 см при доступному depth-сенсорі або з fallback-глибиною 3,0 м, після чого анотація прив'язується до VI-SLAM-карти гарнітури та зберігає стабільне положення у просторі. За результатами тестування підтверджено наскрізну затримку 30-80 мс у LAN-режимі (UDP + WebSocket) та 80-200 мс (120-350 мс через TURN relay) у Cloud-режимі (WebRTC через coturn, Hetzner CAX11); завантаження CPU сервера при ретрансляції 18-25 кадрів/с не перевищує 1,5% event loop Node.js, що підтверджує масштабованість IO-bound архітектури; система досягла рівня внутрішнього версіонування v0.7.0 Alpha (40 зібраних білдів (скомпільованих версій програм) з хронологією від 21.11.2025 до 25.03.2026 включно) зі стабільно працюючим LAN-режимом та MVP-готовністю Cloud-режиму
Галузі знань та спеціальності :
17 Електроніка, автоматизація та електронні комунікації::172 Електронні комунікації та радіотехніка
Галузі науки і техніки (FOS) :
Електротехніка, Електронна інженерія, Інформаційна інженерія
Файл(и) :![Ескіз]()
![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
1.67 MB
Контрольна сума :
(MD5):4f890f1e1f297e241998af8236c0aca7
Вантажиться...
Формат :
Microsoft Word XML
Розмір :
1.58 MB
Контрольна сума :
(MD5):93e324c80a2919111bf3ec53572e5262