Аналiз характеристик мультимодальних керованих моделей для стиснення вiдео

Мета роботи полягає в визначеннi оптимальної комбiнацiї вiзуальних та аудiо характеристик для процесу стиснення вiдео, що базується на обробцi мультимодальних ознак. Дослiдження фокусується на вiдео матерiалах знятих на екшн-камери в польових умовах без професiйного обладнання або подальшої постобробки. В порiвняннi з унiмодальним пiдсумовуванням вiдео (unimodal video summarization), дана сфера є недостатньо дослiдженою.
В роботi, використовуючи двi моделi машинного навчання, Balanced Random Decision Forest та метод k-найближчих сусiдiв (k-nearest neighbor method, KNN), намагалися визначити список найбiльших важливих об’єднаних характеристик, що дозволить зменшити кiлькiсть даних, необхiдних для обробки та дозволить зберегти рiвень точностi розглянутих моделей. Опираючись на результати, отриманi в дослiдженнi, було дано вiдповiдь на ключове питання: "Чому саме цi ознаки є важливими для стиснення вiдео?"

Ключовi слова: важливiсть ознак, аналiз вiзуальних ознак, аналiз аудiо ознак, вiдео стиснення, мультимодальний аналiз, машинне навчання, збалансований лiс випадкових рiшень, k-найближчi сусiди

The aim of this study is to identify the optimal combination of visual and audio features for a video summarization process based on multimodal feature processing. The study focuses on video materials captured by an action camera
in an open environment without professional equipment or post-processing. The field of multimodal video summarization is relatively underexplored compared to unimodal video summarization, presenting challenges such as processing a
large number of different features. In our research, we employ two machine learning models, Balanced Random Decision Forest and the k-nearest neighbour method (KNN), to identify the most significant combined features.
This approach aims to decrease the volume of data needed for processing while preserving the accuracy of the models in question.
The findings of this study seek to address the query: "What features are important for video summarization process?".


Key words: feature importance, visual feature analysis, audio feature analysis, video compression, multimodal analysis, machine learning, balanced random decision forest, k-nearest neighbors.

Чомко В. Д. Аналiз характеристик мультимодальних керованих моделей для стиснення вiдео : випускна кваліфікаційна робота бакалавра : 113 Прикладна математика / Чомко Василь Дмитрович. – Київ, 2023. – 125с.