ПОШУК МУЛЬТИМЕДІЙНОЇ ІНФОРМАЦІЇ НА ОСНОВІ НЕЙРОННИХ МЕРЕЖ

Бондаренко, Б., Самохвалов, Ю. (2020). SEARCH FOR MULTIMEDIA INFORMATION BASED ON NEURAL NETWORKS. Information systems and technologies security, 1(3). https://doi.org/10.17721/ISTS.2020.4.58-62

Розглянуто підходи до використання нейронних мереж для пошуку мультимедійної інформації. Розроблення
методів пошуку мультимедійної інформації необхідне через велику кількість такої інформації. Традиційні ме
тоди пошуку мультимедійної інформації мають високу швидкість оброблення даних, але низьку точність че
рез відсутність можливості виконання семантичного пошуку. Використання нейронних мереж дозволяє здійс
нювати семантичний пошук, що збільшує його точність і повноту. Наведено підходи використання нейронних
мереж на етапах індексування та пошуку мультимедійної інформації. За допомогою нейронної мережі аналі
зують мультимедійний файл і виконують його класифікацію. Результат класифікації файла використовують
для створення його текстового опису – анотації, яку порівнюють із запитом для визначення релевантності.
Існує багато готових мереж для класифікації, використання яких дозволяє пришвидшити процес створення
системи пошуку мультимедійної інформації, але неможливо створити нейронну мережу для класифікації всіх
об’єктів реального світу, тому потрібно застосовувати декілька нейромереж. Також за допомогою нейрон
них мереж будують вектори ознак для мультимедійного файла та пошукового запиту. Прості функції подіб
ності, такі як косинус подібності, застосовують до побудованих векторів, для визначення семантичної близь
кості запиту та мультимедійного файла. Причому пошуковий запит може бути як у текстовій формі, так і у
вигляді будь-якого формату пошуку в мультимедійному файлі. Цей підхід дозволяє будувати оптимальну ней
ронну мережу під конкретну задачу. Нейронні мережі застосовують для порівняння побудованої анотації
файла та запиту, що підвищує точність і повноту пошуку, порівняно з традиційними методами, за рахунок
здатності нейромереж враховувати семантичне значення тексту.