Мультиагентне глибинне навчання з підкріпленням в задачах управління роєм БПЛА
Тип публікації :
Магістерська робота
Дата випуску :
2026
Автор(и) :
Харламов, Юрій
Науковий(і) керівник(и)/редактор(и) :
Мова основного тексту :
Ukrainian
eKNUTSHIR URL :
Цитування :
[APA 7] Харламов, Ю. (2026). Мультиагентне глибинне навчання з підкріпленням в задачах управління роєм БПЛА [Магістерська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/15071834/23576
[ДСТУ] Харламов Ю. Мультиагентне глибинне навчання з підкріпленням в задачах управління роєм БПЛА : кваліфікаційна робота магістра : 122 Комп’ютерні науки / наук. кер. О. В. Заріцький. Київ, 2026. 133 с. URL: https://ir.library.knu.ua/handle/15071834/23576 (дата звернення: 25.07.2026).
Кваліфікаційна робота магістра присвячена розробці та експериментальному дослідженню гібридної системи керування роєм безпілотних літальних апаратів на основі мультиагентного глибинного навчання з підкріпленням. У роботі розглядається задача координації різнорідних агентів, які повинні виконувати спостереження за точками інтересу, здійснювати обліт, розподіляти ролі, підтримувати безпечні відстані та реагувати на умовну загрозу в межах власного симуляційного середовища.
Метою кваліфікаційної роботи є підвищення якості експериментального дослідження та координації рою БПЛА у симуляційному середовищі за рахунок розробки гібридної системи мультиагентного глибинного навчання з підкріпленням, яка поєднує класичні алгоритми ройової координації, маску допустимих дій, контур безпеки, навчальну програму та спільну PPO-політику для виконання місій покриття точок інтересу, обльоту, перепризначення задач і реагування на умовну загрозу.
Об’єкт дослідження - процес кооперативного керування роєм БПЛА у симуляційному середовищі з точками інтересу, обмеженнями безпеки та динамічними умовами.
Предмет дослідження - методи побудови гібридної архітектури, що поєднує класичні алгоритми, маску допустимих дій, контур безпеки, навчальну програму та спільну політику навчання з підкріпленням.
Наукова новизна роботи полягає в удосконаленні підходу до експериментального дослідження гібридного керування роєм БПЛА на основі мультиагентного навчання з підкріпленням. У роботі запропоновано рольову модель рою, у якій різні типи БПЛА мають відмінні пріоритети, допустимі дії та критерії успішного виконання задачі. Розроблено гібридну архітектуру, що поєднує класичні алгоритми ройової координації, маску допустимих дій, контур безпеки та спільну PPO-політику для високорівневого вибору дій агентів. На відміну від підходів, у яких результат оцінюється лише за середньою винагородою або частковим покриттям, у роботі використано суворий критерій успіху, який одночасно враховує виконання місійних вимог, безпечність та обмеження часу. Також запропоновано методичне розділення демонстраційних, діагностичних і підсумкових експериментів, що дозволяє відокремити частковий місійний прогрес від повного завершення епізоду. Експериментально показано, що після уточнення навчальної програми, функції винагороди, маски допустимих дій і механізму перепризначення задач основна навчена PPO-політика забезпечує найкращий результат серед розглянутих політик навчання з підкріпленням у власному симуляційному середовищі. Додаткове консервативне донавчання не забезпечило стабільного покращення, що обґрунтовує необхідність відбору політики за незалежним валідаційним оцінюванням, а не за останньою ітерацією навчання.
Практичне значення роботи полягає у створенні відтворюваного експериментального контуру для порівняння класичних алгоритмів, аукціонного розподілу задач, попередніх політик і нової суворої PPO-політики. Отримані результати можуть бути використані як основа для подальшого розвитку та перевірки гібридної системи.
Ключові слова: рій БПЛА, мультиагентне навчання з підкріпленням, PPO, гібридна система керування, точки інтересу, обліт, перерозподіл ролей, контур безпеки, симуляційне моделювання.
Метою кваліфікаційної роботи є підвищення якості експериментального дослідження та координації рою БПЛА у симуляційному середовищі за рахунок розробки гібридної системи мультиагентного глибинного навчання з підкріпленням, яка поєднує класичні алгоритми ройової координації, маску допустимих дій, контур безпеки, навчальну програму та спільну PPO-політику для виконання місій покриття точок інтересу, обльоту, перепризначення задач і реагування на умовну загрозу.
Об’єкт дослідження - процес кооперативного керування роєм БПЛА у симуляційному середовищі з точками інтересу, обмеженнями безпеки та динамічними умовами.
Предмет дослідження - методи побудови гібридної архітектури, що поєднує класичні алгоритми, маску допустимих дій, контур безпеки, навчальну програму та спільну політику навчання з підкріпленням.
Наукова новизна роботи полягає в удосконаленні підходу до експериментального дослідження гібридного керування роєм БПЛА на основі мультиагентного навчання з підкріпленням. У роботі запропоновано рольову модель рою, у якій різні типи БПЛА мають відмінні пріоритети, допустимі дії та критерії успішного виконання задачі. Розроблено гібридну архітектуру, що поєднує класичні алгоритми ройової координації, маску допустимих дій, контур безпеки та спільну PPO-політику для високорівневого вибору дій агентів. На відміну від підходів, у яких результат оцінюється лише за середньою винагородою або частковим покриттям, у роботі використано суворий критерій успіху, який одночасно враховує виконання місійних вимог, безпечність та обмеження часу. Також запропоновано методичне розділення демонстраційних, діагностичних і підсумкових експериментів, що дозволяє відокремити частковий місійний прогрес від повного завершення епізоду. Експериментально показано, що після уточнення навчальної програми, функції винагороди, маски допустимих дій і механізму перепризначення задач основна навчена PPO-політика забезпечує найкращий результат серед розглянутих політик навчання з підкріпленням у власному симуляційному середовищі. Додаткове консервативне донавчання не забезпечило стабільного покращення, що обґрунтовує необхідність відбору політики за незалежним валідаційним оцінюванням, а не за останньою ітерацією навчання.
Практичне значення роботи полягає у створенні відтворюваного експериментального контуру для порівняння класичних алгоритмів, аукціонного розподілу задач, попередніх політик і нової суворої PPO-політики. Отримані результати можуть бути використані як основа для подальшого розвитку та перевірки гібридної системи.
Ключові слова: рій БПЛА, мультиагентне навчання з підкріпленням, PPO, гібридна система керування, точки інтересу, обліт, перерозподіл ролей, контур безпеки, симуляційне моделювання.
Галузі знань та спеціальності :
12 Інформаційні технології::122 Комп’ютерні науки
Галузі науки і техніки (FOS) :
Комп'ютерні та інформаційні науки
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
1.6 MB
Контрольна сума :
(MD5):d83daeebe03a697dfdd7be77aba105ec
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International