Неасимптотичні межі погіршення дисконтованої кумулятивної винагороди для OBD-проріджених нейронних контролерів
Тип публікації :
Стаття
Дата випуску :
23 грудня 2025 р.
Автор(и) :
Шамрай, Максим
Мова основного тексту :
Англійська
eKNUTSHIR URL :
Том :
81
Випуск :
2
ISSN :
1812-5409
Початкова сторінка :
155
Кінцева сторінка :
158
Цитування :
[APA 7] Шамрай, М. (2025). Nonasymptotic bounds on return degradation for OBD-pruned neural controllers. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, 81(2), 155–158. https://doi.org/10.17721/1812-5409.2025/2.24
[ДСТУ] Шамрай М. Nonasymptotic bounds on return degradation for OBD-pruned neural controllers. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics. 2025. Vol. 81, no. 2. P. 155—158. DOI: 10.17721/1812-5409.2025/2.24 (date of access: 18.07.2026).
Останнім часом глибоке навчання з підкріпленням (RL) продемонструвало приголомшливі результати в галузях від ігор до робототехніки, однак отримані контролери часто містять мільйони параметрів – значно більше за обмеження пам’яті, затримки й енергоспоживання вбудованих платформ на кшталт квадрокоптерів, мобільних маніпуляторів і бортових мікроконтролерів. Прорідження (pruning) пропонує практичний шлях до розгортання, вилучаючи параметри без втрати точності, але для систем керування лишається відкрите фундаментальне запитання: наскільки прорідження погіршує замкнену (closed-loop) винагороду? У пропонованій роботі розроблено теорію, що пов’язує збурення у просторі параметрів, спричинені прорідженням, із погіршенням винагороди в дисконтовній МППР (MDP), не покладаючись на глобальну кривизну функції втрат під час навчання. Відправною точкою є «щільна» нерівність на рівні політики: показано, що розрив у винагороді |J(π′) − J(π)| визначається варіаційною (TV) відстанню між початковою та прорідженою політиками для кожного стану. Ця межа на основі TV безпосередньо випливає з леми про різницю продуктивності й оцінки обмеженої переваги, а також має KL-варіант через нерівність Пінскера. Щоб пов’язати цю зміну політики з величиною прорідження, ми пропонуємо два комплементарні шляхи. По-перше, у разі локально оптимальної політики розклад Тейлора другого порядку для ймовірностей політики дає межу у стилі OBD. По-друге, визнаючи, що глобальний гессіан є непрактичним для сучасних моделей, ми залучаємо теорему про пошарову робастність для контролерів ReLU MLP. На практиці запропонована межа уможливлює планування бюджету перед прорідженням, перевірку після прорідження та принциповий розподіл ступеня прорідження між шарами. На концептуальному рівні вона поєднує компресію та безпечне поліпшення політики: той самий апарат TV/KL, що лежить в основі trust-region методів, тепер надає сертифікацію кроків прорідження у глибокому RL. Загалом отримані результати пропонують першу наскрізну, масштабовану базу, що перетворює дії з прорідження на гарантії на рівні поведінки для глибоких RL-контролерів, забезпечуючи надійну компресію за жорстких бортових обмежень.
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
233.29 KB
Контрольна сума :
(MD5):11a33eb9a5e931a8b248414d41ad7b83
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution 4.0 International