Неасимптотичні межі погіршення дисконтованої кумулятивної винагороди для OBD-проріджених нейронних контролерів

Шамрай, М. (2025). Nonasymptotic bounds on return degradation for OBD-pruned neural controllers. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, 81(2), 155–158. https://doi.org/10.17721/1812-5409.2025/2.24

Останнім часом глибоке навчання з підкріпленням (RL) продемонструвало приголомшливі результати в галузях від ігор до робототехніки, однак отримані контролери часто містять мільйони параметрів – значно більше за обмеження пам’яті, затримки й енергоспоживання вбудованих платформ на кшталт квадрокоптерів, мобільних маніпуляторів і бортових мікроконтролерів. Прорідження (pruning) пропонує практичний шлях до розгортання, вилучаючи параметри без втрати точності, але для систем керування лишається відкрите фундаментальне запитання: наскільки прорідження погіршує замкнену (closed-loop) винагороду? У пропонованій роботі розроблено теорію, що пов’язує збурення у просторі параметрів, спричинені прорідженням, із погіршенням винагороди в дисконтовній МППР (MDP), не покладаючись на глобальну  кривизну функції втрат під час навчання. Відправною точкою є «щільна» нерівність на рівні політики: показано, що розрив у винагороді |J(π′) − J(π)| визначається варіаційною (TV) відстанню між початковою та прорідженою політиками для кожного стану. Ця межа на основі TV безпосередньо випливає з леми про різницю продуктивності й оцінки обмеженої переваги, а також має KL-варіант через нерівність Пінскера. Щоб пов’язати цю зміну політики з величиною прорідження, ми пропонуємо два комплементарні шляхи. По-перше, у разі локально оптимальної політики розклад Тейлора другого порядку для ймовірностей політики дає межу у стилі OBD. По-друге, визнаючи, що глобальний гессіан є непрактичним для сучасних моделей, ми залучаємо теорему про пошарову робастність для контролерів ReLU MLP. На практиці запропонована межа уможливлює планування бюджету перед прорідженням, перевірку після прорідження та принциповий розподіл ступеня прорідження між шарами. На концептуальному рівні вона поєднує компресію та безпечне поліпшення політики: той самий апарат TV/KL, що лежить в основі trust-region методів, тепер надає сертифікацію кроків прорідження у глибокому RL. Загалом отримані результати пропонують першу наскрізну, масштабовану базу, що перетворює дії з прорідження на гарантії на рівні поведінки для глибоких RL-контролерів, забезпечуючи надійну компресію за жорстких бортових  обмежень.