Шамрай, МаксимМаксимШамрай2026-06-302026-06-302025-12-23Шамрай, М. (2025). Nonasymptotic bounds on return degradation for OBD-pruned neural controllers. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, 81(2), 155–158. https://doi.org/10.17721/1812-5409.2025/2.2410.17721/1812-5409.2025/2.24https://ir.library.knu.ua/handle/15071834/25771Deep reinforcement learning (RL) has delivered striking results across domains ranging from games to robotics, yet the resulting controllers frequently comprise millions of parameters – far beyond the memory, latency, and energy budgets of embedded platforms such as quadrotors, mobile manipulators, and on-board microcontrollers. Pruning offers a practical path to deployment by removing parameters while preserving accuracy, but a fundamental question remains open for control: how much does pruning degrade closed-loop return? A theory is developed that links parameter-space perturbations produced by pruning to return degradation in a discounted MDP, without relying on global curvature of the training loss. The starting point is a tight, policy-level inequality: we show that the return gap |J(π′) − J(π)| is controlled by the statewise total-variation (TV) distance between the original and pruned policies. This TV-based bound follows directly from the performance-difference lemma and a bounded-advantage argument, and admits a KL variant via Pinsker’s inequality. To connect this policy shift to the magnitude of pruning, we provide two complementary routes. First, at a locally optimal policy, a second-order Taylor expansion of the policy probabilities yields an OBD-style bound. Second, recognizing that a global Hessian is infeasible for modern models, we invoke a layer-wise robustness theorem for ReLU MLP controllers. Practically, the bound enables pre-pruning budgeting, post-pruning validation, and principled layer allocation. Conceptually, it bridges compression and safe policy improvement: the same TV/KL machinery that underlies trust-region methods now certifies pruning steps in deep RL. Overall, the results provide the first end-to-end, scalable framework to translate pruning actions into behavior-level guarantees for deep RL controllers, enabling reliable compression under tight on-board constraints. Pages of the article in the issue: 155 - 158 Language of the article: EnglishОстаннім часом глибоке навчання з підкріпленням (RL) продемонструвало приголомшливі результати в галузях від ігор до робототехніки, однак отримані контролери часто містять мільйони параметрів – значно більше за обмеження пам’яті, затримки й енергоспоживання вбудованих платформ на кшталт квадрокоптерів, мобільних маніпуляторів і бортових мікроконтролерів. Прорідження (pruning) пропонує практичний шлях до розгортання, вилучаючи параметри без втрати точності, але для систем керування лишається відкрите фундаментальне запитання: наскільки прорідження погіршує замкнену (closed-loop) винагороду? У пропонованій роботі розроблено теорію, що пов’язує збурення у просторі параметрів, спричинені прорідженням, із погіршенням винагороди в дисконтовній МППР (MDP), не покладаючись на глобальну  кривизну функції втрат під час навчання. Відправною точкою є «щільна» нерівність на рівні політики: показано, що розрив у винагороді |J(π′) − J(π)| визначається варіаційною (TV) відстанню між початковою та прорідженою політиками для кожного стану. Ця межа на основі TV безпосередньо випливає з леми про різницю продуктивності й оцінки обмеженої переваги, а також має KL-варіант через нерівність Пінскера. Щоб пов’язати цю зміну політики з величиною прорідження, ми пропонуємо два комплементарні шляхи. По-перше, у разі локально оптимальної політики розклад Тейлора другого порядку для ймовірностей політики дає межу у стилі OBD. По-друге, визнаючи, що глобальний гессіан є непрактичним для сучасних моделей, ми залучаємо теорему про пошарову робастність для контролерів ReLU MLP. На практиці запропонована межа уможливлює планування бюджету перед прорідженням, перевірку після прорідження та принциповий розподіл ступеня прорідження між шарами. На концептуальному рівні вона поєднує компресію та безпечне поліпшення політики: той самий апарат TV/KL, що лежить в основі trust-region методів, тепер надає сертифікацію кроків прорідження у глибокому RL. Загалом отримані результати пропонують першу наскрізну, масштабовану базу, що перетворює дії з прорідження на гарантії на рівні поведінки для глибоких RL-контролерів, забезпечуючи надійну компресію за жорстких бортових  обмежень.enDeep Reinforcement LearningNeural PoliciesOptimal Brain Damage Pruningsafety certificatescompressionГлибоке навчання з підкріпленнямнейронні політикипрорідження Optimal Brain Damageсертифікати безпекистисненняСтаття