Оптимізація без похідних для спеціалізованих функцій втрат

Maistrenko, O. S. (2025). Derivative-free optimization for custom loss functions. Journal of Numerical and Applied Mathematics(1), 77–89. https://doi.org/10.17721/2706-9699.2025.1.07

Оптимiзацiя без похiдних (DFO) набула значної популярностi як потужний пiдхiд до розв’язання задач оптимiзацiї, у яких похiдна цiльової функцiї є недоступною, надто складною або дорогою для обчислення, або ж сама функцiя не є гладкою. Ця стаття присвячена дослiдженню застосування методiв оптимiзацiї без похiдних до налаштування спецiалiзованих функцiй втрат у машинному навчаннi та сумiжних галузях. Окрему увагу придiлено iснуючим викликам, з якими стикаються сучаснi DFO методи, зокрема — проблемам масштабованостi, вибору гiперпараметрiв, ефективностi пошуку в просторах високої розмiрностi, а також адаптацiї до шумних або непередбачуваних функцiй. У статтi також обговорюються перспективи вдосконалення цих методiв, включаючи iнтеграцiю з евристичними пiдходами, метаевристиками, а також можливостi поєднання з методами навчання з пiдкрiпленням або байєсiвської оптимiзацiї.