Адаптивні та швидкі алгоритми оптимізації

Василенко Р. В. Адаптивні та швидкі алгоритми оптимізації : кваліфікаційна робота ... бакалавра : 113 Прикладна математика / Василенко Руслан Владиславович. - Київ, 2021. - 27 с.

Алгоритми представлені в даній роботі є простими для розуміння в плані їх основи на більш простих алгоритмах таких як Mirror Descent та Sub-gradient Descent. Останній алгоритм дуже часто обирає неправильний напрямок руху до екстремуму функції або ж взагалі «перескакує» його, через що вибір правильного кроку потребує індивідуального підходу до кожної проблеми, тому що він не має явної залежності від константи гладкості. Враховуючи це робота проведена для встановлення такої залежності дає змогу краще оцінити збіжність алгоритму та вибрати залежний від константи Ліпшица крок.
Також перехід до дивергенції Брегмана надав змогу швидше знаходити правильний напрямок руху. Тому на такій базі можна будувати швидкі адаптивні алгоритми оптимізації для знаходження глобальних екстремумів різного виду опуклих функцій.