Дослідження застосування розподілених методів для навчання нейромереж

Галиш А. В. Дослідження застосування розподілених методів для навчання нейромереж : кваліфікаційна робота … бакалавра : 113 Прикладна математика / Галиш Антон Володимирович. – Київ, 2023. – 37 с.

Метою дипломної роботи є дослідження розподілених методів для навчання нейромережі, а саме як архітектура мережі обчислюваних пристроїв та розподіл даних по них впливає на кінцевий результат.
У роботі було змодельовано розподілене навчання нейромережі наступними методами: DSGD, DSGD з моментом та DSGD з відстеженням моментів.
Було досліджено як архітектура мережі обчислюваних пристроїв та розподіл даних по них впливає на кінцевий результат.
Виявлено, що основних проблем пов’язаних з розподіленого навчання є декілька: необхідна однорідність даних по усіх пристроях в мережі, теоретичне прискорення навчання є повільнішим за лінійним, що не дозволяє використовувати занадто великі мережі і також ще не для всіх класичних методів навчання нейромереж розроблені розподілені аналоги.