Програмний інструментарій дистиляції знань для задач обробки природної мови

Метою роботи є розробка програмного інструментарію (бібліотеки) для спрощення процесу дистиляції знань для моделей машинного навчання архітектури типу “трансформер”.
Обʼєктом дослідження є процес дистиляції знань для моделей природної мови архітектури “трансформер”.
Предметом дослідження є методи та технології дистиляції знань для моделей природної мови.
У ході виконання роботи досліджено метод дистиляції знань для генерації тексту, включаючи аналіз наявних рішень, опис моделей архітектури типу "трансформер", розгляд архітектури "Енкодер-Декодер", механізму уваги та моделі BERT, розглянуто проблему моделювання мови з маскою та підходи до дистиляції знань, а також оптимізації процесу дистиляції з використанням спеціальної функції втрат та проведено аналіз наявних бізнес процесів, повʼязаних з задачами обробки природної мови та сформовано вимоги до програмного інструментарію.
Представлена архітектура системи дистиляції моделей для обробки тексту на високому рівні та на рівні окремих компонентів: trainer, data та tests.
Реалізовано програмний інструментарій дистиляції моделей та натреновано зменшену версію моделі BERT, TinyBERT, для завдання моделювання мови з маскою.

Ключові слова: машинне навчання, дистиляція знань, нейронні мережі, трансформер, моделювання мови з маскою.

Пагарський О. А. Програмний інструментарій дистиляції знань для задач обробки природної мови : випускна кваліфікаційна робота бакалавра : 122 Комп’ютерні науки / Пагарський Олексій Артемович. – Київ, 2023. – 78 с.