Андрійчук Олег ВалентиновичПагарський Олексій Артемович2023-11-082024-05-172023-11-082023Пагарський О. А. Програмний інструментарій дистиляції знань для задач обробки природної мови : випускна кваліфікаційна робота бакалавра : 122 Комп’ютерні науки / Пагарський Олексій Артемович. – Київ, 2023. – 78 с.https://ir.library.knu.ua/handle/123456789/5457Метою роботи є розробка програмного інструментарію (бібліотеки) для спрощення процесу дистиляції знань для моделей машинного навчання архітектури типу “трансформер”. Обʼєктом дослідження є процес дистиляції знань для моделей природної мови архітектури “трансформер”. Предметом дослідження є методи та технології дистиляції знань для моделей природної мови. У ході виконання роботи досліджено метод дистиляції знань для генерації тексту, включаючи аналіз наявних рішень, опис моделей архітектури типу "трансформер", розгляд архітектури "Енкодер-Декодер", механізму уваги та моделі BERT, розглянуто проблему моделювання мови з маскою та підходи до дистиляції знань, а також оптимізації процесу дистиляції з використанням спеціальної функції втрат та проведено аналіз наявних бізнес процесів, повʼязаних з задачами обробки природної мови та сформовано вимоги до програмного інструментарію. Представлена архітектура системи дистиляції моделей для обробки тексту на високому рівні та на рівні окремих компонентів: trainer, data та tests. Реалізовано програмний інструментарій дистиляції моделей та натреновано зменшену версію моделі BERT, TinyBERT, для завдання моделювання мови з маскою. Ключові слова: машинне навчання, дистиляція знань, нейронні мережі, трансформер, моделювання мови з маскою.uaБакалаврська робота