Програмний інструментарій дистиляції знань для задач обробки природної мови
Тип публікації :
Бакалаврська робота
Дата випуску :
2023
Автор(и) :
Пагарський Олексій Артемович
Мова основного тексту :
ua
eKNUTSHIR URL :
Цитування :
[APA 7] Пагарський, О. А. (2023). Програмний інструментарій дистиляції знань для задач обробки природної мови [Бакалаврська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/123456789/5457
[ДСТУ] Пагарський О. А. Програмний інструментарій дистиляції знань для задач обробки природної мови : кваліфікаційна робота бакалавра : 12 Інформаційні технології. Київ, 2023. 78 с. URL: https://ir.library.knu.ua/handle/123456789/5457 (дата звернення: 25.07.2026).
Метою роботи є розробка програмного інструментарію (бібліотеки) для спрощення процесу дистиляції знань для моделей машинного навчання архітектури типу “трансформер”.
Обʼєктом дослідження є процес дистиляції знань для моделей природної мови архітектури “трансформер”.
Предметом дослідження є методи та технології дистиляції знань для моделей природної мови.
У ході виконання роботи досліджено метод дистиляції знань для генерації тексту, включаючи аналіз наявних рішень, опис моделей архітектури типу "трансформер", розгляд архітектури "Енкодер-Декодер", механізму уваги та моделі BERT, розглянуто проблему моделювання мови з маскою та підходи до дистиляції знань, а також оптимізації процесу дистиляції з використанням спеціальної функції втрат та проведено аналіз наявних бізнес процесів, повʼязаних з задачами обробки природної мови та сформовано вимоги до програмного інструментарію.
Представлена архітектура системи дистиляції моделей для обробки тексту на високому рівні та на рівні окремих компонентів: trainer, data та tests.
Реалізовано програмний інструментарій дистиляції моделей та натреновано зменшену версію моделі BERT, TinyBERT, для завдання моделювання мови з маскою.
Ключові слова: машинне навчання, дистиляція знань, нейронні мережі, трансформер, моделювання мови з маскою.
Обʼєктом дослідження є процес дистиляції знань для моделей природної мови архітектури “трансформер”.
Предметом дослідження є методи та технології дистиляції знань для моделей природної мови.
У ході виконання роботи досліджено метод дистиляції знань для генерації тексту, включаючи аналіз наявних рішень, опис моделей архітектури типу "трансформер", розгляд архітектури "Енкодер-Декодер", механізму уваги та моделі BERT, розглянуто проблему моделювання мови з маскою та підходи до дистиляції знань, а також оптимізації процесу дистиляції з використанням спеціальної функції втрат та проведено аналіз наявних бізнес процесів, повʼязаних з задачами обробки природної мови та сформовано вимоги до програмного інструментарію.
Представлена архітектура системи дистиляції моделей для обробки тексту на високому рівні та на рівні окремих компонентів: trainer, data та tests.
Реалізовано програмний інструментарій дистиляції моделей та натреновано зменшену версію моделі BERT, TinyBERT, для завдання моделювання мови з маскою.
Ключові слова: машинне навчання, дистиляція знань, нейронні мережі, трансформер, моделювання мови з маскою.
Галузі знань та спеціальності :
12 Інформаційні технології
122 Комп’ютерні науки
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
3.45 MB
Контрольна сума :
(MD5):4b21e6e791b6337c4351007f61cf2d8c
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International