Аналіз семантичної подібності речень з використанням методів штучного інтелекту
Дата
2021
Автори
Онищенко Ігор Орестович
Назва журналу
ISSN журналу
Назва тому
Видавець
Анотація
В даній магістерській роботі було запропоновано та досліджено ефективні підходи до аналізу семантичної подібності речень з використанням методів штучного інтелекту.
Проведено аналіз сучасних глибоких мовних моделей. Базовими в даній роботі були глибокі нейронні мережі на основі Transformer, а саме BERT, RoBERTa та ALBERT. Механізм уваги, який використовується в даних моделях є потужним інструментом для моделювання та машинного розуміння природної мови.
Розглянуті глибокі мовні моделі здатні отримати приховані ознаки слів та визначити їхні зв’язки у реченні, а також зв’язки між реченнями. Проте для моделювання семантики речення, тобто для побудови векторного простору, де семантично подібні речення, подані точками цього простору, знаходяться близько один від одного, нам потрібна відповідна інтерпретація ознак та зв’язків, які нам надаються мовною моделлю. Для цього були досліджені та застосовані стратегії тренування, які дозволили отримати більш дискримінативні ознаки. Метричне навчання на основі сіамських та триплетних мереж з косинусною мірою подібності дозволило покращити початкові результати розглянутих мовних моделей. Логістична регресія, як міра порівняння, показала, що такий підхід є дуже перспективним. Запропонований комбінований підхід з використанням оригінального тонкого налаштування BERT-подібних моделей продемонстрував значні покращення для попередньо розглянутих стратегій тренування. Загалом отримані результати свідчать про ефективність запропонованих та досліджених підходів.
Бібліографічний опис
Галузь знань та спеціальність
12 Інформаційні технології , 122 Комп’ютерні науки
Бібліографічний опис
Онищенко І. О. Аналіз семантичної подібності речень з використанням методів штучного інтелекту : кваліфікаційна робота ... магістра : 122 Комп’ютерні науки / Онищенко Ігор Орестович. - Київ, 2021. - 59 с.