Аналіз семантичної подібності речень з використанням методів штучного інтелекту

В даній магістерській роботі було запропоновано та досліджено ефективні підходи до аналізу семантичної подібності речень з використанням методів штучного інтелекту.
Проведено аналіз сучасних глибоких мовних моделей. Базовими в даній роботі були глибокі нейронні мережі на основі Transformer, а саме BERT, RoBERTa та ALBERT. Механізм уваги, який використовується в даних моделях є потужним інструментом для моделювання та машинного розуміння природної мови.
Розглянуті глибокі мовні моделі здатні отримати приховані ознаки слів та визначити їхні зв’язки у реченні, а також зв’язки між реченнями. Проте для моделювання семантики речення, тобто для побудови векторного простору, де семантично подібні речення, подані точками цього простору, знаходяться близько один від одного, нам потрібна відповідна інтерпретація ознак та зв’язків, які нам надаються мовною моделлю. Для цього були досліджені та застосовані стратегії тренування, які дозволили отримати більш дискримінативні ознаки. Метричне навчання на основі сіамських та триплетних мереж з косинусною мірою подібності дозволило покращити початкові результати розглянутих мовних моделей. Логістична регресія, як міра порівняння, показала, що такий підхід є дуже перспективним. Запропонований комбінований підхід з використанням оригінального тонкого налаштування BERT-подібних моделей продемонстрував значні покращення для попередньо розглянутих стратегій тренування. Загалом отримані результати свідчать про ефективність запропонованих та досліджених підходів.

Онищенко І. О. Аналіз семантичної подібності речень з використанням методів штучного інтелекту : кваліфікаційна робота ... магістра : 122 Комп’ютерні науки / Онищенко Ігор Орестович. - Київ, 2021. - 59 с.