Модель трансформера з використанням дерева залежностей для ідентифікації парафраз

Врублевський, В. (2024). Transformer model using dependency tree for paraphrase identification. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, 78(1), 154–159. https://doi.org/10.17721/1812-5409.2024/1.28

Побудова моделей для представлення семантики слів, речень та текстів природної мови є ключовою проблемою у комп'ютерній лінгвістиці та штучному інтелекті. Використання якісних векторних представлень слів змінило підходи до обробки та аналізу природної мови, оскільки слова є основою мови.  Дослідження векторних представлень речень також має велике значення, оскільки вони спрямовані на захоплення семантики та значень речень. Покращення цих представлень допомагає краще розуміти текст на більш глибокому рівні і сприяє розв'язанню різноманітних завдань. Стаття присвячена вирішенню задачі ідентифікації парафраз, використовуючи моделі на основі архітектури Трансформер. Дані моделі продемонстрували високу ефективність на різноманітних завданнях. Було досліджено, що їх точність може бути покращена за рахунок збагачення моделі додатковою інформацією. Використання синтаксичної інформації, такої як теги частин мови або лінгвістичні структури, може покращити розуміння контексту та структури речення моделлю. Збагачення моделі таким чином дозволяє здобути ширший контекст, покращити адаптивність та продуктивність в різних завданнях обробки природної мови, роблячи її більш універсальною для різних застосувань. В результаті цього було запропоновано модель на основі архітектури Трансформер з використанням дерева залежностей. Досліджено її ефективність та порівняно з іншими моделями тієї ж архітектури використовуючи задачу ідентифікації парафраз. Було продемонстровано покращення у точності та повноті в порівнянні з оригінальною моделлю (DeBERTa). В майбутньому доцільним є дослідження використання даної моделі для інших прикладних задач (такі як перевірка на плагіат, визначення авторського стилю) та в оцінці інших графових структур для репрезентації речення (наприклад, AMR граф).