Модель трансформера з використанням дерева залежностей для ідентифікації парафраз
Тип публікації :
Стаття
Дата випуску :
12 вересня 2024 р.
Автор(и) :
Врублевський, Віталій
Мова основного тексту :
Англійська
eKNUTSHIR URL :
Том :
78
Випуск :
1
ISSN :
1812-5409
Початкова сторінка :
154
Кінцева сторінка :
159
Цитування :
[APA 7] Врублевський, В. (2024). Transformer model using dependency tree for paraphrase identification. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, 78(1), 154–159. https://doi.org/10.17721/1812-5409.2024/1.28
[ДСТУ] Врублевський В. Transformer model using dependency tree for paraphrase identification. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics. 2024. Vol. 78, no. 1. P. 154—159. DOI: 10.17721/1812-5409.2024/1.28 (date of access: 25.07.2026).
Побудова моделей для представлення семантики слів, речень та текстів природної мови є ключовою проблемою у комп'ютерній лінгвістиці та штучному інтелекті. Використання якісних векторних представлень слів змінило підходи до обробки та аналізу природної мови, оскільки слова є основою мови. Дослідження векторних представлень речень також має велике значення, оскільки вони спрямовані на захоплення семантики та значень речень. Покращення цих представлень допомагає краще розуміти текст на більш глибокому рівні і сприяє розв'язанню різноманітних завдань. Стаття присвячена вирішенню задачі ідентифікації парафраз, використовуючи моделі на основі архітектури Трансформер. Дані моделі продемонстрували високу ефективність на різноманітних завданнях. Було досліджено, що їх точність може бути покращена за рахунок збагачення моделі додатковою інформацією. Використання синтаксичної інформації, такої як теги частин мови або лінгвістичні структури, може покращити розуміння контексту та структури речення моделлю. Збагачення моделі таким чином дозволяє здобути ширший контекст, покращити адаптивність та продуктивність в різних завданнях обробки природної мови, роблячи її більш універсальною для різних застосувань. В результаті цього було запропоновано модель на основі архітектури Трансформер з використанням дерева залежностей. Досліджено її ефективність та порівняно з іншими моделями тієї ж архітектури використовуючи задачу ідентифікації парафраз. Було продемонстровано покращення у точності та повноті в порівнянні з оригінальною моделлю (DeBERTa). В майбутньому доцільним є дослідження використання даної моделі для інших прикладних задач (такі як перевірка на плагіат, визначення авторського стилю) та в оцінці інших графових структур для репрезентації речення (наприклад, AMR граф).
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
702.87 KB
Контрольна сума :
(MD5):cadc1b7dcb281512378afba710c45e50
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution 4.0 International