Врублевський, ВіталійВіталійВрублевський2026-06-302026-06-302024-09-12Врублевський, В. (2024). Transformer model using dependency tree for paraphrase identification. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, 78(1), 154–159. https://doi.org/10.17721/1812-5409.2024/1.2810.17721/1812-5409.2024/1.28https://ir.library.knu.ua/handle/15071834/25847Models to represent the semantics of natural language words, sentences, and texts are key in computational linguistics and artificial intelligence. Using quality vector representations of words has revolutionized approaches to natural language processing and analysis since words are the foundation of language. The study of vector representations of sentences is also critical because they aim to capture the semantics and meanings of sentences. Improving these representations helps understand the text at a deeper level and solve various tasks. The article is devoted to solving the problem of identifying paraphrases using models based on the Transformer architecture. These models have demonstrated high efficiency in various tasks. It was investigated that their accuracy can be improved by enriching the model with additional information. Using syntactic information such as part-of-speech tags or linguistic structures can improve the model's understanding of context and sentence structure. Enriching the model this way allows you to gain a broader context and improve adaptability and performance in different natural language processing tasks, making it more versatile for different applications. As a result, a model based on the Transformer architecture using a dependency tree was proposed. Its effectiveness compared to other models of the same architecture was investigated using the task of identifying paraphrases. Improvements in accuracy and completeness over the original model (DeBERTa) were demonstrated. In the future, it is advisable to study the use of this model for other applied tasks (such as plagiarism checking and determining the author's style) and in evaluating other graph structures for sentence representation (for example, AMR graph). Pages of the article in the issue: 154 - 159 Language of the article: UkrainianПобудова моделей для представлення семантики слів, речень та текстів природної мови є ключовою проблемою у комп'ютерній лінгвістиці та штучному інтелекті. Використання якісних векторних представлень слів змінило підходи до обробки та аналізу природної мови, оскільки слова є основою мови.  Дослідження векторних представлень речень також має велике значення, оскільки вони спрямовані на захоплення семантики та значень речень. Покращення цих представлень допомагає краще розуміти текст на більш глибокому рівні і сприяє розв'язанню різноманітних завдань. Стаття присвячена вирішенню задачі ідентифікації парафраз, використовуючи моделі на основі архітектури Трансформер. Дані моделі продемонстрували високу ефективність на різноманітних завданнях. Було досліджено, що їх точність може бути покращена за рахунок збагачення моделі додатковою інформацією. Використання синтаксичної інформації, такої як теги частин мови або лінгвістичні структури, може покращити розуміння контексту та структури речення моделлю. Збагачення моделі таким чином дозволяє здобути ширший контекст, покращити адаптивність та продуктивність в різних завданнях обробки природної мови, роблячи її більш універсальною для різних застосувань. В результаті цього було запропоновано модель на основі архітектури Трансформер з використанням дерева залежностей. Досліджено її ефективність та порівняно з іншими моделями тієї ж архітектури використовуючи задачу ідентифікації парафраз. Було продемонстровано покращення у точності та повноті в порівнянні з оригінальною моделлю (DeBERTa). В майбутньому доцільним є дослідження використання даної моделі для інших прикладних задач (такі як перевірка на плагіат, визначення авторського стилю) та в оцінці інших графових структур для репрезентації речення (наприклад, AMR граф).ennatural language processingparaphrase identificationmachine learningdependency treeTransformer architectureобробка nриродної мовидерево залежностейархітектура Трансформерідентифікація парафразмашинне навчанняСтаття