Страп Андріана ВолодимирівнаКостіков Микола Павлович2024-07-162024-07-162024Страп А. В. Розробка моделі для виконання розпізнавання іменованих сутностей в українському тексті на основі претренованого трансформера GPT-3.5 : кваліфікаційна робота бакалавра : 035.10 Філологія (прикладна лінгвістика) / наук. кер. М. Костіков. Київ, 2024. 70 с.https://ir.library.knu.ua/handle/15071834/2872У роботі розкрито значення розпізнавання іменованих сутностей (NER) та роль великих мовних моделей для автоматичного тегування частин мови в українському тексті. Об’єктом дослідження є методи та інструменти розпізнавання іменованих сутностей для автоматизації обробки текстових даних. Предметом є порівняння ефективності різних інструментів для розпізнавання іменованих сутностей з натренованою моделлю GPT-3.5. Метою дослідження є розробка моделі для автоматичного тегування частин мови в українському тексті на основі GPT-3.5 та оцінка її ефективності. Завдання включають аналіз наявних інструментів розпізнавання іменованих сутностей, тренування моделі GPT-3.5 на українських текстах та порівняння результатів. Методологічні підходи базуються на сучасних досягненнях глибокого навчання та трансформерних моделей, що дозволило досягти нових результатів у підвищенні точності та ефективності розпізнавання іменованих сутностей. Новизна дослідження полягає у впровадженні GPT-3.5 для обробки українського тексту, що покращило якість автоматичного тегування. У першому розділі було розглянуто основні поняття та застосування розпізнавання іменованих сутностей, а також проведено огляд наявних інструментів для розпізнавання іменованих сутностей. Детально проаналізовано поняття великих мовних моделей та їх значення для обробки природної мови. Окрему увагу приділено значенню великих мовних моделей для розпізнавання іменованих сутностей, а також наведеним прикладом використання великих мовних моделей для цієї мети. Розділ завершується аналітичним оглядом напрацювань у сфері розпізнавання іменованих сутностей на основі великих мовних моделей. У другому розділі розглядається розробка моделі для виконання розпізнавання іменованих сутностей в українському тексті на основі претренованого трансформера GPT-3. Описано підпункти, які охоплюють етапи розробки моделі, а також метрики, що використовувалися під час тренування моделі. У третьому розділі розглядається процес тестування розробленої моделі. Описано збір даних для тестування та вивчено проблематику. Розроблено застосунок для порівняльного аналізу, а також детально описано процедуру порівняльного аналізу та оцінки. Представлено результати тестування та експертизи моделі. Результати дослідження підтверджують, що модель GPT-3.5 демонструє високу точність та ефективність порівняно з іншими інструментами для NER.The paper reveals the importance of named entity recognition (NER) and the role of large language models for automatic named entity recognition in Ukrainian text. The object of the study is methods and tools for named entity recognition to automate text data processing. The subject is to compare the efficiency of different named entity recognition tools with the trained GPT-3.5 model. The purpose of the study is to develop a model for automatic named entity recognition in Ukrainian text based on GPT-3.5 and to evaluate its effectiveness. The tasks include analyzing existing named entity recognition tools, training the GPT-3.5 model on Ukrainian texts, and comparing the results. The methodological approaches are based on modern advances in deep learning and transformational models, which has led to new results in improving the accuracy and efficiency of named entity recognition . The novelty of the study lies in the implementation of GPT-3.5 for processing Ukrainian text, which improved the quality of automatic tagging. The first section discusses the basic concepts and applications of NER, as well as an overview of existing tools for named entity recognition . The concept of large language models and their importance for natural language processing are analyzed in detail. Special attention is paid to the importance of large language models for named entity recognition, as well as examples of how large language models are used for this purpose. The section ends with an analytical review of developments in the field of large language models-based named entity recognition. The second section discusses the development of a model for performing named entity recognition in Ukrainian text based on the trained GPT-3 transformer. The sub-sections covering the stages of model development are described, as well as the metrics used during model training. The third section discusses the process of testing the developed model. The data collection for testing is described and the problems are studied. The benchmarking application is developed and the benchmarking and evaluation procedure is described in detail. The results of testing and evaluation of the model are presented. The results of the study confirm that the GPT-3.5 model demonstrates high accuracy and efficiency compared to other named entity recognition tools.uaрозпізнавання іменованих сутностейGPT-3.5Обробка природної мови (NLP)Глибоке навчанняВеликі мовні моделі (LLM)SpaCyStanzaFlairXLM-RoBERTanamed entity recognitionNatural language processing (NLP)Deep learningLarge Language Models (LLM)Бакалаврська робота