Сумаризація тексту за допомогою архітектури трансформеру
Тип публікації :
Бакалаврська робота
Дата випуску :
2022
Автор(и) :
Омельченко Роман Олексійович
Мова основного тексту :
ua
eKNUTSHIR URL :
Цитування :
[APA 7] Омельченко, Р. О. (2022). Сумаризація тексту за допомогою архітектури трансформеру. [Бакалаврська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/123456789/3359
[ДСТУ] Омельченко Р. О. Сумаризація тексту за допомогою архітектури трансформеру : кваліфікаційна робота бакалавра : 12 Інформаційні технології. Київ, 2022. 52 с. URL: https://ir.library.knu.ua/handle/123456789/3359 (дата звернення: 17.07.2026).
У роботі було реалізовано процедуру тонкого налаштування моделі трансформеру Т5 на україномовному датасеті. На даний момент існують такі два основних напрямки розвитку технології сумаризації як абстрактивна та екстрактивна сумаризація.
Екстрактивна сумаризація ґрунтується на витягуванні з тексту певних його складових частин без змін. Найчастіше це речення. Витягування відбувається на основі багатьох ознак, таких як довжина речення, позиція у документі, включення певних фраз, частота певних змістовних термів. Іноді застосовуються методи латентного семантичного аналізу. Абстрактивна сумаризація ґрунтується на застосуванні моделей глибокого навчання, таких як згорткові мережі, або архітектура трансформеру. Вони дозволяють досягти більшого рівня новизни резюме тексту. Основним принципом архітектури трансформеру є багатошарова модель енкодер-декодер з механізмом самоуваги. Це дозволяє моделі враховувати контекст при генерації вихідної послідовності.
Екстрактивна сумаризація ґрунтується на витягуванні з тексту певних його складових частин без змін. Найчастіше це речення. Витягування відбувається на основі багатьох ознак, таких як довжина речення, позиція у документі, включення певних фраз, частота певних змістовних термів. Іноді застосовуються методи латентного семантичного аналізу. Абстрактивна сумаризація ґрунтується на застосуванні моделей глибокого навчання, таких як згорткові мережі, або архітектура трансформеру. Вони дозволяють досягти більшого рівня новизни резюме тексту. Основним принципом архітектури трансформеру є багатошарова модель енкодер-декодер з механізмом самоуваги. Це дозволяє моделі враховувати контекст при генерації вихідної послідовності.
Галузі знань та спеціальності :
12 Інформаційні технології
122 Комп’ютерні науки
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
2.27 MB
Контрольна сума :
(MD5):b60151d28e2762659f7d7467bec99b52
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International