Сумаризація тексту за допомогою архітектури трансформеру
Дата
2022
Автори
Омельченко Роман Олексійович
Назва журналу
ISSN журналу
Назва тому
Видавець
Анотація
У роботі було реалізовано процедуру тонкого налаштування моделі трансформеру Т5 на україномовному датасеті. На даний момент існують такі два основних напрямки розвитку технології сумаризації як абстрактивна та екстрактивна сумаризація.
Екстрактивна сумаризація ґрунтується на витягуванні з тексту певних його складових частин без змін. Найчастіше це речення. Витягування відбувається на основі багатьох ознак, таких як довжина речення, позиція у документі, включення певних фраз, частота певних змістовних термів. Іноді застосовуються методи латентного семантичного аналізу. Абстрактивна сумаризація ґрунтується на застосуванні моделей глибокого навчання, таких як згорткові мережі, або архітектура трансформеру. Вони дозволяють досягти більшого рівня новизни резюме тексту. Основним принципом архітектури трансформеру є багатошарова модель енкодер-декодер з механізмом самоуваги. Це дозволяє моделі враховувати контекст при генерації вихідної послідовності.
Бібліографічний опис
Галузь знань та спеціальність
12 Інформаційні технології , 122 Комп’ютерні науки
Бібліографічний опис
Омельченко Р. О. Сумаризація тексту за допомогою архітектури трансформеру : кваліфікаційна робота … бакалавра : 122 Комп’ютерні науки / Омельченко Роман Олексійович. – Київ, 2022. – 52 с.