Трансформери-архітектури у задачі класифікації тексту
Дата
2022
Автори
Жолобіцький Владислав Олександрович
Назва журналу
ISSN журналу
Назва тому
Видавець
Анотація
Під час виконання роботи було розглянуто моделі на основі трансформаторів, які в даний час виробляють найкращі результати у програмах NLP. Розглянуті моделі на основі трансформаторів включали GPT, модель Transformer-XL, міжмовні моделі (XLM) та двонаправлені подання кодерів від трансформаторів (BERT). Було розглянуто сильні сторони, і слабкі сторони різних моделей трансформаторів. Було розроблено програми на основі BERT та RoBERTa для виявлення, що є кращим. Основним критерієм можна назвати точність і з нею вони показали майже однаковий результат.
Бібліографічний опис
Галузь знань та спеціальність
12 Інформаційні технології , 122 Комп’ютерні науки
Бібліографічний опис
Жолобіцький В. О. Трансформери-архітектури у задачі класифікації тексту : кваліфікаційна робота … бакалавра : 122 Комп’ютерні науки / Жолобіцький Владислав Олександрович. – Київ, 2022. – 44 с.