Трансформери-архітектури у задачі класифікації тексту

Жолобіцький В. О. Трансформери-архітектури у задачі класифікації тексту : кваліфікаційна робота … бакалавра : 122 Комп’ютерні науки / Жолобіцький Владислав Олександрович. – Київ, 2022. – 44 с.

Під час виконання роботи було розглянуто моделі на основі трансформаторів, які в даний час виробляють найкращі результати у програмах NLP. Розглянуті моделі на основі трансформаторів включали GPT, модель Transformer-XL, міжмовні моделі (XLM) та двонаправлені подання кодерів від трансформаторів (BERT). Було розглянуто сильні сторони, і слабкі сторони різних моделей трансформаторів. Було розроблено програми на основі BERT та RoBERTa для виявлення, що є кращим. Основним критерієм можна назвати точність і з нею вони показали майже однаковий результат.