Порівняння 2D згорток та щільних нейронних мереж в моделях природної обробки мови з кількома вхідними реченнями
Тип публікації :
Стаття
Дата випуску :
23 грудня 2023 р.
Автор(и) :
Мова основного тексту :
Англійська
eKNUTSHIR URL :
Випуск :
2
ISSN :
1812-5409
Початкова сторінка :
20
Кінцева сторінка :
29
Цитування :
[APA 7] Яневич, Т. О., Голомозий, В. В., Мішура, Ю., & Ізарова, І. (2023). Comparison of 2D convolutions and dense neural networks for natural language processing models with multi-sentence input. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics, (2), 20–29. https://doi.org/10.17721/1812-5409.2023/2.3
[ДСТУ] Comparison of 2D convolutions and dense neural networks for natural language processing models with multi-sentence input / Т. О. Яневич et al. Bulletin of Taras Shevchenko National University of Kyiv. Physics and Mathematics. 2023. no. 2. P. 20—29. DOI: 10.17721/1812-5409.2023/2.3 (date of access: 25.07.2026).
Статтю присвячено аналізу судових справ, який грунтується на текстовій інформації, що включає позовні вимоги, підставу позову та відзив відповідача. Беручи до уваги ці параметри, ми можемо класифікувати справу до однієї із семи категорій, визначених для цілей цього дослідження, та спрогнозувати рішення по ній у суді першої інстанції. Для розв'язання цієї задачі ми використали нейронну мережу на основі представлення текстових даних згенерованих мовленнєвою моделлю XLM\RoBERTa. Було порівняно два підходи до побудови такої нейронної мережі. Один базується на вертикальному об'єднанні числових представлень декількох речень таким чином, що вони утворюють матрицю, а потім застосуванні до неї 2D згорток. Другий підхід полягає в послідовному об'єднанні речень та застосуванні щільних нейронних мереж. Останній підхід показує трохи кращі результати в нашому експерименті, в той час як перший демострує простіший процес навчання.
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
1.21 MB
Контрольна сума :
(MD5):7b5de0991ab2e5bf42db58019427c4e2
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution 4.0 International