Розроблення методів синтезу даних та генерації математичних комбінаторних задач за допомогою великих мовних моделей

Ніколаєв А. Д. Розроблення методів синтезу даних та генерації математичних комбінаторних задач за допомогою великих мовних моделей : дис. … доктора філософії : 122 Комп’ютернi науки / Ніколаєв Андрій Дмитрович ; наук. кер. А. В. Анiсiмов. Київ, 2025. 142 с.

У даній дисертаційній роботі досліджуються можливості використання великих мовних моделей для синтезу даних та генерації математичних комбінаторних задач. Основна мета дослідження полягає у виявленні можливостей великих мовних моделей до математичного міркування та розробки ефективних методів до генерації синтетичних даних, що зберігають математичну сутність задач.

У роботі запропоновано нові методи генерації варіацій математичних комбінаторних задач шляхом модифікації їхніх конфігурацій, лінгвістичних та стилістичних особливостей. Проведено серію експериментальних досліджень на створених даних, та оцінено ефекти впливу синтезованих даних на ефективність роботи великих мовних моделей та відповідності до людських результатів експертів з олімпіадно-математичним досвідом.

Основні результати та наукова новизна роботи:
● Розроблено метод синтезу даних на основні систематичної маніпуляції текстів математичних комбінаторних задач задля порівняння ефективності великих мовних моделей та експертів з олімпіадним досвідом у міркуванні.
● Розроблено метод генерації математичних комбінаторних задач шляхом класифікації, відбору та створення нових синтетичних варіацій задач зі збереженою математичною сутністю за допомогою великих мовних моделей та запровадження метрики варіаційної узгодженості текстів задач.

Результати дослідження демонструють значний потенціал великих мовних моделей у завданні генерації комбінаторних задач зі збереженням математичної сутності, що відкриває нові можливості для розробки методів автоматичної формалізації математичних текстів. Основним викликом для використання мовних моделей залишається забезпечення точності генерації розв'язань, адже як було продемонстровано у експериментальній частині, мовні моделі мають високий рівень чутливості до змін тексту за допомогою додаткових маніпуляцій з текстами задач, таких як додавання зайвої числової інформації, зміни конфігурації параметрів задачі та лінгвістично-стилістичної модифікації умов текстів задач. Задля подальшого поліпшення систем автоматичного пошуку доведень запропоновано метод інтеграції мовних моделей із формальними методами для символічних обчислень.

За результатами експериментальної частини були досягнуті наступні результати:
1. Проведено огляд систем штучного інтелекту та сучасних методів обробки природної мови, проаналізовано та розглянуто кілька видів архітектур моделей, методів з використанням технік для побудови міркувань, задіяння додаткових інструментів для символьної обробки даних, а також існуючих наборів даних та метрик оцінювання.
2. Розроблено набір даних Combi-Puzzles, який включає набір з 125 комбінаторних задач з систематичною модифікацією умов за допомогою керування наступними параметрами та особливостями задач: конфігурація задачі, внесення додаткової зайвої інформації, зміна лінгвістично-стилістичної формату тексту.
3. Проведено експериментальне порівняння ефективності моделей до розв'язання математичних комбінаторних задач на синтезованих даних та оцінено близько 36 тис. відповідей моделей на основі набору критеріїв для перевірки коректності логічних міркувань моделей при генерації тверджень під час розв'язання математичних комбінаторних задач та оцінено чутливість мовних моделей до модифікацій текстів задач.
4. Проведено серію експериментальних досліджень з участю 35 учасників з олімпіадним досвідом, отримано та проаналізовано більше 800 розв'язків задач, які були використані при порівняльному аналізі результатів роботи моделей та експертів.
5. За допомогою розроблених методів відбору, генерації та оцінки якості синтетичних даних для комбінаторних задач за допомогою великих мовних моделей було згенеровано більше 20 тис. екземплярів математичних комбінаторних задач.