Pозробка письмового асистента за допомогою сучасних нейромережевих підходів для умовної генерації тексту

Pобота присвячена дослідженню побудові нейронних мереж для умовної генерації тексту у розробці письмового асистента.
У сучасному світі, де інформаційний потік набуває експоненційних обертів, виникає нагальна потреба в інноваційних технологіях для ефективної обробки та інтерпретації цих масивів даних. Вони включають у себе великі та гетерогенні набори інформації: тексти, відео, аудіо, зображення, табличні дані. Застосування традиційних методів для аналізу такої широкої та неоднорідної інформації стає неефективним, що зумовлює необхідність створення інновацій у галузі штучного інтелекту для ефективного вирішення цих викликів.
У цьому контексті, однією з найбільш перспективних та впливових галузей штучного інтелекту є обробка природної мови (NLP). Значення цього напрямку сьогодні виходить далеко за рамки академічних досліджень, проникаючи у більшість сфер сучасного цифрового життя людини: від щоденної комунікації до автоматизації складних бізнес-процесів. Поява великих мовних моделей таких як ChatGPT, які не дивлячись на те що працюють виключно з текстовими даними, здійснила прорив у наближенні можливостей штучного інтелекту до людського рівня. Завдяки їхнім вражаючим здібностям до генерації контекстно-релевантного тексту відчинились шляхи для більш комплексних застосувань.
Pозвиток письмових асистентів у сфері NLP набуває особливої актуальності, адже ці системи відіграють важливу роль у підвищенні продуктивності та якості щоденної комунікації. У суспільстві, зануреному в безперервний потік інформації через численні платформи, здатність до швидкого і ясного вираження думок є ключовою. Ринок письмових асистентів, з його значним економічним потенціалом, продемонстрував вражаюче зростання і за прогнозами тенденція до зростання буде зберігатися у наступні роки. Останні оцінки капіталізації напряму сягають десятків мільярдів доларів.
У світлі цих викликів та можливостей, розробка власного письмового асистента в рамках дисертації стає актуальним та перспективним напрямом у галузі NLP. З розширенням сфери цифрової комунікації виникає потреба в автоматизованих системах, які б не тільки пришвидшували, але й підвищували точність комунікаційних процесів. Такий асистент має потенціал стати невід'ємним інструментом в повсякденному житті, сприяючи ефективності професійної діяльності та особистісному розвитку.
Ця робота ставить за мету розробку універсального письмового асистента, що втілює в собі передові рішення у галузі нейронних мереж для вирішення комплексу задач з автоматичного виправлення граматичних та орфографічних помилок, перефразування тексту та його спрощення. Завдяки інтеграції передових технологій штучного інтелекту та машинного навчання, розроблений інструмент забезпечить більш ефективний та зручний метод обробки повідомлень для користувачів, що суттєво підвищить продуктивність та якість міжособистісної комунікації.
В роботі здійснено аналіз існуючих рішень для задач письмового асистента. Детально розглянуто принцип роботи провідних практик для вирішення вищезгаданих задача умовної генерації тексту. Проаналізовано спільні риси підходів з метою побудови універсального рішення для вирішення комбінації завдань. Основним недоліком існуючих методів є їх спеціалізація на конкретних задачах, що ускладнює перенесення набутих практик з однієї задачі на іншу. Наведено аналіз методів редагування тексту на основі використання різнотипних нейронних мереж для семантичного представлення елементів тексту на рівні речень. Зазначено доцільність архітектури трансформер для проектування моделі нейронної мережі водночас розглянути згорткові та рекурентні нейронні мережі як альтернативні рішення. На основі проведеного порівняльного аналізу методів показано ефективність застосування нейронних мереж для вирішення поставлених задач письмового асистента.
Згідно зі сформованими метою та задачами дисертаційної роботи побудовано архітектуру та натреновано нейронну мережу здатну виконувати задачі письмового асистента з високою якістю та ефективністю. Нижче наведені основні результати та наукова новизна.
У результаті порівняльного аналізу існуючих провідних підходів до вирішення задач виправлення граматичних та орфографічних помилок, спрощення тексту та перефразування показано доцільність:
• використання контекстно-орієнтованої архітектури типу трансформер у конфігурації кодування-декодування (encoder-decoder) з великою кількістю шарів уваги, попередньо натренованих на універсальних задачах відновлення зашумленого тексту або генерації;
• впровадження багатоетапного тренування від найбільш частотних й найменш якісних даних до найбільш якісних; фільтрація тренувальних даних завдяки моделям винагороди.
Вперше запропоновано метод комбінованої оцінки якості роботи письмового асистента, який узагальнює ключові показники ефективності та адекватності текстових виправлень. Виконано дослідження існуючих провідних робіт на найбільш репрезентативних тестових вибірках для відповідних задач. Аналіз результатів свідчить що не всі метрики корелюють з людською оцінкою якості роботи моделей і нагальне застосування нормалізуючих коефіцієнтів для збалансованої комбінації задач. Крім того, завдяки аналізу літератури виявлено, що деякі задачі більш важливі для письмового асистента ніж інші. Tак задача виправлення граматичних та орфографічних помилок є найважливішою згідно з очікуваннями користувачів.
Створено новий тренувальний набір даних з нуля для задач виправлення граматичних та орфографічних помилок, спрощення тексту та перефразування.
Застосовано сучасний підхід з використанням великих мовних моделей. За допомогою ретельно підібраних текстових запитів (prompts), згенеровано переписування передовою моделлю ChatGPT, використовуючи існуючі набори даних як вхідні речення; крім того утворені переписування автоматично оцінено з точки зору рівня переписування іншою великою мовною моделлю LLaMA-2 задля покращення якості фінального набору даних. Далі показано, що згенеровані дані суттєво покращують якість індивідуальних та універсальних моделей на тестових вибірках.
Проведено велику кількість експериментів з метою побудови оптимальної конфігурації для тренування нейронних мереж здатних виконувати окремі задачі письмового асистента:
1. натреновано індивідуальну baseline нейронну мережу для кожної із згаданих вище задач;
2. проведено порівняльний аналіз отриманих моделей відносно існуючих провідних підходів;
3. оцінено вплив параметрів тренування (темп навчання, кількість кроків, оптимізація тренування, розклад, розмір батча);
4. розглянуто різні типи нейронних мереж й архітектури та їхній вплив на фінальну якість моделі;
5. використано різні існуючі набори даний та їх комбінування під час тренування, багатоетапність підходу;
6. проаналізовано різні попередньо натреновані моделі та проведено власні спроби попереднього тренування;
7. оцінено вплив використання набору даних згенерованого великими мовними моделями.
Проведено експерименти з комбінування завдань письмового асистента для єдиної універсальної мета-моделі. Застосовано різноманітні підходи: тренування спеціалізованих токенів векторних представлень, поділ шарів нейронної мережі на спільні (перевикористані між задачами) та індивідуальні (для окремих задач), використання арxітектури адаптерів. Проаналізовано отримані універсальні системи на запропонованій комбінованій метриці. Вираxовано ефективність підxодів з точки зору кількості параметрів на задачу та одиницю якості.
Оптимізовано фінальну універсальну модель з метою пришвидшення її роботи, з уникненням суттєвої втрати якості на задачаx письмового асистента та комбінованої метрики. Розглянуто різноманітні стратегії такі, як квантизація вагів у формати нижчої точності, розподілене виведення, ефективне управління пам'яттю, дистиляція знань. Tакож проведено аналіз програмниx бібліотеки для пришвидшення генерації тексту як ONNX.

Скуржанськuй О. Г. Pозробка письмового асистента за допомогою сучасних нейромережевих підходів для умовної генерації тексту : дис. … д-ра філософії : 122 Комп'ютерні науки. Київ, 2024. 143 с.