Методи розпізнавання рукописних математичних вира- зів на основі машинного навчання та контекстно-вільних граматик в умовах обмежень

У роботі розроблена система розпізнавання рукописних математичних виразів склада- ється з двох етапів. На першому етапі виконується сегментація та класифікація символів за допомогою нейронних мереж, на другому будується найбільш ймовірне дерево математичного виразу. У цій роботі для зменшення часової складності алгоритму розбору був запропонований набір методів, що спираються на методи обчислювальної геометрії, теорії графів та динамічного програмування. Інтеграція променевого пошуку з динамічним регулюванням ширини променя дає можливість уникнути недоліків жадібних алгоритмів. Побудова імен функцій забезпечує зменшення розмірності вхідних даних. Підхід, заснований на регіоні пошуку, забезпечує мінімізацію складності за рахунок геометричного пошуку потрібних елементів у побудові дерева математичного виразу. Дерево домінування забезпечує зменшення складності алгоритму з вертикально розташованими елементами. Регіони охоплення запобігають створенню непотрібних проміжних вузлів у побудові дерева розбору. Система, яка базується на методах, запропонованих у цій роботі, брала участь у відкритому змаганні з розпізнавання рукописних математичних виразів CROHME у 2019 році. Запропонований варіант системи посів друге місце з точності розпізнавання виразів на рівні 79.82%. Також система була адаптована для змагання з офлайн розпізнавання та виявлення рукописних математичних виразів у 2020 році та показала якість розпізнавання на рівні 61.90%. Розроблену систему було успішно застосовано в декількох мобільних додатках, що засновані на інтерфейсі з пером. Представлені додатки дають можливість вводити складні документи в більш швидкий та природний спосіб. Рукописний калькулятор для вводу, редагування та обчислення математичних виразів демонструє здатність інтегрувати запропонований метод для побудови ітеративного вводу математичних виразів. На основі додатка «Інтерактивний папір» продемонстровано приклад інтелектуального інтерфейсу з пером для вводу складних документів, які містять текст, математичні вирази, таблиці, графіки та діаграми. Було досліджено зручність користування інтерфейсу з пером шляхом виконання завдань відносно великою кількістю учасників. Представлений у цій роботі метод розпізнавання рукописних математичних виразів був впроваджений у комерцій- ний додаток «S Note» для Samsung Galaxy Note 9 у вигляді окремого плагіну для трансформації набору рукописних штрихів у друковане представлення математи- чного виразу.

Железняков Д. В. Методи розпізнавання рукописних математичних виразів на основі машинного навчання та контекстно-вільних граматик в умовах обмежень : дис. ...д-ра філос. : 122 — комп’ютерні науки / Железняков Дмитро Валентинович. - Київ, 2022. – 196 с.