Інтелектуальна система підтримки прийняття рішень за результатами A/B-тестування на основі гібридних статистичних методів та великих мовних моделей - Московських, Андрій Анатолійович (Київський національний університет імені Тараса Шевченка, 2026)
Мета роботи полягає у підвищенні статистичної надійності й операційної ефективності процесу прийняття рішень за результатами контрольованих онлайн-експериментів у продуктовій компанії шляхом створення інтегрованої системи. Така система паралельно запускає чотири статистичні методи на спільних даних, формує захищений від підглядання довірчий інтервал як основне правило прийняття рішення і використовує велику мовну модель зі структурованим виходом для генерації висновку в природній формі. Об’єкт дослідження: процеси прийняття управлінських рішень за результатами контрольованих онлайн-експериментів. Предмет дослідження: гібридні математичні моделі та інформаційна технологія підтримки прийняття рішень за даними A/B-тестів, що поєднують класичні й байєсівські статистичні підходи з системою генерації аналітичних висновків на основі великих мовних моделей. Наукова новизна: вперше запропоновано шестишлюзову архітектуру прийняття рішень, де послідовний довірчий інтервал GST repeated CI є єдиним зобов’язувальним критерієм, чотири методи (класичний, байєсівський, послідовний, бутстреп) запускаються паралельно для крос-валідації, а структурований вихід великої мовної моделі інтегрує результати у дискретне рішення лише після проходження усіх шести шлюзів перевірки. Практичне значення підтверджене впровадженням у продуктову команду MusesAcademy. Cередній час аналітика на один тест скоротився з двох-шести годин до приблизно тридцяти хвилин, обсяг сканування BigQuery на типовий аналіз - приблизно у дві тисячі разів. Очікуване зниження частоти хибно-позитивних рішень про впровадження - близько 5-7 відсоткових пунктів від попереднього рівня. Структура. Робота складається з анотації, вступу, чотирьох розділів, висновків, переліку використаних джерел і додатків. Загальний обсяг основного тексту - близько ста двадцяти сторінок. Ключові слова: A/B-тестування, контрольований онлайн-експеримент, байєсівські методи, послідовний аналіз, захист від підглядання, довірчий інтервал, груповий послідовний тест, бутстреп, BCa, велика мовна модель, структурований вихід, прийняття рішень, гібридна модель.
Keywords: A/B-тестування; контрольований онлайн-експеримент; байєсівські методи; послідовний аналіз; захист від підглядання; довірчий інтервал; груповий послідовний тест; бутстреп; BCa; велика мовна модель; структурований вихід; прийняття рішень; гібридна модел