Параметри
Інформаційна система автоматизованого відновлення процесів транспортування даних
Тип публікації :
Магістерська робота
Дата випуску :
2026
Автор(и) :
Федосенко, Олександр Дмитрович
Науковий(і) керівник(и)/редактор(и) :
Мова основного тексту :
Ukrainian
eKNUTSHIR URL :
Цитування :
Федосенко О. Д. Інформаційна система автоматизованого відновлення процесів транспортування даних : кваліфікаційна робота магістра : 122 Комп'ютерні науки ∕ наук. кер. О. В. Заріцький. Київ, 2026. 134 с.
Мета: зменшення часу простою та підвищення надійності в обробці даних шляхом автоматичного відновлення ETL-пайплайнів за допомогою застосування великих мовних моделей.
Об'єкт дослідження - процеси автоматичного відновлення ETL-пайплайнів.
Предмет дослідження - моделі та методи побудови систем автоматичного діагностування й виправлення помилок у ETL-скриптах.
Наукова новизна одержаних результатів. Удосконалено модель автоматичного відновлення ETL-пайплайнів, яка завдяки поєднанню детерміністичного аналізу схеми з LLM-діагностуванням забезпечує повний цикл самовідновлення. Уперше запропоновано модель людино-машинної взаємодії для систем самовідновлення ETL-пайплайнів за принципом human-in-the-loop. Дістав подальшого розвитку метод збирання контексту помилки з шести гетерогенних джерел.
Практичну цінність роботи підтверджено впровадженням системи на базі практики для відновлення ETL-пайплайнів інтеграції рекламних даних. Час повного циклу репарації становить 11-40 секунд проти 30-90 хвилин при ручному відновленні; прогнозований річний економічний ефект близько 26 тис. USD. Запропоновано чотирифазну модель самовідновлення з безпечним виконанням виправлень за принципом defense in depth. Реалізація інтегрована з Apache Airflow, AWS Glue та Amazon Redshift Serverless. На вибірці зі 140 прогонів (чотири сценарії дрейфу, сім LLM-моделей) точність діагностування становить 87,1 %, частка end-to-end відновлення 80 %.
Ключові слова: ETL-пайплайн, дрейф схеми даних, великі мовні моделі, самовідновлення, Apache Airflow, Amazon Redshift, structured output, human-in-the-loop, інженерія даних.
Об'єкт дослідження - процеси автоматичного відновлення ETL-пайплайнів.
Предмет дослідження - моделі та методи побудови систем автоматичного діагностування й виправлення помилок у ETL-скриптах.
Наукова новизна одержаних результатів. Удосконалено модель автоматичного відновлення ETL-пайплайнів, яка завдяки поєднанню детерміністичного аналізу схеми з LLM-діагностуванням забезпечує повний цикл самовідновлення. Уперше запропоновано модель людино-машинної взаємодії для систем самовідновлення ETL-пайплайнів за принципом human-in-the-loop. Дістав подальшого розвитку метод збирання контексту помилки з шести гетерогенних джерел.
Практичну цінність роботи підтверджено впровадженням системи на базі практики для відновлення ETL-пайплайнів інтеграції рекламних даних. Час повного циклу репарації становить 11-40 секунд проти 30-90 хвилин при ручному відновленні; прогнозований річний економічний ефект близько 26 тис. USD. Запропоновано чотирифазну модель самовідновлення з безпечним виконанням виправлень за принципом defense in depth. Реалізація інтегрована з Apache Airflow, AWS Glue та Amazon Redshift Serverless. На вибірці зі 140 прогонів (чотири сценарії дрейфу, сім LLM-моделей) точність діагностування становить 87,1 %, частка end-to-end відновлення 80 %.
Ключові слова: ETL-пайплайн, дрейф схеми даних, великі мовні моделі, самовідновлення, Apache Airflow, Amazon Redshift, structured output, human-in-the-loop, інженерія даних.
Галузі знань та спеціальності :
122 Комп’ютерні науки
Галузі науки і техніки (FOS) :
Комп'ютерні та інформаційні науки
Тип зібрання :
Publication
Файл(и) :
Ескіз недоступний
Формат
Adobe PDF
Розмір :
2.97 MB
Контрольна сума:
(MD5):ab64c5d0a664ecf47494933f43dd72fc
Ця робота розповсюджується на умовах ліцензії Creative Commons CC BY-NC