Інформаційна система автоматизованого відновлення процесів транспортування даних
Тип публікації :
Магістерська робота
Дата випуску :
2026
Автор(и) :
Федосенко, Олександр Дмитрович
Науковий(і) керівник(и)/редактор(и) :
Мова основного тексту :
Ukrainian
eKNUTSHIR URL :
Цитування :
[APA 7] Федосенко, О. Д. (2026). Інформаційна система автоматизованого відновлення процесів транспортування даних. [Магістерська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/15071834/23572
[ДСТУ] Федосенко О. Д. Інформаційна система автоматизованого відновлення процесів транспортування даних : кваліфікаційна робота магістра : 122 Комп’ютерні науки / наук. кер. О. В. Заріцький. Київ, 2026. 134 с. URL: https://ir.library.knu.ua/handle/15071834/23572 (дата звернення: 17.07.2026).
Мета: зменшення часу простою та підвищення надійності в обробці даних шляхом автоматичного відновлення ETL-пайплайнів за допомогою застосування великих мовних моделей.
Об'єкт дослідження - процеси автоматичного відновлення ETL-пайплайнів.
Предмет дослідження - моделі та методи побудови систем автоматичного діагностування й виправлення помилок у ETL-скриптах.
Наукова новизна одержаних результатів. Удосконалено модель автоматичного відновлення ETL-пайплайнів, яка завдяки поєднанню детерміністичного аналізу схеми з LLM-діагностуванням забезпечує повний цикл самовідновлення. Уперше запропоновано модель людино-машинної взаємодії для систем самовідновлення ETL-пайплайнів за принципом human-in-the-loop. Дістав подальшого розвитку метод збирання контексту помилки з шести гетерогенних джерел.
Практичну цінність роботи підтверджено впровадженням системи на базі практики для відновлення ETL-пайплайнів інтеграції рекламних даних. Час повного циклу репарації становить 11-40 секунд проти 30-90 хвилин при ручному відновленні; прогнозований річний економічний ефект близько 26 тис. USD. Запропоновано чотирифазну модель самовідновлення з безпечним виконанням виправлень за принципом defense in depth. Реалізація інтегрована з Apache Airflow, AWS Glue та Amazon Redshift Serverless. На вибірці зі 140 прогонів (чотири сценарії дрейфу, сім LLM-моделей) точність діагностування становить 87,1 %, частка end-to-end відновлення 80 %.
Ключові слова: ETL-пайплайн, дрейф схеми даних, великі мовні моделі, самовідновлення, Apache Airflow, Amazon Redshift, structured output, human-in-the-loop, інженерія даних.
Об'єкт дослідження - процеси автоматичного відновлення ETL-пайплайнів.
Предмет дослідження - моделі та методи побудови систем автоматичного діагностування й виправлення помилок у ETL-скриптах.
Наукова новизна одержаних результатів. Удосконалено модель автоматичного відновлення ETL-пайплайнів, яка завдяки поєднанню детерміністичного аналізу схеми з LLM-діагностуванням забезпечує повний цикл самовідновлення. Уперше запропоновано модель людино-машинної взаємодії для систем самовідновлення ETL-пайплайнів за принципом human-in-the-loop. Дістав подальшого розвитку метод збирання контексту помилки з шести гетерогенних джерел.
Практичну цінність роботи підтверджено впровадженням системи на базі практики для відновлення ETL-пайплайнів інтеграції рекламних даних. Час повного циклу репарації становить 11-40 секунд проти 30-90 хвилин при ручному відновленні; прогнозований річний економічний ефект близько 26 тис. USD. Запропоновано чотирифазну модель самовідновлення з безпечним виконанням виправлень за принципом defense in depth. Реалізація інтегрована з Apache Airflow, AWS Glue та Amazon Redshift Serverless. На вибірці зі 140 прогонів (чотири сценарії дрейфу, сім LLM-моделей) точність діагностування становить 87,1 %, частка end-to-end відновлення 80 %.
Ключові слова: ETL-пайплайн, дрейф схеми даних, великі мовні моделі, самовідновлення, Apache Airflow, Amazon Redshift, structured output, human-in-the-loop, інженерія даних.
Галузі знань та спеціальності :
12 Інформаційні технології::122 Комп’ютерні науки
Галузі науки і техніки (FOS) :
Комп'ютерні та інформаційні науки
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
2.97 MB
Контрольна сума :
(MD5):ab64c5d0a664ecf47494933f43dd72fc
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International