Розробка автоматизованої elt системи для аналітики великих даних в реальному часі

Олексієнко М. Розробка автоматизованої elt системи для аналітики великих даних в реальному часі : кваліфікаційна робота … бакалавра : 121 Інженерія програмного забезпечення / Олексієнко Микита. – Київ, 2023. – 48 с.

Мета роботи: розробка автоматизованого та масштабованого ELT pipeline-у для обробки та аналітики великих даних в реальному часі та демонстрація його роботоспроможності на штучно створеному прикладі.
Обʼєктом розробки є система з типовою ELT архітектурою, здатна до обробки та аналітики великих даних в реальному часі та буде підтримувати автоматичне розгортання всіх її компонентів.
Інструменти розробки: розподілений рушій Spark, розподілена система потокової передачі даних Kafka, хмарні сервіси AWS, сховище даних Amazon S3, кластерна платформа Amazon EMR, аналітичний застосунок Metabase, cервіс шаблонів AWS CloudFormation, CI/CD pipeline-и GitHub Actions, контейнерна платформа Docker, мова програмування Python, бібліотека boto3, cередовище розробки PyСharm,.
Розроблено типову ELT систему для обробки та аналітики великих даних в реальному часі з підтримкою автоматизації розгортання всіх її складових та перевірено її придатність на штучно створеному прикладі.

Ключові слова : AWS, Big Data, CI/CD, Cloudformation, ELT, PipelinE, Spark, автоматизація розгортання, аналітика в реальному часі, кластер, хмарні обчислення.