Жереб Костянтин АнатолійовичОлексієнко Микита2023-12-122024-05-152023-12-122023Олексієнко М. Розробка автоматизованої elt системи для аналітики великих даних в реальному часі : кваліфікаційна робота … бакалавра : 121 Інженерія програмного забезпечення / Олексієнко Микита. – Київ, 2023. – 48 с.https://ir.library.knu.ua/handle/123456789/5738Мета роботи: розробка автоматизованого та масштабованого ELT pipeline-у для обробки та аналітики великих даних в реальному часі та демонстрація його роботоспроможності на штучно створеному прикладі. Обʼєктом розробки є система з типовою ELT архітектурою, здатна до обробки та аналітики великих даних в реальному часі та буде підтримувати автоматичне розгортання всіх її компонентів. Інструменти розробки: розподілений рушій Spark, розподілена система потокової передачі даних Kafka, хмарні сервіси AWS, сховище даних Amazon S3, кластерна платформа Amazon EMR, аналітичний застосунок Metabase, cервіс шаблонів AWS CloudFormation, CI/CD pipeline-и GitHub Actions, контейнерна платформа Docker, мова програмування Python, бібліотека boto3, cередовище розробки PyСharm,. Розроблено типову ELT систему для обробки та аналітики великих даних в реальному часі з підтримкою автоматизації розгортання всіх її складових та перевірено її придатність на штучно створеному прикладі. Ключові слова : AWS, Big Data, CI/CD, Cloudformation, ELT, PipelinE, Spark, автоматизація розгортання, аналітика в реальному часі, кластер, хмарні обчислення.uaБакалаврська робота