Розробка автоматизованої elt системи для аналітики великих даних в реальному часі
Тип публікації :
Бакалаврська робота
Дата випуску :
2023
Автор(и) :
Олексієнко Микита
Мова основного тексту :
ua
eKNUTSHIR URL :
Цитування :
[APA 7] Олексієнко, М. (2023). Розробка автоматизованої elt системи для аналітики великих даних в реальному часі [Бакалаврська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/123456789/5738
[ДСТУ] Олексієнко М. Розробка автоматизованої elt системи для аналітики великих даних в реальному часі : кваліфікаційна робота бакалавра : 12 Інформаційні технології. Київ, 2023. 48 с. URL: https://ir.library.knu.ua/handle/123456789/5738 (дата звернення: 25.07.2026).
Мета роботи: розробка автоматизованого та масштабованого ELT pipeline-у для обробки та аналітики великих даних в реальному часі та демонстрація його роботоспроможності на штучно створеному прикладі.
Обʼєктом розробки є система з типовою ELT архітектурою, здатна до обробки та аналітики великих даних в реальному часі та буде підтримувати автоматичне розгортання всіх її компонентів.
Інструменти розробки: розподілений рушій Spark, розподілена система потокової передачі даних Kafka, хмарні сервіси AWS, сховище даних Amazon S3, кластерна платформа Amazon EMR, аналітичний застосунок Metabase, cервіс шаблонів AWS CloudFormation, CI/CD pipeline-и GitHub Actions, контейнерна платформа Docker, мова програмування Python, бібліотека boto3, cередовище розробки PyСharm,.
Розроблено типову ELT систему для обробки та аналітики великих даних в реальному часі з підтримкою автоматизації розгортання всіх її складових та перевірено її придатність на штучно створеному прикладі.
Ключові слова : AWS, Big Data, CI/CD, Cloudformation, ELT, PipelinE, Spark, автоматизація розгортання, аналітика в реальному часі, кластер, хмарні обчислення.
Обʼєктом розробки є система з типовою ELT архітектурою, здатна до обробки та аналітики великих даних в реальному часі та буде підтримувати автоматичне розгортання всіх її компонентів.
Інструменти розробки: розподілений рушій Spark, розподілена система потокової передачі даних Kafka, хмарні сервіси AWS, сховище даних Amazon S3, кластерна платформа Amazon EMR, аналітичний застосунок Metabase, cервіс шаблонів AWS CloudFormation, CI/CD pipeline-и GitHub Actions, контейнерна платформа Docker, мова програмування Python, бібліотека boto3, cередовище розробки PyСharm,.
Розроблено типову ELT систему для обробки та аналітики великих даних в реальному часі з підтримкою автоматизації розгортання всіх її складових та перевірено її придатність на штучно створеному прикладі.
Ключові слова : AWS, Big Data, CI/CD, Cloudformation, ELT, PipelinE, Spark, автоматизація розгортання, аналітика в реальному часі, кластер, хмарні обчислення.
Галузі знань та спеціальності :
12 Інформаційні технології
121 Інженерія програмного забезпечення
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
2.85 MB
Контрольна сума :
(MD5):01e8d55ffb6503473cdb42e824f07ba4
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International