Розробка конекторів для інтеграції технологій обміну великими даними
Тип публікації :
Бакалаврська робота
Дата випуску :
2022
Автор(и) :
Макарович Адальберт Віталійович
Мова основного тексту :
ua
eKNUTSHIR URL :
Цитування :
[APA 7] Макарович, А. В. (2022). Розробка конекторів для інтеграції технологій обміну великими даними [Бакалаврська робота, Київський національний університет імені Тараса Шевченка]. eKNUTSHIR. https://ir.library.knu.ua/handle/123456789/3113
[ДСТУ] Макарович А. В. Розробка конекторів для інтеграції технологій обміну великими даними : кваліфікаційна робота бакалавра : 12 Інформаційні технології. Київ, 2022. 53 с. URL: https://ir.library.knu.ua/handle/123456789/3113 (дата звернення: 25.07.2026).
В процесі дослідження в якості мови програмування для конектора використано Scala. Для тестування конектора використано системи неперервної інтеграції CircleCI та Webapp.io. Для створення демо використано мови програмування Scala, Python, SQL а також технологія Apache Zeppelin. Для компіляції проекту застосовано систему автоматичної збірки sbt. Для комунікації з базою даних використано MariaDB JDBC Driver, а також SingleStore JDBC Driver. Для реалізації пулу з’єднань застосовано бібліотеку DBCP 2. Тестування швидкодії конектора відбувалось за допомогою сервісу AWS EC2.
Розроблений конектор між фреймворком для реалізації розподіленої обробки даних Apache Spark та СКБД SingleStore. Конектор може бути застосований для побудови складних систем для обробки великих даних. Результати досліджень можуть бути застосовані під час створення нових конекторів між Spark та іншими розподіленими реляційними базами даних та використані для вдалого конфігурування конектора при потребі досягнути максимальної швидкодії.
Розроблений конектор між фреймворком для реалізації розподіленої обробки даних Apache Spark та СКБД SingleStore. Конектор може бути застосований для побудови складних систем для обробки великих даних. Результати досліджень можуть бути застосовані під час створення нових конекторів між Spark та іншими розподіленими реляційними базами даних та використані для вдалого конфігурування конектора при потребі досягнути максимальної швидкодії.
Галузі знань та спеціальності :
12 Інформаційні технології
122 Комп’ютерні науки
Файл(и) :![Ескіз]()
Вантажиться...
Формат :
Adobe PDF
Розмір :
1.22 MB
Контрольна сума :
(MD5):b98163bd353216e103acf16033f24d3f
Якщо не вказано інше, ця робота розповсюджується на умовах ліцензії Creative Commons Attribution-NonCommercial 4.0 International