Розробка конекторів для інтеграції технологій обміну великими даними

Макарович А. В. Розробка конекторів для інтеграції технологій обміну великими даними : кваліфікаційна робота ... бакалавра : 122 Комп’ютерні науки / Макарович Адальберт Віталійович. - Київ, 2022. - 53 с.

В процесі дослідження в якості мови програмування для конектора використано Scala. Для тестування конектора використано системи неперервної інтеграції CircleCI та Webapp.io. Для створення демо використано мови програмування Scala, Python, SQL а також технологія Apache Zeppelin. Для компіляції проекту застосовано систему автоматичної збірки sbt. Для комунікації з базою даних використано MariaDB JDBC Driver, а також SingleStore JDBC Driver. Для реалізації пулу з’єднань застосовано бібліотеку DBCP 2. Тестування швидкодії конектора відбувалось за допомогою сервісу AWS EC2.
Розроблений конектор між фреймворком для реалізації розподіленої обробки даних Apache Spark та СКБД SingleStore. Конектор може бути застосований для побудови складних систем для обробки великих даних. Результати досліджень можуть бути застосовані під час створення нових конекторів між Spark та іншими розподіленими реляційними базами даних та використані для вдалого конфігурування конектора при потребі досягнути максимальної швидкодії.