Studi sistem-sistem untuk pemrosesan Data Stream

Abstract

Pemrosesan data stream menjadi semakin penting seiring dengan meningkatnya volume dan kecepatan data yang dihasilkan oleh berbagai sumber, seperti sensor Internet of Things (IoT), media sosial, dan sistem perdagangan keuangan. Dibandingkan dengan pemrosesan data konvensional, pemrosesan data stream memerlukan pendekatan yang berbeda karena data datang secara terus-menerus dan harus diproses secara waktu nyata (real-time). Penelitian ini bertujuan untuk mempelajari secara mendalam tentang teknologi-teknologi pemrosesan data stream dan memanfaatkan teknologi-teknologi yang sesuai pada perangkat lunak website untuk mengelola data yang dinamis. Data yang digunakan dalam penelitian yaitu data stream harga Bitcoin, dipilih karena perdagangan pasarnya yang berlangsung sepanjang waktu, tidak terikat jam perdagangan konvensional. Penelitian ini mempelajari setiap sistem-sistem yang digunakan untuk pemrosesan data stream mencakup penggunaan sumber data dan teknologi tidak berbayar, di antaranya sumber data menggunakan API CryptoCompare, pengumpulan data menggunakan Kafka dan Flume, pemrosesan data menggunakan Apache Spark dan Streamz, penyimpanan data di SQL Server Management Studio (SSMS) dan PostgreSQL, serta visualisasi data menggunakan Dash, Power BI, dan Streamliot. Pada penelitian ini juga dilakukan analisis data time series menggunakan algoritma regresi linear dan SARIMA untuk mendalami pemahaman tentang dinamika harga Bitcoin dan membuat prediksi harga di masa mendatang. Hasil eksplorasi menunjukkan bahwa teknologi terbaik untuk membangun sistem pemrosesan data stream dalam konteks data stream harga Bitcoin adalah Kafka untuk pengumpulan data, Streamz untuk pemrosesan data, SQL Server Management Studio (SSMS) untuk penyimpanan data, dan Dash untuk visualisasi data. Teknologi-teknologi ini telah terbukti dapat digunakan dalam menangani pemrosesan data stream. Hasil dari pemanfaatan teknologi untuk kasus data stream harga Bitcoin berupa perangkat lunak website yang menampilkan candlestick chart dari data harga Bitcoin secara real-time, serta menampilkan grafik line untuk tren dan prediksi Bitcoin. Dengan demikian, kesimpulan dari penelitian ini adalah bahwa teknologi-teknologi yang digunakan telah berhasil membangun sebuah sistem pemrosesan data stream, khususnya dalam kasus pengelolaan data stream harga Bitcoin.