Aplikasi android kestrel Translator Fingerspelling American Sign Language berbasis Machine Learning Convolutional Neural Network dan Tensorflow

Abstract

Penelitian ini menghadirkan aplikasi Android penerjemah fingerspelling American Sign Language (ASL), bahasa utama dari penduduk tunarungu di Amerika Serikat, berbasis computer vision deep convolutional neural network dan framework TensorFlow yang memudahkan proses pembelajaran dan pemahaman fingerspelling ASL. Penelitian ini dimulai sebagai bagian dari capstone project program Bangkit Kampus Merdeka yang diikuti dari bulan Februari – Juli 2021. Hasil penelitian Bangkit tersebut adalah sebuah aplikasi Android yang dikembangkan oleh tim Android Capstone Bangkit yang memiliki akurasi buruk (0.133 dari 30 percobaan acak). Penelitian skripsi ini merancang dari awal aplikasi Android baru dan model convolutional neural network berbasis arsitektur dan dataset baru untuk meningkatkan akurasi aplikasi Android tersebut. Terdapat dua model yang diteliti pada penelitian ini dengan metode transfer learning, yaitu model berbasis MobileNetV2 yang juga digunakan pada penelitian sebelumnya dan EfficientNet-Lite yang dilatih pada dataset fingerspelling American Sign Language Barczak et al. (2011) dengan gambar yang berukuran 6.95 kali lipat lebih besar dari gambar dataset penelitian sebelumnya. Ukuran gambar yang lebih besar memungkinkan lebih banyak detail karakteristik dan struktur bentuk tangan fingerspelling yang dipertahankan selama proses pelatihan model. Keunggulan ini menjadi penting seiring relatif tingginya tingkat kesulitan deteksi penelitian ini, dengan banyaknya bentuk yang mirip antara satu jenis alfabet/angka dengan lainnya. Model computer vision berbasis MobileNetV2 memiliki testing accuracy 0.9681 dan model EfficientNet-Lite 4 memiliki testing accuracy 0.9442, lebih tinggi dibandingkan dengan akurasi model dari penelitian sebelumnya. Model MobileNetV2 yang memiliki testing accuracy lebih tinggi diintegrasikan dengan menggunakan TensorFlow Lite pada aplikasi Android untuk menampilkan hasil interpretasi fingerspelling American Sign Language ke pengguna. Berdasarkan 200 percobaan random pada aplikasi Android, diperoleh akurasi senilai 0.8.