Abstract:
Penelitian ini menghadirkan aplikasi Android penerjemah fingerspelling American Sign
Language (ASL), bahasa utama dari penduduk tunarungu di Amerika Serikat, berbasis
computer vision deep convolutional neural network dan framework TensorFlow yang
memudahkan proses pembelajaran dan pemahaman fingerspelling ASL. Penelitian ini
dimulai sebagai bagian dari capstone project program Bangkit Kampus Merdeka yang
diikuti dari bulan Februari – Juli 2021. Hasil penelitian Bangkit tersebut adalah sebuah
aplikasi Android yang dikembangkan oleh tim Android Capstone Bangkit yang memiliki
akurasi buruk (0.133 dari 30 percobaan acak). Penelitian skripsi ini merancang dari awal
aplikasi Android baru dan model convolutional neural network berbasis arsitektur dan
dataset baru untuk meningkatkan akurasi aplikasi Android tersebut. Terdapat dua model
yang diteliti pada penelitian ini dengan metode transfer learning, yaitu model berbasis
MobileNetV2 yang juga digunakan pada penelitian sebelumnya dan EfficientNet-Lite yang
dilatih pada dataset fingerspelling American Sign Language Barczak et al. (2011) dengan
gambar yang berukuran 6.95 kali lipat lebih besar dari gambar dataset penelitian
sebelumnya. Ukuran gambar yang lebih besar memungkinkan lebih banyak detail
karakteristik dan struktur bentuk tangan fingerspelling yang dipertahankan selama proses
pelatihan model. Keunggulan ini menjadi penting seiring relatif tingginya tingkat kesulitan
deteksi penelitian ini, dengan banyaknya bentuk yang mirip antara satu jenis alfabet/angka
dengan lainnya. Model computer vision berbasis MobileNetV2 memiliki testing accuracy
0.9681 dan model EfficientNet-Lite 4 memiliki testing accuracy 0.9442, lebih tinggi
dibandingkan dengan akurasi model dari penelitian sebelumnya. Model MobileNetV2 yang
memiliki testing accuracy lebih tinggi diintegrasikan dengan menggunakan TensorFlow Lite
pada aplikasi Android untuk menampilkan hasil interpretasi fingerspelling American Sign
Language ke pengguna. Berdasarkan 200 percobaan random pada aplikasi Android,
diperoleh akurasi senilai 0.8.
