Deteksi kepuasan pelanggan pengguna jasa berdasarkan analisis citra wajah

Abstract

Dalam dunia bisnis kepuasan pelanggan dalam hal berbisnis menjadi salah satu kunci untuk bertahan dan berkembang terlebih pada organisasi bisnis penyedia jasa. Untuk mengetahui kepuasan pelanggan biasanya pelanggan diminta untuk mengisi survei dengan pilihan puas, biasa saja atau tidak puas. Tetapi hal ini memiliki kekurangan di mana pelanggan bisa mengisi secara kurang jujur maupun tidak serius. Selain itu cara lain seperti pengamatan ekspresi, tingkah laku dan komentar yang dilakukan secara manual dan tentunya memakan waktu, terutama jika pelanggan di perusahaan itu banyak. Penelitian serupa telah dilakukan untuk melakukan deteksi pada ekspresi wajah atau kepuasan pelanggan dengan berbagai metode, seperti menggunakan arsitektur CNN self-built, AlexNet, VGGNet serta ResNet, atau dengan teknik crop pada fitur wajah. Untuk membuat penilaian ini menjadi lebih objektif, dikembangkan model yang dapat melakukan prediksi pada ekpresi wajah atau kepuasan pelanggan. Ekspresi dasar berdasarkan Paul Ekman dibagi menjadi enam ditambah dengan netral. Dari 7 ekspresi dasar ini disebarkan form dan diisi sebanyak 133 responden untuk menentukan ekspresi dasar mana yang masuk ke dalam kategori kelas kepuasan pelanggan. Pada penelitian ini kepuasan pelanggan dibagi menjadi tiga, yaitu puas, tidak dapat ditentukan dan tidak puas. Pada penelitian ini dilakukan pengambilan data berupa gambar yang representatif mengenai ekspresi wajah kepada sebanyak 29 responden dengan variasi dari usia, memakai kacamata, warna kulit, jenis kelamin, dan lainnya. Data-data ini diproses dengan cara dilakukan crop pada bagian wajahnya, resize, dan grayscale. Setelah itu diperbanyak dengan teknik augmentasi yang bertujuan untuk menambah data tanpa perlu mengambil lagi. Lalu data-data ini digabungkan dengan data yang sudah ada pada kaggle yaitu FER-2013. Dengan total 4500 data dibagi datanya menjadi 2700 untuk pelatihan, 900 untuk validasi dan 900 untuk pengujian. Lalu gambar wajah ini digunakan untuk untuk membuat model menggunakan jenis deep learning convolutional neural network. Arsitektur ini biasanya digunakan untuk melakukan pemrosesan pada data berupa gambar. Arsitektur CNN yang dipilih untuk eksperimen adalah AlexNet dan VGGNet. Pelatihan pada model ini didasari oleh paper AlexNet dan VGGNet. Ada beberapa hal yang tidak diubah seperti optimizer yang digunakan adalah SGD, nilai momentum sebesar 0.9, dan nilai weight decay 0.0005. Tetapi untuk hyperparameter yang lain dicoba untuk dibandingkan dari ukuran resolusi gambar, ukuran batch, serta learning rate. Teknik regularisasi yang digunakan juga ada seperti dropout, augmentasi, dan juga weight decay. Dari eksperimen yang dilakukan, dihasilkan model menggunakan arsitektur VGGNet dengan akurasi sebesar 93.27% dan AlexNet dengan akurasi sebesar 87.62%. Model terbaik menggunakan arsitektur AlexNet menggunakan ukuran gambar 128 × 128, ukuran batch 64, learning rate 0.01 serta menggunakan teknik dropout pada lapisan FC dan augmentasi gambar. Model yang dihasilkan dari eksperimen tersebut dibuat perangkat lunak menggunakan library Tkinter di mana pengguna bisa memilih foto yang ingin diprediksi kepuasaannya. GUI akan menampilkan hasil pemrosesan gambar terlebih dahulu dari crop wajah, resize dan grayscale. Terakhir GUI sudah bisa menampilkan label atau kelas yang diprediksi dari gambar tersebut. Label tersebut bisa berupa puas, tidak dapat ditentukan atau tidak puas.