Analisis Penggabungan Fitur VGG-16 dengan Rotation Invariant Uniform Local Binary Pattern untuk Pengenalan Ekspresi Wajah

Abstract

Pengenalan ekspresi wajah merupakan tantangan penting dalam bidang kecerdasan buatan akibat tingginya komplekstitas visual, terutama pada ekspresi yang memiliki kemiripan seperti marah dan jijik. Penelitian ini mengusulkan metode feature fusion yang menggabungkan fitur global dari arsitektur VGG-16 dengan fitur lokal dari Rotation Invariant Uniform Local Binary Pattern (LBPriu2) untuk meningkatkan akurasi klasifikasi. Penelitian ini menggunakan dataset JAFFE yang terdiri dari tujuh ekspresi wajah dasar. Tahapan penelitian mencakup preprocessing data (deteksi wajah dan Histogram Equalization(, pelatihan model VGG-16 dengan 12 skenario variasi dense layer dan dropout, ekstrasksi fitur, serta penggabungan fitur yang dimensinya direduksi menggunakan Principal Component Analysis (PCA). Evaluasi performa model menggunakan metrik accuracy, precision, recall, dan F1 score. Hasil penelitian menunjukkan bahwa metode fusion feature secara signifikan meningkatkan kinerja model. akurasi terbaik sebesar 100% berhasil dicapai pada skenario dengan konfigurasi dense layer 128-64 tanpa dropout, sebuah peningkatan yang besar dari 93.33% yang diperoleh model VGG-16 saja pada skenario yang sama. Dapat disimpulkan bahwa metode fusion feature ini terbukti efektif dalam emmperkaya representasi fitur, meningkatkan akurasi, dan secara khusus memperbaiki kemampuan model dalam membedakan ekspresi marah dan jijik.