Identifikasi Jari Tangan Manusia pada Bahasa Isyarat Abjad Bisindo (Bahasa Isyarat Indonesia) menggunakan Metode Convolutional Neural Network (CNN)

Abstract

Bahasa isyarat merupakan salah satu komunikasi yang dilakukan denngan menggunakan isyarat tertentu. Bahasa isyarat merupakan komunikasi nonverbal yaitu salah satu jenis komunikasi yang menggunakan huruf atau tidak menggunakan suara dalam menyampaikan pesan. Komunikasi nonverbal merupakan tindakan dan perilaku manusia yang memiliki makna terkandung didalamnya. Di Indonesia penggunaan bahasa isyarat terdiri dari dua macam, yaitu versi BISINDO (Bahasa Isyarat Indonesia) dan versi SIBI (Sistem Isyarat Bahasa Indonesia). Perbedaan SIBI dan BISINDO terdapat pada gerakan tangan, dimana SIBI menggunakan satu tangan dalam mengisyaratkan abjad, sedangkan pada BISINDO menggunakan kombinasi satu dan dua tangan dalam mengisyaratkan abjad. CNN (Convolutional Neural Network) merupakan arsitektur yang banyak digunakan dalam klasifikasi objek berupa citra, teks, potongan suara dan sebagainya. CNN dapat melakukan kumpulan data dalam jumlah yang besar dengan banyak parameter dan mengambil bentuk gambar dan video sebagai masukan dan menghasilkan keluaran yang diinginkan. Pada CNN terdapat arsitektur transfer learning yang merupakan teknik pembelajaran mesin yang modelnya dilatih secara massif pada suatu tugas dan dapat digunakan untuk membuat prediksi pada tugas lain dalam domain yang sama. Penggunaan transfer learning memiliki beberapa kelamahan salah satunya tidak selalu memberikan akurasi yang baik pada tugas tertentu dan evaluasinya hanya dapat dilakukan jika telah dikembangkan. Penelitian yang digunakan adalah penelitian terapan yang merupakan penelitian cenderung berupa aplikasi baru yang merupakan penerapan dari ilmu murni. Pengumpulan data citra menggunakan objek jari tangan manusia yang berasal dari peneliti diambil menggunakan kamera smartphone. Dataset yang digunakan merupakan dataset gabungan yang berasal dari peneliti yang berlatarbelakang motif dan warna pakaian sebanyak 420 citra dengan rincian masing-masing kelas memiliki kurang lebih 20 citra dan Kaggle milik Achmadnoer yang berlatarbelakang motif dan warna pakaian sebanyak 312 citra yang masing-masing kelas memiliki 12 citra, dan milik Alfredolorentiars yang berlatarbelakang pakaian dengan sudut pengambilan gambar sebanyak 887 citra yang masing-masing kelas memiliki kurang lebih 36 citra, sehingga total dataset sebanyak 1.819 data yang terbagi menjadi 26 kelas, kelastersebut adalah huruf A sampai Z. Pada pembagian data terdapat 3 jenis pembagian data yang digunakan yaitu 90% data latih dengan 10% data uji, 80% data latih dengan 20% data uji, dan 70% data latih dengan 30% data uji, sedangkan arsitektur yang digunakan dalam penelitian ini adalah arsitektur Xception, VGG-16, Inception V3, ResNet50 V2, DenseNet121 dan arsitektur improved model yang berasal dari penelitian Rajaraman. Hasil dari penelitian ini adalah Aristektur Xception memberikan performa yang memuaskan dengan akurasi nilai kepercayaan sebesar 87,46% dengan pembagian dataset 80% data latih dan 20% data uji, arsitektur VGG-16 dapat memberikan performa yang memuaskan dengan akurasi nilai kepercayaan sebesar 89,88% dengan pembagian dataset 90% data latih dan 10% data uji, arsitektur ResNet50 V2 memberikan performa yang memuaskan dengan akurasi nilai kepercayaan sebesar 86,31% pada pembagian dataset 90% data latih dan 10% data uji, arsitektur Inception V3 memberikan performa yang tinggi dengan hasil akurasi nilai kepercayaan sebesar 82,74% dengan pembagian dataset 90% data latih dan 10% data uji, arsitektur DenseNet121 memberikan performa yang tinggi dengan hasil akurasi nilai kepercayaan sebesar 86,89% dengan pembagian dataset 80% data latih dan 20% data uji, arsitektur improved model memberikan akurasi yang paling baik yaitu dengan nilai kepercayaan sebesar 93,16% pada pembagian dataset 80% data latih dan 20% data uji, arsitektur improved model dengan batch normalization memberikan performa yang baik dengan nilai akurasi kepercayaan sebesar 91,17% dengan pembagian dataset 80% data latih dan 20% data uji.