Pengenalan Bahasa Isyarat SIBI Menggunakan Metode RNN Model LSTM Dan GRU

Abstract

Skripsi ini menyajikan penelitian dengan topik Computer Vision berbasis Deep Learning yang berfokus pada percobaan penggunaan mediapipe sebagai metode ekstraksi fitur, dengan harapan dapat memperoleh hasil yang lebih baik dalam pengenalan bahasa isyarat khususnya Sistem Isyarat Bahasa Indonesia (SIBI). Mediapipe digunakan untuk mengekstraksi bagian-bagian tubuh seperti wajah, tangan, dan pose tubuh, di mana hasil ekstraksi berupa koordinat dari setiap titik kunci (landmark) pada sumbu x, y, dan z. Data koordinat ini kemudian diolah dan disimpan pada parquet sebagai fitur input ke dalam model Recurrent Neural Network (RNN) seperti Long Short-Term Memory (LSTM) dan Gated Recurrent Unit (GRU), mampu menangkap informasi urutan dari gerakan bahasa isyarat. Skripsi ini secara menyeluruh membahas proses ekstraksi fitur menggunakan mediapipe, arsitektur model RNN yang digunakan, serta pengaruhnya terhadap performa sistem. Evaluasi dilakukan menggunakan metrik accuracy dan F1-score untuk mengukur tingkat keberhasilan klasifikasi bahasa isyarat. Hasil yang diperoleh menunjukkan bahwa kombinasi ekstraksi fitur berbasis landmark dengan model RNN memberikan performa yang menjanjikan dalam pengenalan bahasa isyarat.