Sistem Navigasi Kursi Roda Berbasis Multimodal Sinyal Otak dan Sinyal Suara Menggunakan Deep Learning untuk Penggunaan Multi-Session

Abstract

Penelitian ini bertujuan mengembangkan sistem kendali kursi roda berbasis sinyal EEG dan suara dengan pendekatan multimodal yang ditenagai oleh deep learning. Tujuan utama dari sistem ini adalah untuk meningkatkan fleksibilitas kontrol dan adaptabilitas terhadap variasi kondisi pengguna, khususnya bagi penyandang disabilitas fisik. Arsitektur yang digunakan untuk EEG adalah ATCNet sebagai ekstraktor fitur dan ADL sebagai klasifikasi adaptif, sementara untuk suara digunakan metode transfer learning menggunakan model Xception dan InceptionV3. Eksperimen dilakukan dalam empat skenario utama: within-session, cross-session, real-time, dan multimodal fusion. Hasil menunjukkan bahwa integrasi ATCNet dengan ADL memberikan peningkatan akurasi pada within-session, namun performa justru menurun pada cross-session dan real-time. Model suara menunjukkan performa terbaik dalam kondisi real-time, terutama model Xception dengan akurasi mencapai 77,2%. Sementara itu, pendekatan multimodal dengan feature-level fusion dari EEG dan suara berhasil meningkatkan akurasi klasifikasi menjadi 99,0%, menunjukkan sinergi kuat antara dua modalitas dalam memberikan kontrol yang lebih handal dan adaptif. Secara keseluruhan, sistem yang dikembangkan mampu menyediakan alternatif kendali kursi roda yang lebih fleksibel dan inklusif. Temuan ini menjadi langkah awal dalam implementasi sistem multimodal untuk aplikasi mobilitas cerdas yang mendukung kemandirian penyandang disabilitas.