Klasifikasi Kodaly Hand signs Menggunakan YOLOv5 Transfer Learning untuk Memainkan Angklung Satu Oktaf

Abstract

Kodaly Hand Signs adalah metode isyarat tangan yang umum digunakan dalam pendidikan musik untuk menunjukkan tingkat nada secara visual. Dengan pendekatan visi komputer, sistem ini dirancang untuk mendeteksi isyarat tangan konduktor secara waktu nyata dan mengendalikan aktuator angklung melalui mikrokontroler Arduino Mega. Penelitian ini dilakukan menggunakan dataset gambar isyarat tangan yang diambil dengan webcam eksternal, dipra-proses di Roboflow, dan dilatih di Google Colab. Hasil pengujian menunjukkan bahwa model YOLOv5 S mencapai kinerja terbaik dengan presisi sebesar 99.5%, recall sebesar 99.2%, dan mAP sebesar 98.9%, dengan kecepatan inferensi 28,62 fps dan latensi 4.5 ms. Pengujian pada berbagai intensitas cahaya menunjukkan bahwa pencahayaan di bawah 120 lux memengaruhi akurasi prediksi untuk beberapa kelas nada. Penelitian ini menunjukkan bahwa YOLOv5 efektif dan efisien untuk pengenalan Kodaly Hand Signs secara waktu nyata dan mendukung otomatisasi pertunjukan angklung satu oktaf.