Klasifikasi Kodaly Hand Sign dengan YOLOV8 Transfer Learning pada Robot Angklung Satu Oktaf

Abstract

Pendidikan musik berbasis teknologi menjadi salah satu inovasi dalam pengajaran alat musik tradisional seperti angklung. Penelitian ini bertujuan untuk mengembangkan sistem klasifikasi Kodaly Hand Sign menggunakan metode YOLOv8 dengan pendekatan transfer learning untuk mengendalikan robot angklung satu oktaf secara otomatis. Dataset yang digunakan terdiri dari 2.120 citra gesture tangan yang dibagi ke dalam 7 kelas nada (Do, Re, Mi, Fa, Sol, La, Si). Pelatihan dilakukan menggunakan beberapa varian model YOLOv8 (n, s, m, l, x) dengan jumlah epoch berbeda untuk membandingkan performanya. Hasil penelitian menunjukkan bahwa YOLOv8s memberikan performa terbaik dengan precision 99,5%, recall 99,2%, mAP@0.5 sebesar 0.992, serta FPS 66,38, yang menunjukkan kemampuan deteksi real-time dengan waktu inferensi rata-rata 17,27 ms. Model ini mampu mengklasifikasikan gesture Kodaly secara akurat dan stabil, baik pada data pelatihan maupun uji di luar dataset dengan tingkat keberhasilan di atas 90%. Sistem ini berhasil mengintegrasikan hasil klasifikasi ke robot angklung, sehingga setiap gesture tangan dapat diterjemahkan menjadi bunyi nada sesuai tangga nada diatonik satu oktaf. Penelitian ini membuktikan bahwa penerapan YOLOv8 dengan transfer learning efektif digunakan dalam sistem pembelajaran musik otomatis dan dapat menjadi dasar pengembangan robotik edukatif untuk pelestarian musik tradisional Indonesia.