Sistem Deteksi Tingkat Ancaman Secara Real Time Dengan Multi-Stage Classification Menggunakan YOLO11

Abstract

Keamanan ruang publik memerlukan sistem yang mampu mendeteksi potensi ancaman secara cepat dan akurat, khususnya terhadap keberadaan senjata tajam dan senjata api. Penelitian ini bertujuan mengembangkan sistem deteksi tingkat ancaman senjata secara real-time menggunakan pendekatan multi-stage classification yang mengintegrasikan model YOLO11 dan YOLO11-Pose. Sistem yang dikembangkan mampu mendeteksi jenis senjata, menentukan status penggunaan senjata berdasarkan posisi pergelangan tangan, kemudian mengklasifikasikan tingkat ancaman ke dalam lima kategori, yaitu aman, rendah, sedang, tinggi, dan sangat tinggi. Penelitian menggunakan empat kelas objek, yaitu pisau, celurit, pistol, dan rifle. Model deteksi objek dilatih menggunakan arsitektur YOLO11n dan YOLO11s dengan variasi 100 dan 150 epoch, sedangkan YOLO11-Pose digunakan sebagai model pre-trained untuk mendeteksi keypoint tubuh. Penentuan status penggunaan senjata dilakukan menggunakan jarak Euclidean antara titik pusat bounding box senjata dan keypoint pergelangan tangan dengan nilai threshold sebesar 200 piksel. Hasil penelitian menunjukkan bahwa model YOLO11s dengan 100 epoch menghasilkan performa terbaik dengan nilai mAP50–95 sebesar 71,5%, precision sebesar 89,7%, recall sebesar 83,1%, dan F1-score sebesar 86,26%. Namun, berdasarkan pengujian real-time, kombinasi YOLO11n dan YOLO11n-Pose dipilih sebagai model implementasi karena memberikan keseimbangan terbaik antara akurasi dan kecepatan, dengan performa 11,87–16,03 FPS dan waktu inferensi 62,38–84,17 ms. Meskipun masih terdapat beberapa kegagalan deteksi pada objek pisau dan pistol, sistem mampu mengklasifikasikan tingkat ancaman secara responsif sehingga berpotensi diterapkan sebagai pendukung sistem pengawasan keamanan berbasis kamera