Evaluasi Aplikasi Beacukai Mobile Berdasarkan Standar Iso 25010 Menggunakan Klasifikasi Ulasan Pengguna Dengan Metode Naive Bayes dan SVM Berbasis Model Information Gain

Abstract

Penelitian ini bertujuan untuk mengevaluasi aplikasi BeaCukai Mobile berdasarkan standar ISO/IEC 25010 dengan menggunakan analisis ulasan pengguna. Data ulasan diambil dari Google Play Store dan diklasifikasikan menggunakan algoritma Naive Bayes dan Support Vector Machine (SVM) yang dipadukan dengan teknik pemilihan fitur Information Gain. Studi ini membagi ulasan ke dalam beberapa kategori kualitas perangkat lunak, seperti Kesesuaian Fungsional, Kegunaan, Keamanan, dan kategori lainnya, serta menganalisis sentimen pengguna (positif dan negatif). Proses penelitian melibatkan tahap preprocessing data, seleksi fitur dengan Information Gain, dan evaluasi performa model menggunakan matriks konfusi, akurasi, recall, precision, dan F1-Score. Hasil penelitian menunjukkan bahwa: 1. Support Vector Machine: Setelah penerapan Information Gain, akurasi untuk klasifikasi kategori meningkat dari 97% menjadi 99%, dan mengalami peningkatan dari 94% menjadi 97% pada klasifikasi sentimen. 2. Naïve Bayes: Menunjukkan performa yang stabil dengan akurasi 84% baik sebelum maupun sesudah penerapan Information Gain. 3. Kombinasi Information Gain membantu meningkatkan pemahaman terhadap fitur-fitur yang paling informatif dalam dataset. Visualisasi data menggunakan wordcloud memberikan gambaran tentang topik yang sering dibahas pengguna, seperti masalah kompatibilitas, kegunaan, dan keamanan. Temuan ini memberikan wawasan penting bagi Direktorat Jenderal Bea dan Cukai (DJBC) untuk meningkatkan kualitas aplikasi, mempermudah akses layanan, dan mendukung transformasi digital di bidang kepabeanan dan cukai. Rekomendasi penelitian mencakup pengembangan metode feature selection tambahan dan penggunaan dataset yang lebih luas untuk meningkatkan akurasi dan keandalan algoritma klasifikasi di masa depan.