Implementasi Random Forest Classifier menggunakan SMOTE untuk Analisis Sentimen Data Ulasan Aplikasi Sister for Students UNEJ

Abstract

Pendidikan di era digital sangat memanfaatkan teknologi dan informasi sebagai prasarana pembelajaran melalui aplikasi milik perguruan tinggi tertenu. Sister for Students (SFS) merupakan aplikasi yang dikembangkan oleh UPT-TIK Universitas Jember yang memiliki peran sangat penting untuk menunjang kegiatan pembelajaran di Universitas Jember, sehingga perlu dilakukan analisis kualitas layanan aplikasi tersebut berdasarkan komentar oleh pengguna menggunakan analisis sentimen. Analisis sentimen merupakan klasifikasi teks yang dilakukan dengan tujuan memperoleh informasi dari pengguna mengenai kualitas layanan SFS. Masalah yang sering terjadi pada proses klasifikasi yaitu adanya data imbalance, salah satunya pada klasifikasi teks. SMOTE dilakukan untuk menangani data imbalance dengan cara membangkitkan data sintetis pada kelas minoritas, hal ini diharapkan agar kinerja klasifikasi lebih baik. Penelitian ini menggunakan metode klasifikasi Random Forest dan SMOTE dengan perbandingan proporsi splitting data 60: 40, 70: 30, 80: 20 dan 90: 10 untuk analisis sentimen pada ulasan aplikasi SFS. Data yang digunakan sebanyak 913 data dimana kelas positif sejumlah 363 dan negatif sejumlah 550. Hasil model terbaik yaitu model Random Forest menggunakan SMOTE dengan proporsi 90:10 dengan akurasi testing 98,9%, recall 100%, precision 96,7%, f1-score 98,3% dan nilai AUC sebesar 99,2%. Informasi yang diperoleh dari analisis sentimen SFS UNEJ diperoleh kata yang mengarah positif yaitu “bagus”, “mantap”, “keren”, “bantu”, “lumayan”, “lebihbaik”, “mudah”, “unej” dan “suka”. Kata yang mengarah pada sentimen negatif yaitu “eror”, “tidakbisa”, “presensi”, “jelek”, “update”, “ribet”, “sulit”, “forceclose” dan “qrcode”.