Opinion Mining Pada Layanan ChatGPT Menggunakan Model BERT Dengan Interpretabilitas SHAP

Abstract

Pemanfaatan kecerdasan buatan pada platform digital berkembang pesat, salah satunya melalui layanan ChatGPT yang banyak digunakan karena kemampuannya memberikan respons cepat dan informatif. Opini pengguna terhadap layanan ini menjadi sumber informasi penting untuk menilai kualitas, efektivitas, serta aspek yang perlu ditingkatkan. Namun, opini di media sosial umumnya berjumlah besar, terus bertambah, dan tidak terstruktur, sehingga sulit dianalisis secara manual. Oleh karena itu, digunakan pendekatan penambangan opini berbasis Natural Language Processing (NLP). Penelitian ini menggunakan model BERT karena kemampuannya memahami konteks bahasa secara dua arah, serta metode SHAP untuk meningkatkan interpretabilitas model. Data yang digunakan berupa 20.000 tweet berbahasa Indonesia dari platform X pada periode Mei 2024 hingga Oktober 2025. Data diproses melalui tahap preprocessing, kemudian sebanyak 3.000 tweet diberi label secara manual. Dataset berlabel dibagi menjadi data latih, validasi, dan uji dengan rasio 70:15:15 untuk proses pelatihan dan evaluasi model BERT, sedangkan 17.000 tweet yang belum berlabel diprediksi menggunakan model yang telah dilatih. Hasil evaluasi menunjukkan bahwa model memperoleh akurasi sebesar 80,22%, weighted average precision sebesar 80,27%, weighted average recall sebesar 80,22%, dan weighted average F1-score sebesar 80,25%. Interpretasi SHAP dilakukan menggunakan global explanation yang divisualisasikan melalui bar plot. Hasil interpretasi menunjukkan bahwa token seperti “benefit”, “ceria”, dan “help” berkontribusi terhadap prediksi opini positif, sedangkan token “error”, “lemot”, “sesat”, dan “jelek” berkontribusi terhadap prediksi opini negatif. Hasil penambangan opini menunjukkan bahwa opini positif umumnya menggambarkan manfaat yang diperoleh pengguna, pengalaman penggunaan yang menyenangkan, serta kemampuan ChatGPT dalam membantu berbagai kebutuhan informasi maupun produktivitas. Sebaliknya, opini negatif lebih banyak menyoroti kendala teknis, performa layanan yang kurang optimal, kesalahan informasi, maupun pengalaman penggunaan yang dianggap tidak memuaskan. Penelitian ini menunjukkan bahwa kombinasi model BERT dan metode SHAP mampu melakukan penambangan opini sekaligus memberikan interpretasi yang transparan terhadap faktor-faktor yang memengaruhi hasil prediksi model.