Evaluasi Komparatif Teknik Ekstraksi Fitur untuk Analisis Sentimen

Abstract

Perkembangan teknologi informasi telah meningkatkan volume data teks secara signifikan, terutama dari media sosial, ulasan produk, dan berita. Data ini sering berisi opini yang berharga untuk dianalisis. Analisis sentimen digunakan untuk mengelompokkan opini tersebut menjadi kategori positif, negatif, atau netral. Penelitian sebelumnya menunjukkan variasi accuracy yang cukup besar, yang disebabkan oleh perbedaan dalam penggunaan dataset, teknik ekstraksi fitur, dan algoritma klasifikasi. Penelitian ini bertujuan untuk mengidentifikasi teknik ekstraksi fitur yang paling efektif dalam analisis sentimen dan mengevaluasi perbedaan performa klasifikasi menggunakan analisis T-test. Dua dataset utama digunakan, yaitu Sentiment140 dan News Sentiment dengan empat teknik ekstraksi fitur: Bag of Words (BoW), Term Frequency-Inverse Document Frequency (TF-IDF), Global Vectors for Word Representation (GloVe), dan Word2Vec. Teknik ini dikombinasikan dengan empat algoritma klasifikasi: Decision Tree (DT), Random Forest (RF), Gradient Boosting Classifiers (GBC), dan Support Vector Machines (SVM). Evaluasi dilakukan menggunakan accuracy untuk dataset Sentiment140 dan f1-score untuk dataset News Sentiment. Hasil penelitian menunjukkan bahwa algoritma RF memberikan performa terbaik pada kedua dataset. Kombinasi TF-IDF dan RF menghasilkan accuracy tertinggi sebesar 76.98% pada dataset Sentiment140 dan f1-score tertinggi sebesar 84.74% pada dataset News Sentiment. Analisis T-test menunjukkan bahwa tidak terdapat perbedaan signifikan antara teknik ekstraksi fitur yang diuji dengan nilai p-value untuk semua pasangan > 0,05. Hal ini menunjukkan bahwa teknik ekstraksi fitur dapat digunakan secara fleksibel tanpa memengaruhi hasil klasifikasi secara signifikan. Penelitian ini diharapkan memberikan kontribusi dalam memilih kombinasi teknik dan algoritma yang optimal untuk meningkatkan performa analisis sentimen pada dataset yang bervariasi.

Kata kunci: analisis sentimen, ekstraksi fitur, algoritma klasifikasi, T-test, Sentiment140, News Sentiment