Perbandingan Kinerja Model Support Vector Machine (SVM) dan VADER dalam Penentuan Skor Sentimen Pasar Saham

Abstract

Dalam beberapa tahun terakhir, media sosial telah menjadi sumber informasi yang sangat berpengaruh terhadap dinamika pasar saham. Salah satu platform yang banyak digunakan oleh pelaku pasar untuk menyampaikan opini dan tanggapan terhadap pergerakan saham adalah X (sebelumnya Twitter). Platform ini menyediakan data teks yang kaya opini namun tidak terstruktur, sehingga memerlukan pendekatan analisis yang tepat agar dapat diekstraksi menjadi informasi yang bernilai, khususnya dalam konteks penilaian sentimen saham. Berdasarkan hal tersebut, penelitian ini dilakukan dengan tujuan untuk mengembangkan dan membandingkan dua model analisis sentimen, yaitu model machine learning berbasis Support Vector Machine (SVM) dan pendekatan lexicon-based menggunakan VADER, dengan fokus pada data saham BBRI. Data yang digunakan dalam penelitian ini dikumpulkan secara otomatis melalui metode tweet harvesting selama bulan Februari 2025, menggunakan kata kunci yang relevan dengan saham BBRI. Setelah proses pengumpulan, data melalui tahapan preprocessing seperti pembersihan teks dari karakter khusus, tokenisasi, normalisasi kata, dan penghapusan kata umum (stopwords). Selanjutnya, data dilabeli secara manual ke dalam tiga kategori sentimen, positif, negatif, dan netral. Model SVM dibangun menggunakan pendekatan One-vs-Rest untuk klasifikasi multikelas dengan representasi fitur berbasis TF-IDF. Sementara itu, model VADER menggunakan skor compound yang kemudian diklasifikasikan ke dalam kategori sentimen berdasarkan nilai ambang tertentu. Evaluasi dilakukan menggunakan data uji yang sama pada kedua model agar hasil dapat dibandingkan secara adil. Berdasarkan hasil klasifikasi, model SVM menunjukkan akurasi sebesar 69%, sedangkan VADER hanya mencapai akurasi 48%. SVM juga menunjukkan hasil klasifikasi yang lebih seimbang terhadap distribusi label aktual, meskipun terdapat kecenderungan overklasifikasi pada sentimen negatif. Di sisi lain, VADER lebih banyak mengklasifikasikan tweet ke dalam sentimen positif, meskipun sebenarnya distribusi sentimen negatif lebih dominan dalam label manual. Rendahnya recall pada kategori negatif pada VADER menandakan bahwa banyak tweet bernada negatif tidak dikenali dengan tepat oleh metode tersebut. Selain evaluasi metrik, dilakukan pula analisis terhadap fluktuasi skor sentimen harian untuk masing-masing model. Model SVM menunjukkan variasi skor yang lebih dinamis dan sensitif terhadap perubahan opini pasar, khususnya pada pertengahan dan akhir bulan Februari. Sebaliknya, model VADER memperlihatkan pola yang lebih stabil dan cenderung positif. Temuan ini mendukung kesimpulan bahwa pendekatan machine learning seperti SVM lebih responsif terhadap konteks bahasa yang berubah-ubah dan dapat mencerminkan emosi pasar secara lebih realistis dibanding pendekatan berbasis kamus seperti VADER. Berdasarkan keseluruhan hasil analisis, dapat disimpulkan bahwa model SVM memiliki kinerja yang lebih unggul dalam melakukan analisis sentimen terhadap data tidak terstruktur dari media sosial X, khususnya dalam konteks saham BBRI. Pendekatan machine learning ini mampu menangkap variasi makna dan konteks kalimat secara lebih akurat, terutama dalam menghadapi bahasa yang informal, sarkastik, atau kaya istilah pasar. Dengan demikian, SVM direkomendasikan sebagai model yang lebih efektif untuk digunakan dalam sistem penilaian sentimen pasar saham berbasis media sosial..