Perbandingan FastText, Word2Vec, dan GloVe sebagai Metode Representasi Dokumen untuk Model Klasifikasi IndoBERT

Abstract

Di era digital, media sosial telah menjadi wadah utama bagi masyarakat untuk mengekspresikan kondisi emosional dan psikologis mereka. Hal ini menghasilkan kumpulan data teks yang melimpah namun sangat kompleks, terutama terkait isu kesehatan mental. Teks semacam ini umumnya dipenuhi dengan bahasa tidak baku, singkatan, kesalahan pengetikan (typo), serta nuansa emosi yang sarat akan ambiguitas dan sarkasme. Untuk memproses data yang rumit tersebut, model klasifikasi berbasis Transformer seperti IndoBERT sangat diandalkan karena kemampuannya memahami konteks kalimat secara mendalam (fitur semantik). Meski demikian, performa IndoBERT sangat bergantung pada kualitas representasi dokumen di tahap awal. Pendekatan hibrida yang menggabungkan model bahasa dengan word embedding statis diyakini mampu meningkatkan performa klasifikasi. Namun, permasalahan utama yang muncul adalah belum adanya konsensus ilmiah yang menetapkan metode representasi teks statis mana antara FastText, Word2Vec, atau GloVe yang paling optimal dan tangguh ketika diintegrasikan dengan arsitektur IndoBERT, khususnya untuk menangani karakteristik teks bahasa Indonesia di ranah kesehatan mental. Penelitian ini bertujuan untuk melakukan studi komparatif terhadap tiga metode representasi dokumen statis, yaitu FastText, Word2Vec, dan GloVe, ketika digabungkan dengan model IndoBERT. Tujuan akhirnya adalah untuk mengidentifikasi dan menemukan arsitektur model klasifikasi hibrida yang paling optimal, akurat, dan stabil dalam menganalisis sentimen pada data teks kesehatan mental berbahasa Indonesia. Penelitian ini merupakan studi kuantitatif yang memanfaatkan data sekunder berupa Mental Health Sentiment Analysis Dataset yang diperoleh dari platform repositori Kaggle. Tahapan penelitian dimulai dengan prapemrosesan teks guna membersihkan data dari derau (noise), yang mencakup proses case folding dan data cleaning. Selanjutnya, dataset dibagi menjadi tiga bagian dengan proporsi 70% untuk data latih, 15% untuk data validasi, dan 15% untuk data uji. Inti dari metodologi ini adalah penerapan arsitektur ekstraksi hibrida, di mana model tidak hanya membaca teks menggunakan fitur kontekstual dari IndoBERT, tetapi juga diperkaya dengan fitur vektor leksikal dari model embedding statis (FastText, Word2Vec, atau GloVe). Untuk mengukur dan membandingkan performa masingmasing skenario model, penelitian ini menggunakan empat metrik evaluasi utama, yaitu Accuracy, Precision, Recall, dan F1-Score (termasuk Weighted dan Macro Average). Eksperimen yang telah dilakukan menunjukkan bahwa pendekatan hibrida secara umum memberikan stabilitas performa yang sangat tinggi. Ketika dievaluasi menggunakan metrik Accuracy dan Weighted Average F1-Score, ketiga skenario model (IndoBERT+FastText, IndoBERT+Word2Vec, dan IndoBERT+GloVe) menghasilkan skor yang identik, yaitu menyentuh angka 89%. Namun, analisis yang lebih mendalam pada kemampuan model dalam mengenali keseimbangan antar kelas sentimen yang diukur melalui metrik Macro Average F1-Score mengungkap adanya perbedaan performa. Pada metrik ini, skenario yang menggunakan FastText berhasil menempati posisi tertinggi dengan skor 89%, sementara Word2Vec dan GloVe sama-sama berada sedikit di bawahnya dengan skor 88%. Hal ini menunjukkan bahwa ada keunggulan teknis yang spesifik pada salah satu model saat menangani data yang sulit. Berdasarkan hasil evaluasi komprehensif, dapat disimpulkan bahwa FastText merupakan metode representasi dokumen statis yang paling unggul dan tangguh untuk diintegrasikan bersama IndoBERT dalam tugas klasifikasi sentimen kesehatan mental. Kestabilan dan keunggulan FastText ini bertumpu pada arsitektur bawaannya yang berbasis subword (n-gram karakter). Arsitektur ini memungkinkan model untuk tidak hanya melihat kata sebagai satu kesatuan utuh, melainkan mengenali pola huruf pembentuknya. Oleh karena itu, ketika IndoBERT bertugas membedah makna dan konteks emosi yang rumit (semantik), FastText secara efektif menutupi kelemahan model dengan menangani kosakata tidak terdaftar (Out-of-Vocabulary), variasi bahasa gaul, serta typo yang sangat lazim ditemukan dalam dataset media sosial (leksikal). Kombinasi sinergis inilah yang menjadikan model hibrida IndoBERT dan FastText sebagai solusi paling optimal untuk analisis teks di domain ini