Optimasi Pre-trained Model Transformers untuk Klasifikasi Berita Hoaks Berbahasa Indonesia Menggunakan Bayesian Optimization

Abstract

Penyebaran berita hoaks di Indonesia semakin meningkat seiring dengan perkembangan teknologi informasi. Hal ini dapat menimbulkan kebingungan dan keresahan baik secara individu maupun publik. Untuk mengatasi permasalahan tersebut, Natural Language Processing (NLP) menawarkan solusi melalui klasifikasi berita hoaks secara otomatis menggunakan model berbasis Transformer. Penelitian ini mengeksplorasi performa model BERT, mBERT, dan IndoBERT dalam klasifikasi berita hoaks berbahasa Indonesia serta mengoptimalkan hyperparameternya menggunakan Bayesian Optimization. Dataset yang digunakan berasal dari Repositori Ilmiah Nasional dengan skenario pembagian data 60:20:20, 70:15:15, dan 80:10:10. Model IndoBERT dengan skenario 70:15:15 memiliki performa terbaik dengan akurasi 95,67% sebelum optimasi dan meningkat menjadi 96,08% setelah optimasi. Bayesian Optimization efektif meningkatkan performa model, meskipun peningkatan tersebut tidak signifikan.