Implementasi Algoritma Textrank dengan Word Embedding dan Pembobotan Kata Untuk Peringkasan Multi-Dokumen Teks Berita Online

Abstract

Pesatnya perkembangan teknologi informasi telah menyebabkan peningkatan drastis dalam jumlah dokumen teks, artikel dan berita yang tersedia secara digital. Meningkatnya jumlah dokumen menimbulkan kesulitan dalam memilih dan menyaring informasi yang relevan secara efisien. Peringkasan teks otomatis merupakan solusi penting untuk memberikan informasi secara ringkas dan cepat. Penelitian ini menggunakan algoritma TextRank dan Word embedding terbobot untuk meringkas teks artikel berbahasa Indonesia secara otomatis. Penelitian ini menggunakan dataset yang terdiri dari berbagai topik. Metode peringkasan dokumen dikembangkan untuk menghasilkan ringkasan yang kinerjanya dibandingkan dengan ringkasan manual menggunakan ROUGE sebagai metrik pengukuran. Metode tersebut bekerja dalam beberapa tahapan, dimulai dari pra-pemrosesan teks yang meliputi tokenisasi, cleanning, case folding dan stopword removal dan stemming . Kemudian menghitung FastText embedding yang diberi bobot dengan TF-IDF, membentuk matriks kemiripan, membentuk grafik dan menghitung skor dengan TextRank, mengurutkan kalimat, dan tahap terakhir membentuk hasil ringkasan dengan berbagai tingkat kompresi. Cara ini memiliki performa maksimal pada tingkat kompresi sedang dan mengalami kesulitan mempertahankan kinerja pada tingkat kompresi 50%.