Pengembangan Model Deteksi Bahan Berbahaya di Label Komposisi Pada Kemasan Kosmetik Menggunakan Kombinasi NER-OCR

Abstract

Penelitian ini bertujuan mengembangkan sistem deteksi bahan berbahaya pada label komposisi kosmetik dengan mengombinasikan Optical Character Recognition (OCR), rule-based Named Entity Recognition (NER), dan algoritma Random Forest. Permasalahan yang melatarbelakangi penelitian ini adalah sulitnya masyarakat mengenali bahan berbahaya pada label kosmetik karena penggunaan istilah ilmiah serta adanya potensi kesalahan pembacaan teks hasil OCR. Pendekatan yang digunakan diawali dengan proses preprocessing citra berupa image resizing dan konversi grayscale untuk meningkatkan kualitas hasil OCR. Teks hasil ekstraksi kemudian diproses menggunakan rule-based NER berbasis gazetteer yang memanfaatkan teknik sliding window, exact matching, dan fuzzy matching untuk menghasilkan kandidat entitas. Selanjutnya, kandidat tersebut divalidasi menggunakan algoritma Random Forest berdasarkan 16 fitur yang merepresentasikan karakteristik kemiripan, struktur penulisan, dan jarak antar string. Dataset penelitian terdiri atas 470 citra label kosmetik, 737 data bahan berbahaya, 216 data bahan yang perlu diwaspadai, serta 7.163 data pelatihan Random Forest. Hasil evaluasi preprocessing menunjukkan penurunan Character Error Rate (CER) dari 13,5% menjadi 7,2% dan Word Error Rate (WER) dari 16,8% menjadi 9,5%. Evaluasi candidate generator berbasis NER menghasilkan precision sebesar 73,39%, recall 100%, dan F1-score 84,66%. Sementara itu, model Random Forest memperoleh accuracy sebesar 78,21% dan F1-score sebesar 83,39%. Pada evaluasi sistem secara end-to-end diperoleh precision sebesar 84,47%, recall sebesar 83,65%, dan F1-score sebesar 84,06%. Hasil tersebut menunjukkan bahwa kombinasi OCR, rule-based NER, dan Random Forest mampu mendeteksi bahan berbahaya pada label komposisi kosmetik secara efektif serta berpotensi mendukung masyarakat dalam mengenali kandungan kosmetik yang berisiko