Perbandingan Optimasi Algoritma Machine Learning dengan Metode Bagging dan AdaBoost (Studi Kasus: Stroke Prediction Dataset)

Abstract

Stroke atau Cardiovascular Disease (CVD) merupakan disfungsi neurologis akut pada pembuluh darah di otak yang disebabkan karena berhentinya suplai darah pada otak sehingga sel-sel otak kekurangan oksigen yang diperlukan (Dritsas & Trigka, 2022). Menurut Global Burden of Disease (GBD) 2019, stroke merupakan penyebab utama kematian kedua di dunia (Feigin et al., 2022). Sedangkan dari Data Riset Kesehatan Dasar 2018 terdapat 10,9 per mil prevalensi stroke di Indonesia (Kementerian Kesehatan Republik Indonesia, 2019). Dengan berkembangnya Machine Learning, diharapkan berkontribusi membantu para profesional kesehatan dalam melakukan prediksi dini penyakit stroke. Penelitian ini melakukan perbandingan performa algoritma Machine Learrning dengan optimasi algoritma menggunakan metode Bagging dan AdaBoost. Algoritma Machine Learning yang digunakan antara lain Naïve Bayes, Support Vector Machine (SVM), Decision Tree, dan K-Nearest Neigbors (KNN). Bagging dan AdaBoost termasuk bagian dari teknik ensemble yang menggabungkan dua model atau lebih untuk membuat prediksi serta mencapai performa yang lebih baik daripada model tunggal. Bagging bekerja dengan menduplikasi data training menggunakan sampling with replacement untuk membangun classifier – classifier yang selanjutnya digabungkan agar mendapatkan hasil keputusan akhir. Sedangkan AdaBoost bekerja dengan melakukan penambahan model untuk mengoreksi prediksi dari model sebelumnya secara berurutan. Tahapan penelitian diawali dengan melakukan pengumpulan data yang didapatkan melalui situs Kaggle yaitu Stroke Prediction Dataset. Tahap selanjutnya adalah preprocessing yang terdiri dari penanganan missing value dengan dua skenario yaitu dihapus dan menggunakan nilai mean, menghapus kolom ‘id’ karena tidak diperlukan, menghapus nilai ‘Other’ pada kolom ‘Gender’, dan label encoding data. Berikutnya melakukan penanganan imbalanced data dengan SMOTE karena terdapat ketidakseimbangan data pada kelas target. SMOTE bekerja dengan melakukan oversampling pada kelas minoritas yang berdekatan dan membuat sintesis sampel kelas minoritas baru. Tahapan berikutnya yaitu melakukan split data menggunakan beberapa skenario yaitu K-fold Cross Validation dan spliting data dengan perbandingan data training dan data testing yang telah ditentukan. Tahap selanjutnya dilakukan pembangunan model algoritma Machine Learning dan optimasinya menggunakan metode Bagging dan AdaBoost dengan base estimator algoritma Machine Learning. Tahap terakhir melakukan evaluasi menggunakan confusion matrix dengan informasi performa nilai akurasi, presisi, recall, dan F1-score. Hasil penelitian didapatkan bahwa algoritma Machine Learning yang memiliki performa paling baik yaitu algoritma Decision Tree. Selanjutnya diikuti oleh algoritma KNN, Naïve Bayes, dan terakhir SVM. Penanganan imbalanced data dengan SMOTE juga memberikan hasil evaluasi model yang stabil dengan nilai akurasi, presisi, recall, dan F1-score yang seimbang satu sama lain daripada tanpa penanganan. Hasil dari penerapan optimasi algoritma Machine Learning dengan Bagging dan AdaBoost untuk skenario missing value dihapus didapatkan metode Bagging dapat meningkatkan performa model algoritma Naïve Bayes, SVM, KNN, dan Decision Tree. Sedangkan untuk metode AdaBoost hanya dapat meningkatkan performa model algoritma Decision Tree. Adapun untuk hasil dari penerapan optimasi algoritma Machine Learning dengan Bagging dan AdaBoost untuk skenario missing value menggunakan nilai mean didapatkan metode Bagging dapat meningkatkan performa model algoritma Naïve Bayes, SVM, dan Decision Tree. Sedangkan untuk metode AdaBoost hanya dapat meningkatkan performa model algoritma Decision Tree. Sehingga dapat dilihat bahwa penerapan metode Bagging untuk optimasi algoritma Machine Learning terbukti lebih unggul daripada metode AdaBoost. Adapun faktor-faktor yang berpengaruh terhadap hasil optimasi algoritma Machine Learning dengan metode Bagging dan AdaBoost antara lain karakteristik dan kualitas dataset, pembagian data atau split data yang tepat, dan kecocokan algoritma yang digunakan