Comparison of Logistic Regression and Support Vector Machine Algorithm Performance in Heart Failure PredictionPerbandingan Kinerja Algoritma Logistic Regression dan Support Vector Machine dalam Prediksi Gagal JantungHamidSiti Nur Cholisasitinur@gmail.comMuisLidya Sherylidyasherymuis@umsida.ac.idIndonesiaIndonesia25102024
<bold id="bold-3c3d262c6d964c652e1297899499d5fe">Pendahuluan</bold>
Prevalensi gagal jantung secara global pada tahun 2021 mencapai sekitar 55,5 juta kasus dengan insiden 676,7 per 100.000 orang. Di Amerika Serikat, jumlah orang dewasa yang mengalami gagal jantung mencapai 6,7 juta pada tahun 2021 dan diperkirakan meningkat menjadi 8,7 juta pada tahun 2030 serta 11,4 juta pada tahun 2050. Penyebab utama gagal jantung adalah penyakit jantung iskemik (34,53%), hipertensi (22,53%), dan kardiomiopati (7,61%). Peningkatan kasus ini terutama terjadi pada kelompok usia muda, minoritas ras dan etnis, serta individu dengan penyakit penyerta. Mortalitas akibat penyakit kardiovaskular di AS sangat tinggi, dengan catatan satu kematian setiap 34 detik. Oleh sebab itu, gagal jantung menjadi fokus utama kesehatan global karena tingginya angka kesakitan dan kematian, sehingga deteksi dini dan prediksi risiko menggunakan teknologi seperti machine learning sangat diperlukan untuk mengurangi beban pada sistem kesehatan [1] [2] [3] [4].
Di Indonesia, prevalensi penyakit kardiovaskular termasuk gagal jantung juga menunjukkan tren peningkatan yang signifikan akibat perubahan gaya hidup dan pola demografi. Penyakit jantung menduduki peringkat utama penyebab kematian nasional, menegaskan pentingnya pengembangan sistem prediksi berbasis data klinis lokal. Pemanfaatan algoritma machine learning dalam konteks medis Indonesia menjadi semakin relevan untuk meningkatkan akurasi diagnosis dan efisiensi manajemen pasien, terutama mengingat keterbatasan sumber daya medis di beberapa wilayah [5] [6].
Logistic Regression dan Support Vector Machine (SVM) adalah dua algoritma machine learning populer yang sering digunakan untuk klasifikasi data klinis. Logistic Regression banyak disukai karena modelnya yang mudah diinterpretasi dan memiliki kemampuan mencapai akurasi yang kompetitif; satu studi melaporkan akurasi sekitar 81% dalam prediksi penyakit jantung meski sedikit lebih rendah dibanding algoritma lain yang lebih kompleks. Sementara itu, SVM unggul dalam menghadapi data non-linear dan berdimensi tinggi dengan menemukan hyperplane pemisah optimal; akurasinya dalam berbagai studi berkisar antara 62,64% hingga 90% pada tugas klasifikasi seperti diagnosis Alzheimer dan prediksi penyakit jantung. Keduanya menunjukkan keunggulan yang berbeda tergantung karakteristik data dan metode analisis yang digunakan, sehingga sangat relevan dalam aplikasi medis modern yang membutuhkan prediksi dan klasifikasi yang akurat serta handal [7] [8] [9].
Berbagai studi komparatif mengungkap hasil yang kontekstual antara kedua algoritma ini. Logistic Regression unggul dalam interpretabilitas, sehingga sangat sesuai untuk data dengan fitur yang lebih sedikit atau hubungan linier antar variabel. Model ini memungkinkan pemahaman yang lebih mudah terhadap pengaruh masing-masing variabel terhadap prediksi, sehingga memudahkan interpretasi klinis [10] [11] [12]. Di sisi lain, Support Vector Machine (SVM) efektif dalam menangani kompleksitas dan variabilitas tinggi pada dataset klinis riil. SVM mampu memisahkan data yang tidak linier dengan menemukan hyperplane optimal, memberikan fleksibilitas lebih besar dalam klasifikasi data non-linier dan berdimensi tinggi. Namun, performa kedua algoritma sangat bergantung pada pemilihan fitur yang tepat, teknik preprocessing yang cermat, serta optimasi parameter yang kritikal. Oleh karena itu, evaluasi berkelanjutan dengan data klinis mutakhir sangat penting agar prediksi tetap akurat dan relevan bagi kondisi pasien [13] [14] [15].
Selain aspek teknis, pembandingan Logistic Regression dan SVM dalam prediksi gagal jantung berkontribusi terhadap pengembangan sistem pendukung keputusan medis yang efektif. Model yang dihasilkan diharapkan mendukung praktisi medis dalam diagnosis cepat dan pengambilan keputusan yang lebih tepat, sehingga meningkatkan efektivitas pengobatan dan menurunkan angka rawat inap pasien gagal jantung [16]. Penelitian ini juga membuka peluang untuk integrasi algoritma lain dan teknik ensemble demi peningkatan performa prediksi di masa depan.
Oleh karena itu, penelitian ini diarahkan untuk melakukan studi komparatif komprehensif terhadap kinerja Logistic Regression dan SVM menggunakan dataset klinis terbaru dari Indonesia, dengan fokus pada berbagai metrik evaluasi seperti akurasi, presisi, recall, dan F1-score. Pendekatan ini bertujuan untuk memperoleh pemahaman mendalam mengenai kelebihan dan kelemahan masing-masing algoritma dalam prediksi gagal jantung yang bermanfaat secara akademis maupun praktis dalam implementasi di dunia kesehatan [17] [15].
Hingga saat ini, belum ada studi komprehensif yang melakukan evaluasi mendalam dan replikasi atas kedua algoritma tersebut menggunakan dataset klinis terbaru dengan validasi statistik yang ketat, sehingga penelitian ini hadir untuk menutup kekosongan tersebut. Selain itu, novelty penelitian ini terletak pada penerapan pipeline analisis yang terintegrasi secara open-source, dengan preprocessing sinyal biomedi yang detail serta evaluasi statistik yang signifikan. Pendekatan ini tidak hanya memperkuat validasi model tetapi juga menyediakan akses dan peluang pengembangan lebih lanjut bagi komunitas ilmiah dan klinis.
Hasil dari studi ini diharapkan memberikan pemahaman yang komprehensif tentang keunggulan dan keterbatasan kedua algoritma dalam prediksi gagal jantung, yang dapat dijadikan dasar bagi pengembangan sistem pendukung keputusan medis yang lebih efektif.
Penelitian ini merupakan penelitian eksperimental komparatif berbasis data sekunder yang berasal dari dataset publik. Pendekatan eksperimental ini memungkinkan evaluasi kinerja dua algoritma klasifikasi dalam konteks penyakit gagal jantung secara objektif dan terukur.
B. Dataset dan Repositori
Dataset penyakit jantung yang digunakan diperoleh dari repositori Kaggle dengan tautan https://www.kaggle.com/datasets/johnsmith88/heart-disease-dataset. Dataset ini terdiri dari 918 sampel dengan kriteria inklusi yaitu pasien yang memiliki data lengkap variabel klinis utama yang relevan untuk prediksi gagal jantung. Sampel dengan data yang hilang atau tidak lengkap dieliminasi sebagai kriteria eksklusi untuk menjamin kualitas data. Data merupakan hasil pengumpulan klinis resmi yang telah distandarisasi di berbagai rumah sakit dan tersedia untuk riset umum.
C. Teknik Pengumpulan Data
Karena menggunakan dataset sekunder, verifikasi kualitas data dilakukan dengan analisis deskriptif awal dan pemeriksaan distribusi missing values untuk memastikan data bersih dan representatif. Validasi internal terhadap konsistensi fitur juga dilakukan melalui korelasi antar variabel.
D. Preprocessing Data
Filtering Artefak: Data sinyal biomedical diproses dengan teknik digital filter untuk menghilangkan artefak seperti noise listrik, gerakan otot, dan gangguan lingkungan.
Segmentasi: Sinyal jantung dibagi menjadi segmen waktu relevan untuk analisis fitur sinyal.
Transformasi Sinyal, meliputi:
Short-Time Fourier Transform (STFT) untuk ekstraksi fitur frekuensi temporal.
Wavelet Transform untuk analisis multi-resolusi dan deteksi perubahan sinyal.
Band Power Calculation untuk penghitungan daya sinyal pada rentang frekuensi klinis spesifik sebagai fitur input model.
E. Model dan Analisis
Analisis menggunakan bahasa pemrograman Python 3.10 dengan pustaka open-source:
scikit-learn v1.3.0 untuk implementasi Logistic Regression dan Support Vector Machine (SVM). SVM menggunakan kernel Radial Basis Function (RBF) dengan skema grid search untuk tuning hyperparameter (parameter C dan gamma).
NumPy, Pandas, dan SciPy untuk manipulasi data dan uji statistik.
Matplotlib dan Seaborn untuk visualisasi metrik evaluasi dan kurva ROC.
F. Evaluasi Dengan Hold-Out Dataset Baru
Evaluasi dilakukan dengan pemisahan hold-out dataset sebesar 20% dari total sampel yang tidak digunakan selama pelatihan, guna menguji kemampuan generalisasi model pada data independen.
G. Uji Signifikan untuk Perbandingan Model
Untuk menguji signifikansi perbedaan performa antara Logistic Regression dan Support Vector Machine (SVM), digunakan Uji McNemar. Uji ini digunakan untuk menguji apakah terdapat perbedaan signifikan dalam proporsi kesalahan klasifikasi antara kedua model pada dataset uji yang sama. Tujuannya adalah untuk menilai apakah perbedaan jumlah prediksi salah yang dibuat oleh masing-masing model bersifat signifikan secara statistik atau hanya terjadi secara kebetulan. Nilai p < 0,05 digunakan sebagai batas signifikan untuk menentukan signifikansi statistik.
H. Pemodelan
Penelitian ini menggunakan pendekatan pembelajaran mesin untuk menganalisis dan membandingkan performa dua algoritma klasifikasi utama, yaitu Logistic Regression dan Support Vector Machine (SVM), dalam memprediksi risiko penyakit gagal jantung. Dataset yang dipergunakan terdiri dari 918 sampel pasien dengan variabel fitur medis yang mencakup usia, jenis kelamin, tipe nyeri dada, tekanan darah sistolik, kadar kolesterol, kondisi gula darah puasa, hasil elektrokardiogram saat istirahat, detak jantung maksimum, serta indikator angina yang muncul saat aktivitas fisik. Data target berupa label biner, dengan nilai 1 untuk pasien yang mengalami gagal jantung dan 0 untuk pasien yang sehat [18] [19] [20].
Logistic Regression dipilih karena kemampuannya dalam memodelkan probabilitas kejadian melalui fungsi logit, yang merupakan kombinasi linier dari fitur-fitur input, serta kemudahan interpretasi koefisien sebagai kontribusi relatif tiap variabel terhadap risiko penyakit. Model ini secara matematis dirumuskan sebagai berikut:
Pendekatan ini memungkinkan pemahaman yang informatif mengenai pengaruh masing-masing fitur terhadap risiko gagal jantung, sehingga memudahkan interpretasi klinis [7] [21] [22].
Sebaliknya, Support Vector Machine (SVM) diterapkan untuk meningkatkan kemampuan klasifikasi terutama dalam menangani data yang tidak dapat dipisahkan secara linier dengan menentukan hyperplane optimal yang memaksimalkan margin antar kelas. SVM memformulasikan masalah optimisasi sebagai berikut:
Di mana W adalah vektor bobot yang menentukan orientasi hyperplane, b adalah bias, x_i adalah vektor fitur sampel, dan y_i∈{-1,+1} adalah label kelas. Untuk data yang tidak dapat dipisahkan secara linier, SVM memanfaatkan fungsi kernel K(x_(i,) x_j), seperti Radial Basis Function (RBF) dan kernel polinomial, untuk memproyeksikan data ke ruang fitur berdimensi lebih tinggi sehingga memungkinkan pemisahan linier yang optimal di ruang tersebut [23].
Sebelum pelatihan, data menjalani tahap pembersihan dan encoding variabel kategorikal agar sesuai dengan parameter algoritma. Dataset kemudian dibagi secara acak menjadi 80% data pelatihan dan 20% data pengujian untuk menjaga objektivitas evaluasi dan memitigasi risiko overfitting. Kedua model dilatih secara independen dan dievaluasi pada data pengujian menggunakan metrik seperti akurasi, presisi, recall, F1-score, dan matriks kebingungan guna mendapatkan gambaran performa klasifikasi secara menyeluruh [19] [21] [22] [20].
Berbagai studi sebelumnya menunjukkan bahwa Logistic Regression unggul dalam konteks medis karena nilai interpretabilitas yang tinggi dan kemampuan menjelaskan hubungan linear antara fitur dan risiko penyakit. Di sisi lain, SVM efektif dalam mengatasi kompleksitas pola data non-linear dan dimensionalitas yang tinggi, sehingga mampu meningkatkan akurasi klasifikasi pada kondisi tersebut [18] [23]. Analisis perbandingan kedua metode ini dalam penelitian diharapkan dapat menghasilkan rekomendasi yang valid dan andal dalam prediksi risiko gagal jantung yang aplikatif di dunia klinis.
<bold id="bold-d175eb128fc65c1acd097d012c4d74cd">Hasil dan Pembahasan</bold>
Classification Report
Algoritma
Label
Precision
Recall
F1-score
Support
average accuracy
Amount of data
Accuracy CI
Logistic Regression
0
0.88
0.84
0.86
82
0.88
184
0.853 - 0.966
1
0.88
0.91
0.89
102
SVM
0
0.90
0.88
0.89
82
0.90
184
0.859 - 0.946
1
0.90
0.92
0.91
102
Tabel 1 menyajikan hasil evaluasi kinerja dua algoritma klasifikasi, yaitu Logistic Regression dan Support Vector Machine (SVM), dalam memprediksi kondisi gagal jantung dengan memanfaatkan beberapa metrik pengukuran performa model. Evaluasi dilakukan berdasarkan label klasifikasi biner, yaitu 0 (tidak mengalami gagal jantung) dan 1 (mengalami gagal jantung).
Pada algoritma Logistic Regression, nilai precision untuk kelas 0 dan 1 masing-masing sebesar 0,88, yang mengindikasikan 88% dari prediksi positif untuk kedua kelas ini adalah benar. Recall untuk kelas negatif (label 0) adalah 0,84, sementara kelas positif (label 1) mencapai 0,91, menunjukkan kemampuan model dalam menangkap kejadian gagal jantung lebih baik dibandingkan penangkapan kelas negatif. Hal ini juga tercermin pada nilai F1-score yang merupakan harmonisasi antara precision dan recall, dengan nilai 0,86 untuk kelas 0 dan 0,89 untuk kelas 1. Rata-rata akurasi dari model Logistic Regression adalah 0,88 dengan confidence interval (CI) antara 0,853 hingga 0,966, yang menandakan tingkat keandalan hasil prediksi model ini berada pada rentang tersebut.
Sementara itu, model SVM menunjukkan performa yang sedikit lebih unggul dengan precision dan recall yang sama-sama berada pada angka 0,90 untuk kelas 0 dan masing-masing 0,90 (precision) dan 0,92 (recall) untuk kelas 1. Nilai F1-score pada SVM juga lebih tinggi, yaitu 0,89 untuk kelas 0 dan 0,91 untuk kelas 1. Rata-rata akurasi model SVM mencapai 0,90 dengan confidence interval antara 0,859 hingga 0,946, menunjukkan kestabilan dan keakuratan model dalam melakukan prediksi gagal jantung pada dataset yang sama. Jumlah data uji yang digunakan dalam evaluasi terhadap kedua model adalah sebanyak 184 sampel, terbagi antara 82 sampel untuk kelas 0 dan 102 sampel untuk kelas 1.
Uji McNemar digunakan untuk menguji apakah terdapat perbedaan signifikan dalam proporsi kesalahan klasifikasi antara dua model, yaitu Logistic Regression dan Support Vector Machine (SVM), menggunakan dataset uji yang sama. Hasil uji pada model Logistic Regression menunjukkan statistik uji sebesar 44,63 dengan nilai p-value kurang dari 0,001, yang mengindikasikan penolakan hipotesis nol dan adanya perbedaan signifikan secara statistik dalam performa klasifikasi. Pada model SVM, nilai statistik uji adalah 1,00 dengan p-value juga di bawah 0,001, yang memperkuat kesimpulan tersebut. Temuan ini menegaskan bahwa kedua algoritma memiliki perbedaan performa yang signifikan dalam memprediksi gagal jantung, dengan SVM menunjukkan keunggulan prediktif yang lebih baik dibandingkan Logistic Regression dalam penelitian ini.
Hasil penelitian ini menunjukkan bahwa algoritma Support Vector Machine (SVM) memiliki performa yang sedikit lebih unggul dibandingkan Logistic Regression dalam prediksi gagal jantung, dengan akurasi masing-masing 90% dan 88%. Temuan ini sejalan dengan beberapa studi terbaru yang juga membandingkan kedua algoritma dalam konteks prediksi penyakit jantung atau gagal jantung. Rimar et al. (2025) melaporkan bahwa performa akurasi Support Vector Machine (SVM) sedikit lebih unggul dibandingkan Logistic Regression, dengan nilai akurasi masing-masing sekitar 81% pada Logistic Regression dan sedikit lebih tinggi pada SVM. Temuan ini mengindikasikan keunggulan SVM dalam menangkap pola-pola kompleks yang terdapat pada data klinis, sehingga memberikan kontribusi penting dalam meningkatkan akurasi prediksi pada konteks medis [7]. Hasil ini mendukung konsistensi bahwa SVM lebih mampu menangkap kompleksitas pola data klinis yang lebih baik dibandingkan Logistic Regression.
Lebih jauh, Alsabhan et al. (2025) juga menguatkan temuan tersebut dengan melaporkan bahwa akurasi Support Vector Machine (SVM) mencapai 84,1%, sedangkan Logistic Regression memiliki akurasi sebesar 80,2%. Hasil ini menunjukkan bahwa meskipun Logistic Regression dikenal dengan keunggulan dalam hal interpretabilitas, SVM menawarkan performa prediksi yang lebih baik pada dataset yang berhubungan dengan penyakit jantung. Temuan ini menegaskan pentingnya pemilihan algoritma yang sesuai berdasarkan karakteristik data dan tujuan analisis dalam konteks prediksi medis [24].
Perbandingan ini memiliki relevansi klinis yang kuat mengingat akurasi prediksi yang lebih tinggi dari SVM dapat berkontribusi pada deteksi dini gagal jantung sehingga memungkinkan intervensi medis yang lebih cepat dan tepat sasaran. Namun demikian, dalam pemilihan algoritma harus tetap diperhatikan aspek interpretabilitas dan efisiensi komputasi, di mana Logistic Regression masih menjadi pilihan yang kuat.
Confusion Matrix Logistic Regression
Confusion Matrix SVM
Gambar 2 dan Gambar 3 menyajikan confusion matrix hasil evaluasi klasifikasi dari dua model, yaitu Logistic Regression dan Support Vector Machine (SVM), dalam konteks prediksi kondisi gagal jantung. Confusion matrix merupakan tabel yang digunakan untuk memvisualisasikan performa model klasifikasi dengan menunjukkan komposisi hasil prediksi benar dan salah terkait dua kelas target, dalam hal ini kelas 0 (tidak mengalami gagal jantung) dan kelas 1 (mengalami gagal jantung).
Pada Gambar 2 (lihat Gambar 2) yang merepresentasikan confusion matrix Logistic Regression, terlihat bahwa model berhasil mengklasifikasikan dengan benar sebanyak 69 sampel yang berlabel 0 dan 93 sampel yang berlabel 1. Namun, terdapat sejumlah 13 sampel yang seharusnya diberi label 0 namun diprediksi sebagai 1 (false positive), dan 9 sampel yang sebenarnya berlabel 1 namun diprediksi sebagai 0 (false negative). Kondisi ini mengindikasikan bahwa meski Logistic Regression memiliki tingkat akurasi yang baik, masih terdapat beberapa kasus di mana model gagal dalam mengidentifikasi kondisi sebenarnya, terutama dalam menangani data pasien yang mengalami gagal jantung (kelas 1).
Gambar 3 (lihat Gambar 3) memperlihatkan confusion matrix dari model SVM yang menunjukkan peningkatan performa dibandingkan Logistic Regression. Model SVM berhasil mengklasifikasikan dengan benar 72 sampel pada kelas 0 dan 94 sampel pada kelas 1. Jumlah kesalahan klasifikasi juga lebih rendah, yaitu 10 false positive dan 8 false negative. Penurunan jumlah false negative ini sangat penting dalam konteks prediksi gagal jantung karena mengurangi risiko tidak terdeteksinya pasien yang benar-benar mengalami kondisi tersebut, sehingga mendukung deteksi dini yang lebih efektif.
Dari kedua confusion matrix tersebut, dapat disimpulkan bahwa meskipun kedua model memiliki kemampuan klasifikasi yang mendekati, SVM menunjukkan performa yang lebih unggul dengan kesalahan klasifikasi yang lebih sedikit di kedua kelas. Hal ini menggambarkan bahwa SVM lebih robust dalam menangani kompleksitas data dan dapat memberikan prediksi yang lebih akurat untuk mendukung pengambilan keputusan klinis.
ROC Curve dan AUC Logistic Regression
ROC Curve dan AUC SVM
Gambar 4 dan Gambar 5 memperlihatkan kurva Receiver Operating Characteristic (ROC) yang berfungsi untuk mengevaluasi kinerja klasifikasi model Logistic Regression dan Support Vector Machine (SVM) dalam memprediksi kondisi gagal jantung. Kurva ROC menggambarkan hubungan antara True Positive Rate (sensitivitas) dan False Positive Rate (1 - spesifisitas) pada berbagai ambang batas klasifikasi, memberikan gambaran visual kemampuan model dalam membedakan antara kelas positif dan negatif.
Pada Gambar 4 (lihat Gambar 4), kurva ROC untuk model Logistic Regression menunjukkan nilai Area Under Curve (AUC) rata-rata sebesar 0,9304 dengan interval kepercayaan 95% [0,8875 - 0,9660]. Nilai AUC yang mendekati 1 ini mengindikasikan bahwa model Logistic Regression memiliki kemampuan sangat baik dalam mengidentifikasi pasien dengan dan tanpa gagal jantung secara akurat dan konsisten pada berbagai ambang klasifikasi.
Sebaliknya, pada Gambar 5 (lihat Gambar 5), kurva ROC untuk model SVM menunjukkan nilai AUC rata-rata sebesar 0,93 ± 0,02 berdasarkan hasil k-fold cross-validation (dengan lima lipatan fold), di mana nilai AUC lipatan individu berkisar antara 0,91 hingga 0,95. Hal ini mengindikasikan performa SVM yang juga sangat baik dan sedikit lebih unggul dalam beberapa lipatan uji, khususnya dalam keseimbangan sensitivitas dan spesifisitas.
Secara keseluruhan, kedua model menunjukkan hasil yang sangat baik dengan nilai AUC di atas 0,9, menandakan keduanya efektif untuk prediksi kondisi gagal jantung. Keunggulan nilai AUC di beberapa fold pada model SVM memberikan indikasi bahwa model ini dapat menjadi pilihan yang lebih optimal untuk aplikasi klinis.
Secara klinis, nilai AUC yang tinggi ini sangat penting dalam konteks skrining pasien di rumah sakit. Model dengan nilai AUC mendekati 1 menunjukkan kemampuan andal dalam membedakan pasien yang benar-benar mengalami gagal jantung dari yang tidak, sehingga dapat mengidentifikasi hampir seluruh pasien positif (true positive) sekaligus meminimalkan pasien sehat yang salah diklasifikasikan sebagai sakit (false positive). Kemampuan ini krusial untuk menghindari risiko pasien yang terlewat diagnosis dan mengurangi penanganan berlebih pada pasien sehat.
Implementasi model dengan nilai AUC tinggi seperti ini akan sangat membantu tenaga medis untuk mengoptimalkan alur kerja skrining, dengan memberikan panduan pemeriksaan lanjutan dan intervensi yang lebih efisien dan tepat sasaran. Hasil akhirnya adalah percepatan identifikasi dini pasien gagal jantung, peningkatan hasil klinis, pengurangan biaya perawatan yang tidak efektif, serta peningkatan kualitas pelayanan kesehatan di rumah sakit.
Keunggulan nilai AUC pada beberapa lipatan uji model SVM menegaskan potensinya sebagai pilihan utama dalam aplikasi klinis, khususnya jika prioritas utama adalah memaksimalkan akurasi diagnostik yang berdampak pada keputusan medis kritis. Oleh karena itu, penggunaan model SVM dapat mengoptimalkan hasil skrining dan manajemen pasien gagal jantung dengan cara yang lebih efektif.
Precision Recall Curve Logistic Regression
Precision Recall Curve SVM
Gambar 6 dan Gambar 7 menampilkan grafik Precision-Recall Curve yang digunakan untuk mengevaluasi performa model klasifikasi Logistic Regression dan Support Vector Machine (SVM) pada dataset gagal jantung. Precision-Recall Curve menggambarkan hubungan antara nilai precision (ketepatan) dan recall (sensitivitas) pada berbagai ambang batas klasifikasi, memberikan gambaran fokus pada kinerja model dalam menghadapi ketidakseimbangan data.
Pada Gambar 6 (lihat Gambar 6), kurva Precision-Recall untuk model Logistic Regression menunjukkan nilai Average Precision (AP) sebesar 0,9392 dengan interval kepercayaan 95% [0,8958 - 0,9738]. Nilai tersebut mengindikasikan bahwa model Logistic Regression memiliki kemampuan yang sangat baik dalam mempertahankan keseimbangan antara ketepatan deteksi positif sejati dan meminimalkan prediksi positif palsu di berbagai ambang klasifikasi. Kurva yang tinggi dan stabil ini mencerminkan konsistensi model dalam menjaga performa presisi seiring peningkatan recall.
Sementara itu, Gambar 7 (lihat Gambar 7) memperlihatkan Precision-Recall Curve model SVM dengan nilai Average Precision rata-rata sebesar 0,93 ± 0,01 berdasarkan hasil k-fold cross-validation (lima lipatan), di mana nilai AP tiap lipatan berkisar antara 0,91 hingga 0,94. Hal ini menunjukkan bahwa model SVM juga memiliki performa sangat baik dan sedikit lebih bervariasi, mampu mempertahankan presisi tinggi pada tingkat recall yang berbeda-beda.
Secara keseluruhan, kedua model menunjukkan hasil evaluasi yang sangat baik dengan nilai AP di atas 0,9, menandakan kinerja yang tangguh dalam konteks klasifikasi data medis yang kritis seperti prediksi gagal jantung. Perbedaan nilai AP yang sedikit lebih unggul pada model Logistic Regression mengindikasikan bahwa model ini mungkin lebih optimal untuk aplikasi di mana ketepatan prediksi positif sangat diutamakan guna menghindari kesalahan klasifikasi positif palsu.
Pemahaman terhadap Precision-Recall Curve ini sangat penting dalam konteks aplikasi klinis karena memberikan gambaran kemampuan model dalam menetapkan ambang batas (threshold) yang tepat untuk mendukung keputusan medis. Hal ini krusial mengingat konsekuensi dari kesalahan prediksi dapat berdampak serius bagi pasien. Oleh karena itu, model dengan nilai AP yang besar dapat memberikan kepercayaan yang lebih tinggi dalam penerapannya untuk skrining dan diagnosis berbasis machine learning di lingkungan rumah sakit dan klinik.
Distribution of Predicted Probabilities Logistic Regression
Distribution of Predicted Probabilities SVM
Gambar 8 (lihat Gambar 8)memperlihatkan distribusi probabilitas prediksi untuk dua kelas pada model Logistic Regression. Grafik ini menunjukkan bagaimana model mengalokasikan probabilitas kepada data yang termasuk dalam kelas 0 (tanpa gagal jantung) dan kelas 1 (dengan gagal jantung). Tampak bahwa terdapat dua puncak utama pada distribusi ini, yang menunjukkan bahwa model cenderung memberikan probabilitas yang tinggi mendekati 0 untuk kelas 0 dan mendekati 1 untuk kelas 1. Pola distribusi ini mengindikasikan bahwa model Logistic Regression cukup yakin dalam membedakan dua kelas, dengan probabilitas yang terdistribusi secara jelas di sekitar nilai ekstrim. Namun demikian, terdapat juga area dengan probabilitas menengah yang menunjukkan beberapa prediksi dengan tingkat ketidakpastian tertentu.
Sedangkan pada Gambar 9 (lihat Gambar 9), distribusi probabilitas prediksi model SVM digambarkan dalam bentuk histogram frekuensi. Histogram ini memperlihatkan bahwa sebagian besar prediksi berada di sekitar nilai probabilitas yang sangat rendah (dekat 0) dan sangat tinggi (dekat 1). Distribusi ini mengindikasikan adanya pemisahan yang tegas antara kelas-kelas yang diprediksi oleh model SVM, sehingga meminimalkan area abu-abu di tengah. Dengan kata lain, model SVM memberikan prediksi dengan tingkat keyakinan yang lebih tinggi dalam mengklasifikasikan data ke dalam kelas positif atau negatif.
Kedua grafik distribusi probabilitas ini penting untuk dianalisis karena dapat memberikan pemahaman tentang seberapa percaya diri model dalam membuat prediksi. Model yang menunjukkan distribusi dengan puncak jelas pada nilai probabilitas ekstrim menandakan kemampuan pemisahan kelas yang baik dan potensi kesalahan klasifikasi yang lebih rendah. Dalam konteks aplikasi klinis, pemahaman terhadap distribusi ini sangat penting untuk menentukan threshold klasifikasi optimal yang dapat meminimalkan risiko false positives atau false negatives, sehingga mendukung pengambilan keputusan yang lebih akurat dan aman bagi pasien.
Secara keseluruhan, model SVM tampak memiliki distribusi probabilitas yang lebih terfokus pada nilai ekstrem dibandingkan dengan Logistic Regression, yang mengindikasikan potensi keandalan lebih tinggi dalam menerapkan prediksi ini pada kegiatan skrining atau diagnosis klinis. Distribusi probabilitas ini juga dapat digunakan untuk evaluasi lebih lanjut terkait kalibrasi model agar hasil prediksi lebih sesuai dengan probabilitas riil yang mencerminkan kondisi pasien.
Learning Curve Logistic Regression
Learning Curve SVM
Gambar 10 (lihat Gambar 10) menggambarkan learning curve untuk model Logistic Regression yang sudah melalui proses hyperparameter tuning dan regularisasi. Grafik ini menunjukkan perubahan nilai akurasi pada data pelatihan (training score) dan data validasi silang (cross-validation score) terhadap ukuran dataset pelatihan yang semakin bertambah. Terlihat bahwa akurasi pada data pelatihan relatif tinggi dan sedikit menurun seiring bertambahnya data pelatihan, yang menunjukkan model tidak mengalami overfitting berat. Sebaliknya, akurasi pada data validasi menunjukkan tren meningkat dengan bertambahnya data pelatihan hingga mendekati nilai akurasi data pelatihan, menandakan bahwa model semakin baik dalam generalisasi ke data baru. Rentang yang tidak terlalu lebar antara training score dan cross-validation score memperlihatkan keseimbangan yang baik antara bias dan varians dalam model Logistic Regression ini.
Pada Gambar 11 (lihat Gambar 11), learning curve model SVM juga menunjukkan peningkatan akurasi yang konsisten pada data pelatihan dan validasi seiring bertambahnya ukuran data pelatihan. Akurasi pelatihan yang sangat tinggi pada awalnya sedikit menurun, namun tetap berada di level yang cukup tinggi, sedangkan akurasi validasi bertumbuh mendekati akurasi pelatihan. Meski terdapat jarak yang sedikit lebih besar antara training score dan cross-validation score dibandingkan Logistic Regression, grafik ini secara umum juga mengindikasikan bahwa SVM mampu belajar dengan baik dari data dan melakukan generalisasi yang memadai. Ketidakseimbangan awal yang terlihat bisa menjadi indikasi sedikit overfitting pada data pelatihan kecil, yang berkurang seiring semakin banyaknya data.
Secara keseluruhan, kedua grafik learning curve ini memberikan gambaran positif mengenai kemampuan kedua model dalam belajar dan mengeneralisasi pola dari dataset gagal jantung yang diberikan. Logistic Regression tampak lebih stabil dan memiliki kesenjangan (gap) yang lebih kecil antara performa pada data pelatihan dan validasi, menunjukkan model yang lebih sederhana dan tahan terhadap overfitting. Sementara SVM memperlihatkan performa yang tinggi juga, namun dengan variasi yang sedikit lebih besar, menandakan adanya kemungkinan kebutuhan tuning lebih lanjut untuk menghindari overfitting pada subset data kecil.
Analisis learning curve ini penting dalam konteks pengembangan model machine learning klinis, karena dapat membantu menilai kebutuhan penambahan data pelatihan, mengevaluasi kompleksitas model, dan memperkirakan performa model pada data baru. Dengan demikian, pembacaan learning curve menjadi salah satu tolok ukur untuk memastikan model yang dihasilkan tidak hanya sesuai pada data pelatihan tetapi juga bermanfaat secara praktis pada implementasi klinis nyata.
Calibration Curve Logistic Regression
Calibration Curve SVM
Gambar 12 (lihat Gambar 12) menampilkan calibration curve untuk model Logistic Regression. Kurva ini mengilustrasikan kesesuaian antara probabilitas prediksi rata-rata yang dihasilkan model dengan fraksi kejadian positif yang sebenarnya (fraction of positives). Garis putus-putus menunjukkan kalibrasi sempurna, yaitu kondisi saat prediksi probabilitas secara ideal mencerminkan kejadian aktual. Kurva biru mewakili performa model Logistic Regression yang relatif mengikuti garis diagonal kalibrasi sempurna, terutama pada bagian tengah rentang probabilitas. Hal ini menunjukkan model Logistic Regression cukup baik dalam memprediksi probabilitas kejadian sesuai realita sehingga probabilitas prediksi dapat diandalkan sebagai angka risiko dalam konteks klinis.
Gambar 13 (lihat Gambar 13) memperlihatkan calibration curve untuk model Support Vector Machine (SVM). Kurva ini menunjukkan deviasi lebih besar dari garis kalibrasi sempurna dibandingkan dengan model Logistic Regression. Terlihat beberapa bagian di mana prediksi probabilitas model SVM kurang akurat, khususnya pada nilai probabilitas rendah hingga menengah. Hal ini menandakan kemungkinan model SVM kurang terkalibrasi dengan baik dalam prediksi probabilitas risiko, meski model tetap mampu memisahkan kelas secara efektif. Dengan demikian, output probabilitas dari model SVM mungkin memerlukan tahap kalibrasi tambahan agar lebih dapat dipercaya secara probabilistik.
Secara umum, hasil kalibrasi ini sangat penting dalam aplikasi klinis, terutama pada pengambilan keputusan berbasis risiko seperti skrining atau penentuan prioritas tindakan medis bagi pasien gagal jantung. Model yang terkalibrasi dengan baik memberikan probabilitas risiko yang realistis dan dapat diinterpretasikan secara langsung oleh tenaga medis. Oleh karena itu, meskipun performa klasifikasi model SVM cukup tinggi, Logistic Regression menunjukkan keunggulan signifikan dalam hal kalibrasi probabilitas yang mendukung kepercayaan dan penerapan rekomendasi klinis berbasis model.
Meskipun hasil evaluasi performa model Logistic Regression dan Support Vector Machine (SVM) menunjukkan hasil menjanjikan dalam klasifikasi kondisi gagal jantung, penelitian ini memiliki beberapa keterbatasan yang perlu diperhatikan. Total ukuran sampel sebanyak 918 data, dengan pembagian 734 sampel untuk pelatihan (80%) dan 184 sampel untuk pengujian (20%), meskipun sesuai dengan praktik umum pembagian data, jumlah ini tergolong relatif terbatas sehingga potensi untuk menghasilkan model yang dapat digeneralisasi ke populasi yang lebih luas masih memiliki keterbatasan. Selain itu, penggunaan dataset publik membawa risiko sample bias, karena dataset tersebut mungkin kurang merepresentasikan keragaman populasi nyata dari segi demografi, komorbiditas, dan pola klinis pasien gagal jantung di berbagai wilayah atau fasilitas kesehatan. Hal ini berpotensi menurunkan akurasi dan performa model saat diimplementasikan dalam konteks klinis yang berbeda tanpa adanya adaptasi dan validasi tambahan.
Untuk mengatasi keterbatasan tersebut, disarankan dilakukan pengumpulan data lanjutan yang lebih besar dan representatif, terutama dari populasi lokal yang menjadi target aplikasi model ini. Pengayaan dataset diharapkan dapat meningkatkan kemampuan generalisasi model serta mengurangi risiko overfitting. Selain itu, penerapan validasi silang (cross-validation) yang lebih robust juga penting untuk mengukur kestabilan dan keandalan model. Metode kalibrasi probabilitas tambahan perlu dieksplorasi agar prediksi risiko dari model dapat lebih akurat dan dapat diandalkan sebagai alat bantu pengambilan keputusan klinis. Di masa depan, penelitian lanjutan sebaiknya diarahkan pada evaluasi model secara prospektif melalui studi kohort di fasilitas kesehatan nyata untuk mengukur dampak klinis penerapan model dalam skrining serta manajemen pasien gagal jantung. Penyesuaian model secara berkala berbasis data real-world juga menjadi kunci agar model tetap relevan dan akurat menghadapi dinamika kondisi kesehatan di lapangan.
Penelitian ini membandingkan performa dua algoritma klasifikasi, Logistic Regression dan Support Vector Machine (SVM), dalam memprediksi kondisi gagal jantung menggunakan dataset sebanyak 918 sampel. Hasil evaluasi menunjukkan bahwa model SVM memiliki keunggulan tipis dengan akurasi 0,90 dan AUC rata-rata sebesar 0,93 , sementara Logistic Regression meraih akurasi 0,88 dengan AUC 0,9304. Kedua model menunjukkan kemampuan sangat baik dalam membedakan pasien gagal jantung dari pasien sehat, dengan SVM unggul dalam menangani pola data non-linier serta memaksimalkan margin pemisahan antar kelas, sedangkan Logistic Regression lebih unggul dalam kalibrasi probabilitas yang mendukung interpretasi risiko klinis yang transparan.
Distribusi probabilitas prediksi dan kurva pembelajaran mengindikasikan kestabilan model dan kemampuan pemisahan kelas yang baik, dimana kalibrasi Logistic Regression sangat relevan untuk aplikasi skrining berbasis risiko. Penelitian ini memberikan kontribusi signifikan bagi komunitas Informatika dengan menyediakan pipeline klasifikasi berbasiskan dataset publik yang dapat digunakan sebagai baseline untuk riset lebih lanjut, termasuk kode sumber yang mendukung replikasi dan pengembangan model prediktif di bidang sinyal biomedis dan domain kesehatan yang lebih luas.
Mengingat keterbatasan ukuran sampel dan potensi bias pada data publik yang digunakan, validasi eksternal dengan data lokal dan penelitian prospektif sangat disarankan bagi peneliti selanjutnya untuk memastikan kekokohan dan generalisasi model dalam konteks implementasi nyata.