Confused Matrix untuk Evaluasi Kinerja Sistem Klasifikasi: Teori dan Ilustrasi

Table of Contents

Tidak sedikit diantara mahasiswa ilmu komputer yang sudah berpuas diri hanya karena berhasil merancang bangun sistem klasifikasi menggunakan algoritma tertentu. Apalagi jika algoritma sudah ditanamkan dalam program. Seakan-akan proses penelitian sudah selesai. Misalnya saja ada Algoritma K-Neareast Neighbor, Naive Bayes, Decision Tree yang populer digunakan mahasiswa. Padahal ada tahap penting yang harus dilalui setelahnya, yakni mengevaluasi kinerja sistem klasifikasi.  

Ada juga yang memelas, "Pak, jangankan bikin evaluasi sistem, ngoding algoritmanya saja susah, Pak!"

"Tenangkan dirimu wahai anak muda! Jangan risau dan gundah gulana. Bikin evaluasinya lebih mudah daripada ngoding."

Mengapa mengetahui kinerja sistem klasifikasi ini penting? Tidak dapat dipungkiri bahwa sistem klasifikasi tidak bisa bekerja 100% benar. Jika memang terjadi hasil klasifikasi adalah 100% benar, ada dua kemungkinan: 1) Algoritmanya sangat cerdas, atau 2) dataset-nya yang sengaja di-setting agar hasilnya bagus. Berdasarkan pengalaman selama ini, saya lebih condong memilih kemungkinan yang kedua. Karena dataset yang rill diambil dari pengamatan lapangan, memunculkan banyak problema. Khususnya sistem klasifikasi yang tidak mampu bekerja 100% benar. 

Umumnya, kinerja sistem klasifikasi bisa diukur menggunakan confused matrix. Istilah confused matrix ini memang keren. Namun kalau dialihbahasakan, menjadi rancu dan membingungkan. Confused matrix artinya matriks kebingungan. Lha wong matriksnya saja kebingungan, maka pantas jika mahasiswa mengeluh kebingungan jika menggunakan confused matrix. 

Selain saya menyarankan mahasiswa untuk selalu sedia Paramex, saya juga berikhtiar untuk menuliskan penjelasan yang disertai contoh. Semoga mengobati kebingungan. 

Confused matrix merupakan tabel yang mencatat hasil kerja klasifikasi. Bisa saja sistem klasifikasi memiliki lebih dari dua kelas. Artikel ini hanya membahas evaluasi kinerja sistem klasifikasi untuk klasifikasi dua kelas, true (1) dan false (0). Ilustrasi confusion matrix-nya ditunjukkan pada Gambar 1.

Gambar 1. Confusion matrix untuk klasifikasi 2 kelas

Sebelum membahas Gambar 1 lebih jauh, kita refresh ingatan dahulu. Dataset, pastinya minimal dibagi menjadi data latih (training) dan data uji (testing). Nah, sebelum data uji dijadikan masukan sistem, sebelumnya pasti memiliki nilai actual atau nilai sebenarnya. Yang nilai kelasnya sudah pasti kebenarannya, entah true (1) atau false (0). Kemudian, data uji secara khusus digunakan untuk menguji kinerja sistem hingga memperoleh hasil klasifikasi, inilah yang disebut nilai predicted.  Hasilnya juga true (1) atau false (0).   

Bagaimana hubungan antara actual dan predicted? Alhamdulillah, baik-baik saja. 

Hubungan antara actual dan predicted dinyatakan dalam empat keadaan:

1. True Positive (TP) adalah nilai positif benar, artinya nilai prediksi sama dengan nilai sebenarnya.
2. False Positive (FP) adalah nilai positif palsu, artinya nilai sebenarnya adalah "0" tetapi diprediksi sebagai "1".
3. True Negative (TN) adalah nilai negatif benar, berarti nilai sebenarnya adalah "0" dan sistem memprediksinya juga sama.
4. False Negative (FN) adalah nilai negatif palsu, artinya nilai sebenarnya adalah "1" tetapi diprediksi "0".

Evaluasi kinerja sistem yang bisa didapatkan melalui confusion matrix diantaranya:

Akurasi (Accuracy), merupakan tingkat kedekatan nilai prediksi dengan nilai sebenarnya. Akurasi juga  didefinisikan sebagai perbandingan jumlah data yang diprediksi secara benar terhadap total jumlah data. Akurasi dirumuskan dengan (TP + TN) / (TP + TN + FP + FN). 

Presisi (Precision) adalah ketepatan, yakni menunjukkan sejauh mana sistem klasifikasi dalam kondisi yang tidak berubah untuk mendapatkan hasil yang sama ketika terdapat pengulangan. Presisi ini penting karena sistem klasifikasi bisa saja akurat dan tepat, atau akurat tetapi tidak tepat, atau tepat tetapi tidak akurat atau tidak tepat dan tidak akurat. Presisi dirumuskan dengan TP / (TP + FP).

Sensitivitas (Sensitiviy) berhubungan dengan kemampuan pengujian untuk mengidentifikasi hasil yang positif dari sejumlah data yang sebenarnya positif. Dirumuskan dengan TP / (TP + FN).

Spesifisitas (Specificity) berhubungan dengan kemampuan pengujian untuk mengidentifikasi hasil yang negatif dari sejumlah data yang sebenarnya negatif. Dirumuskan dengan TN / (TN + FP).

Oke, langsung kita ujicoba dengan studi kasus ya!

Misalnya, saya punya topik penelitian berjudul DETEKSI DINI COVID-19 MELALUI CITRA CT-SCAN PARU-PARU MENGGUNAKAN ALGORITMA K-NN DENGAN KOMPARASI JARAK. 

Dataset menggunakan 100 citra CT-Scan paru-paru, yang bibagi menjadi 50 citra CT-Scan paru-paru untuk positif Covid-19 serta 50 citra CT-Scan paru-paru untuk negatif Covid-19. 

50 citra CT-Scan paru-paru positif Covid-19, dipilah kembali menjadi 30 data latih dan 20 data uji. Begitu juga dengan 50 citra CT-Scan paru-paru negatif Covid-19, juga dipilah menjadi 30 data latih dan 20 data uji. 

Sistem klasifikasi sudah selesai dibuat berbasis dekstop menggunakan Pemrograman Java via Netbeans 8.2. Hasilnya ditunjukkan melalui Gambar 2. 

Gambar 2. Sistem deteksi Covid-19 menggunakan Algoritma K-NN

Kemudian, data uji 20 citra CT-Scan paru-paru positif Covid-19 serta 20 citra CT-Scan paru-paru negatif Covid-19 diujicobakan dalam sistem klasifikasi. Berarti total ada 40 data uji. 

Hasilnya? pantau Gambar 3 berikut:

 

Gambar 3. Hasil ujicoba sistem klasifikasi

Kelas prediksi saya pecah menjadi tiga bagian, karena penelitian ini menggunakan komparasi 3 jarak yang berbeda dalam Algoritma K-NN-nya, yaitu Jarak Euclidean, Jarak Manhattan, dan Jarak Minkowski. Yang tentu saja, masing-masing jarak memiliki hasil confusion matrix yang berbeda.

Mari, kita analisis  True Positive, False Negative, True Negative serta False Negative-nya. Lihat Gambar 4 berikut:

Gambar 4. Analisis TP, FP, TN, FN

Langkah berikutnya adalah merekapitulasi jumlah TP, FP, TN dan FN. Lihat hasilnya di Gambar 5 ini:

Gambar 5. Rekap Confusin Matrix

Berhubung rekap confusion matrix sudah didapat, hasil evaluasi pun kita dekat. Kemudian, kita diakhiri dengan langkah pamungkas. Yaitu mendapatkan hasil evaluasi kinerja sistem klasifikasi. Berupa prosentase akurasi, presisi, sensitifitas serta spesifisitas. Lihat Gambar 6. 

Gambar 6. Hasil evaluasi kinerja sistem klasifikasi

Alhamdulillah. Evaluasi sistem sudah didapat. Tapi ingat, ini hanya ilustrasi atau gambaran saja. Karena sangat mungkin ketika data latih dan data uji diubah. Maka hasil evaluasi pun berubah. Semoga teman-teman bisa memahami penjelasan di artikel ini. Saya harap, anda dapat menerapkannya untuk berbagai studi kasus klasifikasi. 

Penjelasan berupa video yang saya unggah di akun Yt ILKOM UNU BLITAR insyaAllah segera saya susulkan. Terkadang, ada yang lebih mudah menyimak penjelasan via video. 

Semoga bermanfaat.