Equal Error Rate (EER): Pengertian dan Penggunaannya

Kalian pernah membuat sebuah model untuk menguji data-data biometric? Misal sidik jari, pemalsuan suara (voice spoofing), pengenalan wajah, retina mata, dan banyak lagi? Nah dalam membuat AI atau ML untuk keperluan biometric, metric pengujian seperti akurasi, precision, recall, f1-score dan ROC-AUC tidaklah cukup. Harus ada satu metric lagi yang kita sebut dengan Equal Error Rate (EER).

Equal Error Rate atau EER adalah metrik evaluasi yang digunakan terutama dalam sistem pengenalan atau autentikasi biometrik, seperti pengenalan wajah, sidik jari, atau suara. EER menunjukkan tingkat kesalahan pada titik di mana kesalahan yang terjadi dalam memprediksi positif palsu (False Positive) dan negatif palsu (False Negative) adalah sama. EER sering digunakan untuk mengukur performa sistem klasifikasi yang berhubungan dengan verifikasi dan autentikasi.

Pengertian EER

Untuk memahami Equal Error Rate (EER), kita perlu memahami beberapa konsep terkait seperti berikut:

1. False Positive Rate (FPR): Kesalahan di mana sistem salah memprediksi kelas negatif sebagai kelas positif (contoh: sistem keamanan yang salah mengenali orang asing sebagai pengguna terotorisasi). Ini juga disebut sebagai False Acceptance Rate (FAR) dalam konteks autentikasi.
   
2. False Negative Rate (FNR): Kesalahan di mana sistem salah memprediksi kelas positif sebagai kelas negatif (contoh: sistem yang tidak mengakui pengguna yang seharusnya diizinkan). Ini juga disebut sebagai False Rejection Rate (FRR).
   

Note: TP, TN, FP, FN Berasal dari confusion matrix. Pelajari disini

Equal Error Rate (EER) terjadi pada titik di mana FPR = FNR, atau dengan kata lain, tingkat kesalahan menerima pengguna yang tidak sah sama dengan tingkat kesalahan menolak pengguna yang sah.

Biasanya EER divisualisasikan sebagai titik temu antara plot grafik FPR dan FNR. Kira-kira contohnya seperti ini:

Mengapa EER Penting?

EER memberikan satu nilai tunggal yang mudah dipahami untuk membandingkan performa sistem klasifikasi. Dalam konteks sistem verifikasi, seperti pengenalan biometrik, EER sangat berguna karena:

1. Indikator Keseimbangan: EER menunjukkan titik keseimbangan antara kesalahan menerima (False Positive) dan menolak (False Negative). Sistem yang baik harus memiliki EER yang rendah, yang berarti baik dalam menerima pengguna yang sah dan menolak pengguna yang tidak sah.
2. Mudah Dibandingkan: Dengan satu angka, EER memudahkan perbandingan antara dua atau lebih sistem autentikasi yang berbeda. Sistem dengan EER lebih rendah dianggap lebih baik.
3. Penting pada Sistem Autentikasi: Dalam aplikasi biometrik dan keamanan, Anda sering ingin memastikan sistem seimbang antara menerima pengguna sah dan menolak pengguna yang tidak sah, tanpa memberikan preferensi yang terlalu kuat pada salah satu sisi.
   

Cara Menghitung EER

Perhitungan EER biasanya dilakukan dengan memplot kurva ROC (Receiver Operating Characteristic) yang menunjukkan hubungan antara True Positive Rate (TPR) dan False Positive Rate (FPR) pada berbagai nilai ambang batas (threshold).

Langkah-langkah menghitung EER adalah sebagai berikut:

1. Menghitung FPR dan FNR pada Berbagai Threshold: Sistem pertama-tama akan diuji pada berbagai nilai ambang batas. Di setiap threshold, kita menghitung False Positive Rate (FPR) dan False Negative Rate (FNR).
2. Plot ROC Curve atau DET Curve: ROC adalah grafik yang memplot TPR vs. FPR pada berbagai threshold, sementara DET (Detection Error Tradeoff) curve adalah grafik yang sering digunakan di mana FPR diplot berlawanan dengan FNR.
3. Cari Titik Perpotongan FPR dan FNR: EER adalah titik di mana FPR sama dengan FNR. Dalam grafik ROC atau DET, ini bisa diinterpretasikan sebagai titik perpotongan kurva FPR dan FNR.
4. Interpolasi Jika Perlu: Dalam beberapa kasus, FPR dan FNR mungkin tidak sama persis pada threshold tertentu. Dalam hal ini, interpolasi dilakukan untuk menemukan nilai threshold yang membuat FPR dan FNR paling mendekati.
   

Kesimpulan

Equal Error Rate (EER) adalah metrik evaluasi yang penting dalam sistem verifikasi dan autentikasi, terutama dalam konteks biometrik seperti pengenalan wajah atau sidik jari. EER memberikan gambaran yang jelas tentang seberapa baik sistem menyeimbangkan antara kesalahan menerima pengguna yang tidak sah dan menolak pengguna yang sah.

Dengan memahami EER, kita dapat lebih baik mengevaluasi sistem yang melibatkan verifikasi atau pengenalan, dan membuat keputusan yang lebih baik tentang bagaimana mengoptimalkan model pembelajaran mesin yang digunakan.

Baca Juga: