Confusion Matrix στη Μηχανική Εκμάθηση: Η λύση μιας στάσης

Σε , συνήθως έχουμε 2 διαφορετικούς τύπους περιπτώσεων χρήσης, , και πρόβλημα. Το Confusion Matrix βοηθά στον υπολογισμό της ακρίβειας του μοντέλου ταξινόμησης που μας βοηθά έμμεσα να περιγράψουμε την απόδοση του μοντέλου ταξινόμησης. Είναι το πιο σημαντικό βήμα για την αξιολόγηση ενός μοντέλου. Θα καλύψω τα ακόλουθα θέματα σε αυτό το άρθρο:

1. Τι είναι ένας πίνακας σύγχυσης;

2. Ακρίβεια και στοιχεία του πίνακα σύγχυσης

3. Ακρίβεια, ανάκληση και μέτρηση F

4. Δημιουργία ενός πίνακα σύγχυσης χρησιμοποιώντας Python και Sklearn

Τι είναι ένας πίνακας σύγχυσης;

Από το παραπάνω σχήμα:
Εχουμε,

διαφορά μεταξύ java και τάξης

• Πραγματική τιμή κλάσης 1 = 1 που είναι παρόμοια με τη θετική τιμή σε δυαδικό αποτέλεσμα.
• Πραγματική τιμή κλάσης 2 = 0 που είναι παρόμοια με μια αρνητική τιμή στο δυαδικό αποτέλεσμα.

Ο αριστερός δείκτης του πίνακα σύγχυσης υποδεικνύει βασικά τις Πραγματικές Τιμές και η επάνω στήλη δείχνει τις Προβλεπόμενες Τιμές.

Υπάρχουν διάφορα στοιχεία που υπάρχουν όταν δημιουργούμε έναν πίνακα σύγχυσης. Τα συστατικά αναφέρονται παρακάτω

Θετικό (P): Το προβλεπόμενο αποτέλεσμα είναι θετικό (Παράδειγμα: Η εικόνα είναι μια γάτα)

Αρνητικό (N): το προβλεπόμενο αποτέλεσμα είναι αρνητικό (Παράδειγμα: Οι εικόνες δεν είναι γάτα)

Αληθινό θετικό (TP): Εδώ το TP βασικά υποδεικνύει τις προβλεπόμενες και οι πραγματικές τιμές είναι 1 (True)

True Negative (TN): Εδώ το TN υποδεικνύει την προβλεπόμενη και η πραγματική τιμή είναι 0 (False)

False Negative (FN): Εδώ το FN δείχνει ότι η προβλεπόμενη τιμή είναι 0 (Αρνητική) και η πραγματική τιμή είναι 1. Εδώ και οι δύο τιμές δεν ταιριάζουν. Ως εκ τούτου, είναι ψευδώς αρνητικό.

Ψευδώς θετικό (FP): Εδώ το FP δείχνει ότι η προβλεπόμενη τιμή είναι 1 (Θετική) και η πραγματική τιμή είναι 0. Εδώ και πάλι και οι δύο τιμές αναντιστοιχούν. Ως εκ τούτου, είναι ψευδώς θετικό.

Ακρίβεια και συστατικά του πίνακα σύγχυσης

• Ακρίβεια ταξινόμησης

Από τον παραπάνω τύπο, το άθροισμα των TP (True Positive) και το TN (True Negative) είναι τα σωστά προβλεπόμενα αποτελέσματα. Ως εκ τούτου, για να υπολογίσουμε την ακρίβεια σε ποσοστό, διαιρούμε με όλα τα άλλα στοιχεία. Ωστόσο, υπάρχουν ορισμένα προβλήματα στην ακρίβεια και δεν μπορούμε να βασιστούμε εντελώς σε αυτήν.

Ας θεωρήσουμε ότι το σύνολο δεδομένων μας είναι εντελώς ανισορροπημένο. Σε αυτό το σενάριο, η ακρίβεια 98% μπορεί να είναι καλή ή κακή με βάση τη δήλωση προβλήματος. Ως εκ τούτου έχουμε μερικούς πιο βασικούς όρους που θα μας βοηθήσουν να είμαστε σίγουροι για την ακρίβεια που υπολογίζουμε. Οι όροι έχουν ως εξής:

• TPR (True Positive Rate) ή ευαισθησία:

Ο πραγματικός θετικός ρυθμός που είναι επίσης γνωστός ως ευαισθησία μετρά το ποσοστό του True Positive σε σχέση με το σύνολο των πραγματικών θετικών που υποδεικνύεται από (TP + FN)

• TNR (True Negative Rate) ή ειδικότητα:

Ο πραγματικός αρνητικός ρυθμός ή η ειδικότητα μετρά το ποσοστό των πραγματικών αρνητικών σε σχέση με τα συνολικά αρνητικά

def __init __ (αυτο):

TNR = True Negative / (True Negative + False positif)

• Ψευδώς θετικό ποσοστό (FPR):

Το False Positive Rate είναι το ποσοστό των προβλεπόμενων ψευδώς θετικών (FP) προς το συνολικό αριθμό των προβλεπόμενων θετικών αποτελεσμάτων (TP + FP).

• Ψευδές αρνητικό ποσοστό (FNR):

False Negative Rate είναι το ποσοστό των προβλεπόμενων False Negative (FP) στο συνολικό αριθμό των προβλεπόμενων αρνητικών αποτελεσμάτων (TN + FN).

Ακρίβεια, ανάκληση και μέτρηση F

• Ανάκληση:

Η ανάκληση είναι παρόμοια με το True Positive Rate και είναι η αναλογία του συνολικού αριθμού των σωστά προβλεπόμενων θετικών τιμών (TP) προς όλες τις θετικές τιμές.

• Ακρίβεια:

Το Precision βασικά υποδεικνύει όλα τα σημεία που το μοντέλο προέβλεπε ότι είναι θετικά και ποιο ποσοστό από αυτά είναι πραγματικά θετικά.

Η ακρίβεια και η ανάκληση είναι αποτελέσματα μετρήσεων που εστιάζουν στη θετική τάξη όπως φαίνεται από τους παραπάνω τύπους.

• F-μέτρο

Έτσι, το F-Measure είναι μια τεχνική που συνδυάζει τόσο την τεχνική ακριβείας όσο και την ανάκληση και χρησιμοποιεί την αρμονική μέση στη θέση του συνηθισμένου αριθμητικού μέσου, λόγω της τιμωρίας των ακραίων τιμών. Το μέτρο F ονομάζεται επίσης βαθμολογία F1 και δίνεται από τον παρακάτω τύπο.

Τι είναι η δυαδική αναζήτηση στην Java

Ας εξετάσουμε ένα παράδειγμα και να δούμε πώς μπορούμε να υπολογίσουμε την ακρίβεια, την ακρίβεια, την ανάκληση και τη βαθμολογία F1.

• • Ακρίβεια = (TP + TN) / (TP + TN + FP + FN) = (150 + 100) / (150 + 100 + 20 + 10) = 0,89
  • Ανάκληση = TP / (TP + FN) = 150 / (150 + 10) = 0,93
  • Ακρίβεια: TP / (TP + FP) = 150 / (150 + 20) = 0,88

• F-μέτρο = (2 * Recall * Precision) / (Recall + Presision) = (2 * 0,93 * 0,88) / (0,93 + 0,88) = 0,90

Δημιουργία ενός πίνακα σύγχυσης χρησιμοποιώντας Python και Sklearn

Τώρα θα δούμε ένα παράδειγμα για το πώς μπορούμε να δημιουργήσουμε έναν πίνακα σύγχυσης χρησιμοποιώντας το python μαζί με τη βιβλιοθήκη sklearn.

ένας. Αρχικά, θα δημιουργήσουμε κάποια λίστα με τα πραγματικά δεδομένα και τα προβλεπόμενα για έλεγχο της ακρίβειας όπως φαίνεται παρακάτω

# Σενάριο Python για δημιουργία πίνακα σύγχυσης. sebenarnya_δεδομένα = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0,1,0,1] predicated_data = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0,1,0,1]

2. Πρέπει να εισαγάγουμε τον πίνακα σύγχυσης από τη βιβλιοθήκη sklearn όπως φαίνεται παρακάτω:

από το sklearn.metrics import confusion_matrix

3. Στη συνέχεια, θα δημιουργήσουμε τον πίνακα σύγχυσης όπως φαίνεται παρακάτω:

final_results = confusion_matrix (πραγματικά_δεδομένα, προβλεπόμενα_δεδομένα)

Τέσσερα. Τώρα μπορούμε να προχωρήσουμε και να υπολογίσουμε την ακρίβεια εισάγοντας τη βιβλιοθήκη όπως φαίνεται παρακάτω:

από sklearn.metrics εισαγωγή ακρίβειας_ακρίβεια σκορ = ακρίβεια_ βαθμολογία (πραγματικά_δεδομένα, προβλεπόμενα_δεδομένα)

5. Τέλος, υπολογίζουμε το F1-σκορ ή το F- Μέτρο όπως φαίνεται παρακάτω:

από το sklearn.metrics import classification_report report = classification_report (actual_data, predicted_data)

Ακολουθεί ο πλήρης κωδικός:

sebenarnya_δεδομένα = [1, 1, 0, 1, 0, 0, 1, 0, 0, 0,1,0,1] predicated_data = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0,1,0,1] από το sklearn.metrics import confusion_matrix final_results = confusion_matrix (actual_data, predicted_data) print (final_results) from sklearn.metrics import correct_score correct = correct_score (actual_data, predicted_data) από το sklearn.metrics import classification_report report = classification πραγματική_δεδομένα, προβλεπόμενα_δεδομένα) εκτύπωση (ακρίβεια) εκτύπωση (αναφορά)

Έτσι, με αυτό, φτάνουμε στο τέλος αυτού του άρθρου. Ελπίζω να έχει πλέον επιλυθεί όλη η Σύγχυση σχετικά με το Confusion Matrix.