Prosty przewodnik po terminologii matrycy dezorientacyjnej

Matryca pomyłki jest tabelą, która jest używana do opisania działania modelu klasyfikacji na zbiorze danych testowych, dla których znane są rzeczywiste wartości. Sama matryca zamieszania jest stosunkowo prosta do zrozumienia, ale związana z nią terminologia może być myląca.

Musiałem zrobić “szybkie zarządzanie referencjami” w odniesieniu do sformułowań ramowych, ponieważ nie mogłem zlokalizować aktywów obrotowych, które pasowałyby do moich potrzeb: zminimalizowanych we wstępie, wykorzystujących liczby, a nie czynniki samooceny, i wyjaśnił zarówno w odniesieniu do równań i zdań.

Zacznijmy od modelu kraty disarray dla klasyfikatora równoległego (jednak niewątpliwie można go rozciągnąć na przykład na wiele klas):

Czego możemy się nauczyć z tej matrycy?

Istnieją dwie możliwe do przewidzenia klasy: “tak” i “nie”. W przypadku, gdybyśmy spodziewali się bliskości infekcji, na przykład “tak” oznaczałoby, że mają chorobę, a “nie” – że nie mają choroby.

Klasyfikator poczynił sumę 165 oczekiwań (np. 165 pacjentów było sądzonych za bliskość tego zakażenia).

Spośród tych 165 przypadków, klasyfikator wielokrotnie przewidział “tak”, a wielokrotnie “nie”.

W rzeczywistości 105 pacjentów w tym przykładzie ma infekcję, a 60 nie ma.

Co powiesz na to, że obecnie charakteryzujemy najbardziej podstawowe pojęcia, którymi są liczby całkowite (nie stawki):

prawdziwe pozytywy (TP): Są to przypadki, w których przewidzieliśmy, że tak (mają chorobę), a oni mają chorobę.

prawdziwe negatywy (TN): Przewidzieliśmy, że nie, a oni nie mają tej choroby.

fałszywie dodatnie (FP): Przewidzieliśmy, że tak, ale tak naprawdę nie mają tej choroby. (Znany również jako “Błąd typu I.”)

fałszywe negatywy (FN): Przewidzieliśmy, że nie, ale oni rzeczywiście mają tę chorobę. (Znany również jako “Błąd typu II.”)

Dodałem te terminy do macierzy dezorientacji, a także dodałem sumy wierszy i kolumn:

Istnieją dwie możliwe do przewidzenia klasy: “tak” i “nie”. W przypadku, gdy spodziewamy się bliskości choroby, na przykład, “tak” oznaczałoby, że mają infekcję, a “nie” – że nie mają choroby.

Klasyfikator poczynił sumę 165 oczekiwań (np. 165 chorych było sądzonych za bliskość tej choroby).

Spośród tych 165 przypadków, klasyfikator wielokrotnie przewidział “tak”, a wielokrotnie “nie”.

Ogólnie rzecz biorąc, 105 pacjentów w tym przykładzie cierpi na tę chorobę, a 60 nie cierpi.

Powinniśmy teraz scharakteryzować najważniejsze terminy, które są liczbami całkowitymi (nie stawkami):

prawdziwe pozytywy (TP): Są to przypadki, w których przewidzieliśmy, że tak (mają chorobę), a oni mają chorobę.

prawdziwe negatywy (TN): Przewidzieliśmy, że nie, a oni nie mają tej choroby.

fałszywie dodatnie (FP): Przewidzieliśmy, że tak, ale tak naprawdę nie mają tej choroby. (Znany również jako “Błąd typu I.”)

fałszywe negatywy (FN): Przewidzieliśmy, że nie, ale oni rzeczywiście mają tę chorobę. (Znany również jako “Błąd typu II.”)

Dodałem te terminy do siatki disarray, a ponadto włączyłem agregaty liniowe i segmentowe:t czy możemy się uczyć z tej macierzy?

Jest to zestawienie stawek, które są regularnie przetwarzane z sieci o skomplikowanej strukturze dla podwójnego klasyfikatora:

Dokładność : Ogólnie rzecz biorąc, jak regularnie klasyfikator ma rację?

(TP+TN)/all out = (100+50)/165 = 0,91

Błędna stawka klasyfikacyjna: Ogólnie rzecz biorąc, jak często jest to złe?

(FP+FN)/all out = (10+5)/165 = 0,09

proporcjonalna do 1 krótkiej Dokładność

inaczej nazywany “Mistake Rate”

True Positive Rate: Kiedy to naprawdę jest, jak często przewiduje się tak?

TP/rzeczywiste tak = 100/105 = 0,95

inaczej nazywane “Skutecznością” lub “Przeglądem”.

Fałszywy współczynnik dodatni: Kiedy jest cicho, jak często przewiduje się tak?

FP/real no = 10/60 = 0,17

True Negative Rate: Kiedy jest całkowicie, jak regularnie przewiduje się nie?

TN/nierzeczywiste nie = 50/60 = 0,83

równa 1 krótkiej Fałszywy Wynik dodatni

inaczej nazywane “Wyraźnością”

precyzja : Kiedy naprawdę przepowiada, jak regularnie ma rację?

TP/oczekiwane tak = 100/110 = 0,91

Pervalencja: Jak często w naszym przykładzie warunek “tak” rzeczywiście występuje?

oryginalny tak/ wszystkie = 105/165 = 0,64

Kilka różnych terminów jest również wartych przywołania:

Nieważna stawka za pomyłkę: Jest to środek, za pomocą którego regularnie nie miałbyś racji, gdybyś na ogół przewidział klasę lwów. (W naszym modelu, nieważny współczynnik pomyłek wyniósłby 60/165=0,36 w takim przypadku, że ogólnie rzecz biorąc przewidywałeś naprawdę, po prostu nie byłbyś właściwy dla 60 przypadków “nie”). To może być pomocny wzór metryki, aby myśleć o swoim klasyfikator przeciwko. W każdym razie, najlepszy klasyfikator dla danego zastosowania będzie miał w niektórych przypadkach wyższy wskaźnik błędów niż nieważny wskaźnik błędów, jak pokazano na Rysunku 22.

Kappa Cohena: Jest to w zasadzie proporcja tego, jak dobrze klasyfikator wykonałby zlecenie, w przeciwieństwie do tego, jak dobrze wykonałby je zasadniczo przez jakiś przypadek. Pod koniec dnia, model będzie miał wysoki wynik Kappa, jeśli istnieje duże rozróżnienie między precyzją a nieważną stopą błędu. (Więcej informacji na temat Kappa Cohena.)

F Score: Jest to ważona norma rzeczywistej stopy dodatniej (przeglądu) i dokładności. (Więcej informacji na temat wyniku F.)

Wygięcie ROC: Jest to zwykle używany wykres, który nakreśla prezentację klasyfikatora na każdej możliwej krawędzi. Jest on tworzony poprzez wykreślenie wartości y-pivot (Genuine Positive Rate) w stosunku do wartości x-hub (Bogus Positive Rate), gdy zmieniasz granicę spychania postrzegań do danej klasy. (Więcej informacji na temat ROC Bends.)

Na koniec, dla tych z was, którzy pochodzą ze wszechświata bayesowskich spostrzeżeń, oto krótkie streszczenie tych terminów z Applied Prescient Displaying:

W powiązaniu z pomiarami bayesowskimi, wpływ i jawność są prawdopodobieństwami ograniczającymi, przenikalność jest wcześniejsza, a pozytywne/negatywne cechy przewidywane są prawdopodobieństwami wstecznymi.