Leistungsmessung ist für Aktivitäten des maschinellen Lernens unerlässlich. ROC oder Area Under Curve/AUC hilft uns bei der Lösung der Probleme, denen wir bei der Klassifikation begegnen. Wenn wir überprüfen oder visualisieren, wie verschiedene Klassifikationen eines Modells funktionieren, verwenden wir diese Metriken oder Kurven, um das Ergebnis zu bewerten. ROC ist die Abkürzung für Receiver Operating Characteristics, und AUC ist die Area Under the Curve (Bereich unter der Kurve). Wir können diesen Begriff auch als AUROC oder Area Under the Receiver Operating Characteristics (Fläche unter der Kurve) schreiben.

Fläche unter der Kurve (AUC)

AUC hilft beim Vergleich verschiedener Klassifikatoren. Sie können die Leistung der einzelnen Klassifikatoren in einer einzigen Kennzahl zusammenfassen. Der grundlegende Ansatz zur Ermittlung der AUC ist die Berechnung der AUROC. Sie ist vergleichbar mit der Wahrscheinlichkeit, dass die zufällige negative Instanz niedriger ist als die positive Instanz. Wenn ein Klassifizierer eine niedrigere AUC als ein anderer Klassifizierer hat, bedeutet dies normalerweise, dass die Bewertung der hohen AUC nicht gut ist. Die AUC funktioniert jedoch gut unter der allgemeinen Messung der prädiktiven Genauigkeit.

Einige wichtige Begriffe

Die Verwirrungsmatrix

Wenn die Ausgabeklassen mehr als eine sind, können Sie die Verwirrungsmessung verwenden, um Klassifizierungsprobleme beim maschinellen Lernen zu lösen. Die Tabelle der Konfusionsmatrix enthält vier verschiedene Kombinationen aus tatsächlichen und vorhergesagten Werten. Mit dieser Technik können Sie Spezifizität, Präzision, Rückruf, Genauigkeit und das Thema, das wir heute besprechen, AUC- und ROC-Kurve, messen. Lassen Sie uns die Begriffe, die die Verwirrungsmatrix enthält, am Beispiel der Schwangerschaft verstehen:

Echte Positive

Die Interpretation des wahren Positivs ist, dass man das Positive vorhersagt, und es ist eine wahre Aussage. Eine Frau ist zum Beispiel schwanger, und Sie sagen dasselbe voraus.

Wahres Negativ

Die Interpretation des wahren Negativs besteht darin, dass man das Negative vorhersagt, und es ist eine wahre Aussage. Ein Mann ist zum Beispiel nicht schwanger, und Sie sagen dasselbe voraus.

Falsches Positiv

Die falsch-positive Interpretation ist, dass Sie das Positive vorhersagen, und es ist keine wahre Aussage. Ein Mann ist zum Beispiel nicht schwanger, aber Sie sagen voraus, dass er schwanger ist. Diese Vorhersage ist ein Typ-1-Fehler.

Falsch-negativ

Die wahre negative Interpretation ist, dass man das Negative vorhersagt, und es ist keine wahre Aussage. Zum Beispiel: Eine Frau ist nicht schwanger, aber Sie sagen voraus, dass sie schwanger ist. Diese Vorhersage ist ein Typ-2-Fehler.
Sie sollten sich daran erinnern, dass die tatsächlichen Werte wahr und falsch sind und dass die von Ihnen vorhergesagten Werte positiv und negativ sind.

Sensitivität und Spezifität

Verschiedene Bereiche messen Sensitivität und Spezifität gemeinsam. Dies sind jedoch getrennte Messungen. Sie können Sensitivität und Spezifizität verwenden, um die Leistung der Klassifikation des Modells vorherzusagen. Darüber hinaus können Sie diese Maße auch zur Durchführung eines diagnostischen Tests verwenden.
Zum Beispiel, wenn wir messen wollen, wie effektiv ein diagnostischer Test in einem medizinischen Zustand ist:

Mit der Sensitivität wird gemessen, wie viele Menschen an der Krankheit leiden oder wie viele positiv sind.

Die Spezifität misst, wie viele Menschen nicht an der Krankheit leiden oder wie viele negativ sind.

Logistische Regression

Die logistische Regression ist ein Algorithmus, den Sie beim maschinellen Lernen für Klassifizierungsprobleme verwenden können. Bei diesem Algorithmus handelt es sich um die prädiktive Analyse, die Wahrscheinlichkeit und ihr Konzept. Sie können diesen Algorithmus auch als lineares Regressionsmodell bezeichnen. Die lineare Regression hat jedoch im Vergleich zur logistischen Regression eine komplexe Kostenfunktion. Sie können die Kostenfunktion der logistischen Regression als Sigmoidfunktion oder logistische Funktion definieren.
Die Hypothese in diesem Algorithmus wird die Kostenfunktion von Null auf Eins begrenzen. Die lineare Funktion stellt jedoch dar, dass sie größer als eins oder kleiner als null ist. Diese Bedingung ist gegen die Hypothese der logistischen Regression unmöglich.

Das Konzept verstehen

Erstellen einer ROC-Kurve

Sie können eine ROC-Kurve konstruieren, indem Sie den TPR oder die Rate der wahr positiven und den FPR oder die Rate der falsch positiven Werte gegeneinander setzen. Die wahr-positive Rate ist die Beobachtungen, die Sie aus allen positiven Beobachtungen korrekt als positiv vorhersagen. Die mathematische Darstellung ist:
TP/(TP + FN)
In ähnlicher Weise ist die Falsch-Positiv-Rate die Beobachtungen, die Sie aus allen negativen Beobachtungen fälschlicherweise als positiv vorhersagen. Die mathematische Darstellung ist:
FP/(TN + FP)
Wenn Sie z.B. einen medizinischen Test für eine Krankheit durchführen, ist die Rate, mit der Sie Personen für die positiven Ergebnisse richtig identifizieren, die wahre positive Rate.
Sie können nur einen einzigen Punkt auf dem ROC-Raum erhalten, wenn der Klassifikator nur Ihre Vorhersageklasse zurückgibt. Wenn die Klassifikatoren jedoch problematisch sind und einen Score oder eine Wahrscheinlichkeit haben, die zu einer Klasse statt zu anderen gehören, können Sie eine Kurve mit einem unterschiedlichen Score-Schwellenwert erstellen. Sie können verschiedene diskrete Klassifikatoren in bewertende Klassifikatoren umwandeln, indem Sie ihre Statistiken suchen. Beispielsweise können Sie die Klasse des Knotens eines Blattes durch Bruchteile der Knoten finden.

Interpretieren der ROC-Kurve

Die ROC-Kurve kennzeichnet die Anpassung zwischen FPR (Spezifität) und TRP (Sensitivität). Der Klassifikator in der oberen linken Ecke gibt an, dass die Leistung besser ist. Standardmäßig erhalten Sie Punkte von einem Zufallsklassifikator zwischen der Diagonale.
FPR=TRP
Man kann sagen, dass der Test weniger genau ist, wenn die Kurve näher an der 45-Grad-Kurve des ROC-Raums liegt.
Die ROC ist nicht von der Klassenverteilung abhängig. Deshalb können Sie die seltenen Ereignisse mit prädiktiven Klassifikatoren bewerten, wie z.B. eine Katastrophe oder eine Krankheit. Im Vergleich dazu wird die Genauigkeit der folgenden Gleichung Klassifikatoren helfen, die meist negative Ergebnisse für eine seltene Erkrankung oder ein seltenes Ereignis vorhersagen.
(TP + TN)/(TP + TN + FN + FP)

Schlussfolgerung

Sie können die ROC-Kurve für maschinelles Lernen und andere Sektoren und Branchen verwenden, um die seltenen Bedingungen zu finden, für die es keine geeigneten Klassifikatoren gibt. Sie müssen die Klassifikatoren vorhersagen und feststellen, ob die Kurve entlang der 45 Grad der ROC-Fläche verläuft. Medizinische Sektoren haben effektive Ergebnisse und Ergebnisse seltener Krankheiten gefunden.