Scegliere le misure corrette per le imprese di ordinazione

Ok, accettare qualcuno che ha professato di fare un modello completamente nella sua mente per riconoscere gli oppressori psicologici che cercano di caricare i voli con una precisione superiore al 99%? Tutto sommato, ecco il modello: basta segnare tutti coloro che volano da un aeroporto statunitense come non militanti psicologici. Considerati gli 800 milioni di viaggiatori normali che ogni anno volano negli Stati Uniti e i 19 (affermati) mongers di paura che hanno caricato sui voli USA dal 2000 al 2017, questo modello raggiunge una precisione sorprendente del 99,9999999%! Questo può sembrare sorprendente, tuttavia, ho il dubbio che la Divisione Sicurezza Nazionale degli Stati Uniti non chiamerà in nessun momento del prossimo futuro per l’acquisto di questo modello. Anche se questa disposizione ha un’esattezza quasi impeccabile, questo è un problema in cui la precisione non è ovviamente una misura soddisfacente!

Il compito di scoprire i mostri della paura è un problema di disposizione squilibrata: abbiamo due classi che dobbiamo distinguere – gli oppressori psicologici e non gli oppressori psicologici – con una classificazione che parla alla maggior parte dei punti focali dell’informazione. Un altro problema di ordine squilibrato si verifica nell’identificazione delle infezioni quando il ritmo della malattia nelle persone, in generale, è estremamente basso. In entrambi questi casi la classe positiva – malattia o oppressore psicologico – è enormemente indebolita dalla classe negativa. Questo tipo di problemi sono casi del caso veramente normale nella scienza dell’informazione, quando la precisione non è certamente una misura decente per l’esecuzione di un modello di indagine.

Istintivamente, ci rendiamo conto che trasmettere tutte le informazioni si concentra come negativo nella questione dell’identificazione dell’oppressore basato sulla paura non è utile e, piuttosto, dovremmo concentrarci sul riconoscimento dei casi positivi. La metrica che il nostro istinto ci rivela che dovremmo amplificare è indicata nelle misurazioni come revisione, o la capacità di un modello di scoprire tutti i casi applicabili all’interno di un set di dati. Il significato esatto della revisione è il numero di veri positivi diviso per il numero di veri positivi oltre al numero di falsi negativi. I veri positivi sono punti informativi denominati positivi dal modello che sono veramente certi (il che significa che hanno ragione), e i falsi negativi sono informazioni che il modello distingue come negativi che sono veramente sicuri (sbagliati). Nel caso dell’oppressione basata sulla paura, i veri positivi sono gli oppressori psicologici effettivamente riconosciuti, e i falsi negativi sono le persone che il modello distingue come non militanti psicologici che sono veramente degli amanti della paura. Una revisione può essere pensata come la capacità di un modello di scoprire ogni punto focale di informazione in un set di dati.

si può vedere qualcosa di questa condizione: nella remota possibilità che nominiamo tutte le persone come militanti psicologici, a quel punto la nostra recensione va a 1.0! Abbiamo un classificatore ideale, giusto? Tutto sommato, non proprio. Allo stesso modo, con la maggior parte delle idee nella scienza dell’informazione, c’è uno scambio off nelle misure che decidiamo di aumentare. A causa della recensione, quando incrementiamo la recensione, diminuiamo la precisione. Ancora una volta, ci rendiamo conto istintivamente che un modello che segna il 100% dei viaggiatori come militanti psicologici non è molto probabilmente utile alla luce del fatto che poi dovremmo proibire a tutti di volare. Le misure ci forniscono il gergo per esprimere il nostro istinto: questo nuovo modello subirebbe gli effetti negativi di una scarsa precisione, o la capacità di un modello di arrangiamento di riconoscere solo i punti focali delle informazioni applicabili.

La precisione si caratterizza come il numero di veri positivi separati dal numero di veri positivi oltre al numero di falsi positivi. I falsi positivi sono casi in cui il modello nomina in modo impreciso i positivi come positivi che sono veramente negativi, o nel nostro modello, le persone che il modello organizza come oppressori basati sulla paura che non lo sono di certo. Mentre la revisione comunica la capacità di localizzare ogni singolo esempio pertinente in un set di dati, l’accuratezza comunica l’estensione delle informazioni che il nostro modello dice che sono significative e che sono davvero importanti.

Attualmente, possiamo vedere che il nostro primo modello che ha definito tutte le persone come non militanti psicologici non è stato di grande aiuto. Nonostante il fatto che avesse un’esattezza quasi impeccabile, aveva una precisione 0 e 0 recensioni sulla base del fatto che non c’erano evidenti elementi positivi! Supponiamo di cambiare il modello in modo marginale, e di distinguere efficacemente un individuo solitario come oppressore psicologico. Attualmente, la nostra esattezza sarà 1.0 (nessun falso positivo), ma la nostra recensione sarà estremamente bassa, poiché avremo, in ogni caso, numerosi falsi negativi. Nel caso in cui andiamo al prossimo oltraggio e organizziamo tutti i viaggiatori come oppressori basati sulla paura, avremo una recensione di 1.0 – otterremo ogni militante psicologico – ma la nostra esattezza sarà bassa e manterremo numerose persone oneste. Alla fine della giornata, man mano che aumentiamo l’esattezza, decliniamo la revisione e viceversa.

Consolidamento della precisione e revisione

In determinate circostanze, potremmo renderci conto che è necessario aumentare la revisione o l’accuratezza a scapito delle altre misurazioni. Per esempio, nello screening di primer malady dei pazienti per le valutazioni di follow-up, avremmo molto probabilmente bisogno di una revisione vicina alla 1.0 – dobbiamo scoprire tutti i pazienti che hanno realmente la malattia – e possiamo riconoscere una bassa accuratezza se la spesa della valutazione successiva non è enorme. Sia come sia, in situazioni in cui abbiamo bisogno di individuare un mix ideale di esattezza e revisione possiamo unire le due misurazioni utilizzando il cosiddetto punteggio F1.

Il punteggio F1 è la media consonante di accuratezza e revisione considerando le due misurazioni nella condizione di accompagnamento:

Utilizziamo la media consonante piuttosto che una semplice normale, perché respinge le qualità straordinarie. Un classificatore con un’esattezza di 1.0 e una revisione di 0.0 ha una normale di base di 0.5 ma un punteggio F1 di 0. Il punteggio F1 dà un carico equivalente alle due misure ed è un caso particolare della metrica generale Fβ dove la β può essere acclimatata per dare più peso sia alla revisione che alla precisione. (Ci sono diverse misure per consolidare l’esattezza e la revisione, per esempio, la media geometrica della precisione e della revisione, ma il punteggio F1 è il più utilizzato di solito). Nel caso in cui si debba realizzare un modello di ordine decente con l’ideale equalizzazione della revisione e dell’esattezza, a quel punto si cerca di amplificare il punteggio F1.

Previsione dell’esattezza e revisione

Vi ho buttato addosso un paio di nuovi termini e passeggeremo attraverso una guida per mostrarvi come vengono utilizzati praticamente parlando. Prima di arrivare, però, dobbiamo discutere rapidamente di due idee utilizzate per indicare l’esattezza e la revisione.

La prima è la matrice di confusione che è preziosa per accertare rapidamente l’esattezza e la revisione, visti i segni previsti da un modello. Un reticolo di confusione per la caratterizzazione parallela mostra i quattro risultati distinti: genuino positivo, falso positivo, genuino negativo e falso negativo. Le qualità genuine strutturano le sezioni, e le qualità previste (marchi) strutturano le linee. Il punto di incrocio delle linee e delle sezioni mostra uno dei quattro risultati. Per esempio, nella remota possibilità che si preveda un punto di informazione è certo, tuttavia, è veramente negativo, questo è un falso positivo.

Passare dalla griglia di disordine alla revisione e alla precisione richiede di trovare le stime separate nella rete e di applicare le condizioni:

L’altra strategia di rappresentazione primaria per indicare l’esposizione di un modello di caratterizzazione è la curva del marchio di lavoro del destinatario (ROC). Cercate di non dare al nome ingarbugliato la possibilità di allontanarvi! Il pensiero è generalmente elementare: la curva ROC mostra come il rapporto tra revisione ed esattezza cambia man mano che si sposta il limite per il riconoscimento di un positivo nel nostro modello. Il limite parla dell’incentivo al di sopra del quale un punto informativo è considerato nella classe positiva. Nel caso in cui abbiamo un modello per distinguere un’infezione, il nostro modello può produrre un punteggio per ogni paziente in un intervallo compreso tra 0 e 1 e possiamo stabilire un limite in questo intervallo per il nome di un paziente che ha la malattia (un nome positivo). Modificando il limite, possiamo tentare di ottenere la corretta accuratezza rispetto al bilancio di revisione.

Una curva ROC trama il tasso positivo genuino sul mozzo a y contro il tasso positivo fasullo sul mozzo a x. Il tasso genuino positivo (TPR) è la revisione e il tasso positivo fasullo (FPR) è la probabilità di una falsa cautela. Entrambi possono essere determinati dal quadro delle perplessità:

Di seguito viene mostrata una tipica curva ROC:

La linea scura e obliqua mostra un classificatore irregolare e le curve rosse e blu mostrano due distinti modelli di disposizione. Per un determinato modello, possiamo rimanere su una sola curva, ma possiamo muoverci lungo la curva cambiando il bordo per organizzare un caso positivo. Per la maggior parte, mentre decliniamo il bordo, ci muoviamo su un lato e verso l’alto lungo la curva. Con un limite di 1.0, ci troveremmo in basso a sinistra del diagramma, poiché non distinguiamo alcuna informazione che indichi come positivi la guida di nessun evidente positivo e nessun falso positivo (TPR = FPR = 0). Mentre decliniamo il bordo, riconosciamo che più informazioni si concentrano come positive, inducendo tutti i positivi più evidenti, ma in aggiunta tutti i positivi più falsi (l’incremento TPR e FPR). Alla fine, ad un margine di 0.0 riconosciamo che tutte le informazioni si concentrano come positive e si concludono nell’angolo in alto a destra della curva ROC (TPR = FPR = 1.0).

Finalmente, possiamo valutare la curva ROC di un modello accertando la Regione sotto la curva (AUC), una metrica che cade da qualche parte nell’intervallo 0 e 1 con un numero più alto che dimostra una migliore esecuzione della disposizione. Nel diagramma sopra, l’AUC per la curva blu sarà più prominente di quella per la curva rossa, il che significa che il modello blu è migliore nel realizzare un mix di precisione e revisione. Un classificatore arbitrario (la linea scura) realizza un AUC di 0,5.