Una spiegazione intuitiva (e breve) del teorema di Bayes

Il teorema di Bayes è stato oggetto di un articolo dettagliato. Il saggio è buono, ma lungo più di 15.000 parole – ecco la versione condensata per i nuovi arrivati Bayesiani come me:

I test non sono l’occasione. Abbiamo un test di malattia, separato dall’occasione di avere davvero una crescita maligna. Abbiamo un test per lo spam, separato dall’occasione di avere davvero un messaggio di spam.

I test sono imperfetti. I test riconoscono cose che non esistono (falso positivo) e perdono cose che esistono (falso negativo). Gli individui usano regolarmente i risultati dei test senza modificare gli errori dei test.

I falsi positivi distorcono i risultati. Supponiamo che si stia cercando qualcosa di estremamente insolito (1 su un milione). Infatti, anche con un test decente, tutto sommato, un risultato positivo è estremamente un falso positivo su qualcuno nella 999.999.

Gli individui si orientano verso i numeri normali . Dire “100 su 10.000″ invece di “1%” aiuta gli individui a lavorare sui numeri con meno errori, in particolare con numerosi tassi (“Di questi 100, 80 risulteranno positivi” contro “l’80% dell’1% risulterà positivo”).

In effetti, anche la scienza è un test. A livello filosofico, gli esami logici sono “test possibilmente imperfetti” e devono essere affrontati in modo appropriato. C’è un test per un composto o una meraviglia, e c’è semplicemente l’occasione della meraviglia. I nostri test e la stima dell’hardware hanno un ritmo di errore da rappresentare. L’ipotesi di Bayes cambia rispetto ai risultati del vostro test in una reale probabilità dell’occasione. Per esempio, è possibile:

Correggere gli errori di misura Nella remota possibilità di conoscere le probabilità reali e la possibilità di un falso positivo e un falso negativo, è possibile correggere gli errori di stima.

Mettere in relazione la reale probabilità con la probabilità del test intenzionale. Dati i risultati del test mammografico e i tassi di errore realizzati, è possibile anticipare la reale possibilità di avere la malattia dato un test positivo. In termini specialistici, si può scoprire Pr(H|E), la possibilità che una teoria La sua prova effettiva data E, a partire da Pr(E|H), la possibilità che la prova si presenta quando la speculazione è valida.

Anatomia di un test

L’articolo descrive una situazione di test di malattia:

L’1% delle donne ha il cancro al seno (e in questo modo il 99% non ce l’ha).

L’80% delle mammografie riconosce il cancro al seno quando è presente (e in questo modo il 20% ne sente la mancanza).

Il 9,6% delle mammografie identifica la crescita del cancro al seno quando non c’è (e di conseguenza il 90,4% restituisce effettivamente un risultato negativo).

Mettete in una tabella, le probabilità assomigliano a questa:

Come lo leggeremmo?

L’1% degli individui ha il cancro

Nella remota possibilità che a partire da ora lei abbia un cancro al seno, si trova nella sezione principale. C’è l’80% di possibilità che il test sia positivo. C’è una possibilità del 20% che il test sia negativo.

Nel caso in cui non si abbia il cancro al seno, si è nel segmento successivo. C’è una possibilità del 9,6% che il test sia positivo e del 90,4% che il test sia negativo.

Quanto è accurato il test?

Al momento si presuppone che il risultato del test sia positivo. Quali sono le probabilità di avere il cancro? 80%? 99%? 1%?

Ecco come la considero:

Bene, abbiamo ottenuto un risultato positivo. Significa che siamo da qualche parte nella colonna in alto del nostro tavolo. Non dovremmo accettare nulla – potrebbe essere un vero positivo o un falso positivo.

Le probabilità di un vero positivo = probabilità di avere il cancro * il test della probabilità l’ha preso = 1% * 80% = .008

Le probabilità di un falso positivo = possibilità di non avere il cancro * il test della probabilità lo ha preso comunque = 99% * 9,6% = 0,09504

Il tavolo è così:

Cosa c’è di più, cos’era l’inchiesta ancora una volta? Grazioso sì: qual è l’opportunità che abbiamo veramente il cancro nel caso in cui otteniamo un risultato positivo. La possibilità di un’occasione è il numero di modi in cui potrebbe accadere dato ogni singolo risultato immaginabile:

La possibilità di ottenere un risultato genuino e positivo è di 0,008. La possibilità di ottenere qualsiasi tipo di risultato positivo è l’opportunità di un genuino positivo oltre alla possibilità di un falso positivo (.008 + 0.09504 = .10304).

Quindi, la nostra possibilità di malattia è .008/.10304 = 0,0776, o circa il 7,8%.

Intrigante – una mammografia positiva significa solo che si ha una possibilità di malignità del 7,8%, contro l’80% (la presunta precisione del test). Può sembrare anormale fin dall’inizio, ma è comunque di buon auspicio: il test dà un falso positivo per il 9,6% del tempo (molto alto), quindi ci saranno numerosi punti di incoraggiamento fasulli in una data popolazione. Per una malattia non comune, gran parte dei risultati positivi del test non saranno giusti.

Che ne dite se mettiamo alla prova il nostro istinto facendo un’illazione praticamente fissando il tavolo. Nel caso in cui prendiate 100 individui, solo 1 individuo avrà la malattia (1%), e probabilmente risulterà positivo (80% di possibilità). Dei 99 individui in circolazione, circa il 10% risulterà positivo, quindi otterremo circa 10 falsi positivi. Pensando a tutti i test positivi, solo 1 su 11 ha ragione, quindi c’è una possibilità di 1/11 di avere una crescita maligna con un test positivo. Il numero reale è del 7,8% (più simile a 1/13, registrato sopra), eppure abbiamo trovato un calibro ragionevole senza una macchina per l’aggiunta.

Teorema di Bayes

Possiamo trasformare la procedura di cui sopra in una condizione, che è il Teorema di Bayes. Ti dà la possibilità di passare attraverso i risultati dell’esame e giusto per il “taglio” presentato dai falsi positivi. Si ha la reale possibilità di avere l’occasione. Ecco la condizione:

Inoltre, ecco la chiave di decodifica per leggerlo:

Pr(H|E) = Possibilità di avere il cancro (H) con un test positivo (E). Questo è ciò che dobbiamo sapere: Quanto è probabile che il cancro abbia un esito positivo? Per la nostra situazione, era del 7,8%.

Pr(E|H) = Possibilità di un test positivo (E) dato che hai avuto un cancro (H). Questa è l’opportunità di un test veramente positivo, l’80% per la nostra situazione.

Pr(H) = Possibilità di avere il cancro (1%).

Pr(non H) = Possibilità di non avere il cancro(99%).

Pr(E|not H) = Possibilità di un test positivo (E) dato che non hai avuto malignità (non H). Si tratta di un falso positivo, il 9,6% per la nostra situazione.

Tutto si riduce all’opportunità di un autentico positivo separato dall’opportunità di qualsiasi positivo. Possiamo migliorare la condizione di:

Pr(E) ci rivela la possibilità di ottenere qualsiasi risultato positivo, indipendentemente dal fatto che si tratti di un vero positivo nella popolazione in crescita maligna (1%) o di un falso positivo nella popolazione non malata (99%). In agisce come un fattore di ponderazione, modificando le possibilità verso il risultato quasi certo.

Trascurare di rappresentare falsi positivi è la cosa che fa apparire strana la bassa possibilità di crescita maligna del 7,8% (dato un test positivo). Grazie mille a te, che ti normalizzi costantemente, per averci risolto!