Uma matriz de confusão é uma tabela que é usada para descrever o desempenho de um modelo de classificação em um conjunto de dados de teste para os quais os valores verdadeiros são conhecidos. A matriz de confusão em si é relativamente simples de entender, mas a terminologia relacionada pode ser confusa.

Eu precisava fazer uma “gestão de referência rápida” para a formulação do quadro de perplexidade, pois eu não conseguia localizar um ativo atual que se adequasse às minhas necessidades: minimizado na introdução, utilizando números em vez de fatores auto-afirmativos, e esclarecido tanto em relação às equações como em relação às frases.

Que tal começarmos com uma grelha de desarticulação do modelo para um classificador paralelo (no entanto, ela pode sem dúvida ser esticada para a instância de múltiplas classes):

O que podemos aprender com esta matriz?

Há duas classes antecipadas concebíveis: “sim” e “não”. No caso de estarmos antecipando a proximidade de uma infecção, por exemplo, “sim” significaria que eles têm a doença, e “não” significaria que eles não têm a doença.

O classificador fez uma soma de 165 expectativas (por exemplo, 165 pacientes estavam sendo testados para a proximidade dessa infecção).

Desses 165 casos, o classificador antecipou “sim” várias vezes, e “não” várias vezes.

Na realidade, 105 pacientes no exemplo têm a infecção, e 60 pacientes não têm.

Que tal caracterizarmos actualmente os termos mais fundamentais, que são números inteiros (não taxas):

verdadeiros positivos (TP): Estes são casos em que previmos que sim (eles têm a doença), e eles têm a doença.

verdadeiros negativos (TN): Nós previmos que não, e eles não têm a doença.

falsos positivos (PF): Nós previmos que sim, mas eles não têm a doença. (Também conhecido como um “erro do tipo I”).

falsos negativos (FN): Nós previmos que não, mas na verdade eles têm a doença. (Também conhecido como um “erro do tipo II”).

Adicionei estes termos à matriz de confusão, e também adicionei os totais das linhas e colunas:

Há duas classes antecipadas concebíveis: “sim” e “não”. No caso de estarmos antecipando a proximidade de uma doença, por exemplo, “sim” significaria que eles têm a infecção, e “não” significaria que eles não têm a doença.

O classificador fez uma soma de 165 expectativas (por exemplo, 165 pacientes estavam sendo julgados para a proximidade daquele mal).

Desses 165 casos, o classificador antecipou “sim” várias vezes, e “não” várias vezes.

Como regra geral, 105 pacientes no exemplo têm a doença, e 60 pacientes não têm.

Devemos agora caracterizar os termos mais essenciais, que são números inteiros (e não taxas):

verdadeiros positivos (TP): Estes são casos em que previmos que sim (eles têm a doença), e eles têm a doença.

verdadeiros negativos (TN): Nós previmos que não, e eles não têm a doença.

falsos positivos (PF): Nós previmos que sim, mas eles não têm a doença. (Também conhecido como um “erro do tipo I”).

falsos negativos (FN): Nós previmos que não, mas na verdade eles têm a doença. (Também conhecido como um “erro do tipo II”).

Acrescentei estes termos à malha de desarticulação e, além disso, incluí a linha e os agregados de segmentos: não podemos aprender com esta matriz?

Este é um resumo das tarifas que são regularmente processadas a partir de uma rede de perplexidade para um classificador duplo:

Precisão : Em geral, com que regularidade o classificador está certo?

(TP+TN)/tudo fora = (100+50)/165 = 0,91

Taxa de erro de classificação: De um modo geral, com que regularidade é errado?

(FP+FN)/all out = (10+5)/165 = 0.09

Proporcional a 1 curta Exactidão

também chamado de “Taxa de Erros”.

Taxa Positiva Verdadeira: Quando é realmente verdade, com que frequência prevê que sim?

TP/real sim = 100/105 = 0,95

de outra forma chamado “Affectability” ou “Review”.

Falsa Taxa Positiva: Quando está calmo, com que frequência prevê que sim?

PF/real não = 10/60 = 0,17

Taxa Negativa Verdadeira: Quando é totalmente, com que regularidade prevê que não?

TN/não real = 50/60 = 0,83

igual a 1 taxa falsa-positiva curta

também chamada de “Explicidade”.

precisão : Quando prediz verdadeiramente, com que regularidade é correcto?

TP/anticipado sim = 100/110 = 0,91

Pervalência: Com que regularidade a condição do sim realmente acontece no nosso exemplo?

genuíno sim/tudo fora = 105/165 = 0,64

Vale também a pena referir alguns termos diferentes:

Taxa de Erros Inválidos: Este é o meio pelo qual regularmente você não estaria certo sobre a chance de você geralmente antecipar a classe de ações do leão. (Em nosso modelo, a taxa de erro inválido seria 60/165=0,36 em tal caso que você geralmente antecipou verdadeiramente, você simplesmente não estaria certo para os 60 casos de “não”). Isto pode ser um padrão métrico útil para pensar no seu classificador contra. Em qualquer caso, o melhor classificador para uma aplicação específica terá, em alguns casos, uma taxa de erro mais elevada do que a taxa de erro inválida, como mostra o Precision Catch 22.

Cohen’s Kappa: Esta é basicamente uma proporção de quão bem o classificador foi executado quando comparado com o quão bem ele teria sido executado essencialmente por alguma coincidência. No final do dia, um modelo terá uma pontuação Kappa alta se houver uma grande distinção entre a precisão e a taxa de erro inválida. (Mais informações sobre a Kappa de Cohen).

F Pontuação: Este é um normal ponderado da taxa positiva genuína (revisão) e exactidão. (Mais informações sobre a Pontuação F).

ROC Bend: Este é um gráfico normalmente utilizado que esboça a apresentação de um classificador sobre cada borda concebível. Ele é criado traçando a Genuine Positive Rate (y-pivot) contra a Bogus Positive Rate (x-hub) à medida que você muda o limite para relegar as percepções para uma determinada classe. (Mais percepções em relação às curvas ROC).

Finalmente, para aqueles de vocês do universo de insights Bayesianos, aqui está uma sinopse viva destes termos da Exposição Presciente Aplicada:

Em conexão com as medições Bayesianas, a afetividade e a explicitação são as probabilidades restritivas, a abrangência é a anterior e as qualidades positivas/negativas antecipadas são as probabilidades posteriores.