Elegir las medidas correctas para las empresas de pedidos…

Bien, ¿aceptar a alguien que profesa hacer un modelo completamente en su mente para reconocer a los opresores psicológicos que intentan cargar los vuelos con una precisión más notable que el 99%? Considerando todas las cosas, aquí está el modelo: sólo marca a todos los que vuelan desde una terminal aérea de EE.UU. como no un militante psicológico. Dados los 800 millones de viajeros normales en los vuelos de EE.UU. cada año y los 19 (afirmados) traficantes de miedo que se cargaron en los vuelos de EE.UU. de 2000 a 2017, este modelo logra una asombrosa precisión del 99,9999999%! Eso puede sonar increíble, sin embargo, tengo la duda de que la División de Seguridad Nacional de los EE.UU. no llamará en un futuro próximo para comprar este modelo. Mientras que este arreglo tiene una exactitud casi impecable, este asunto es uno en el que la precisión no es obviamente una medida satisfactoria!

La tarea de descubrir el miedo es un asunto de arreglo desequilibrado: tenemos dos clases que tenemos que distinguir – opresores psicológicos y no opresores psicológicos – con una clasificación que habla de la mayor parte de los focos de información. Otra cuestión de orden desequilibrado ocurre en la identificación de infecciones cuando el ritmo de la dolencia en las personas, en general, es extremadamente bajo. En ambos casos la clase positiva – enfermedad u opresor psicológico – se ve enormemente empequeñecida por la clase negativa. Este tipo de cuestiones son ejemplos del caso genuinamente normal en la ciencia de la información cuando la precisión no es ciertamente una medida decente para la ejecución de modelos de encuesta.

Instintivamente, nos damos cuenta de que la difusión de toda la información enfocada como negativa en el tema de la identificación del opresor basada en el miedo no es útil y, más bien, debemos concentrarnos en reconocer los casos positivos. La métrica que nuestro instinto nos revela que debemos amplificar se refiere en las mediciones como revisión, o la capacidad de un modelo para descubrir todos los casos aplicables dentro de un conjunto de datos. El significado exacto de revisión es el número de positivos genuinos dividido por el número de positivos genuinos además del número de negativos falsos. Los positivos genuinos son puntos de información denominados positivos por el modelo que realmente son seguros (lo que significa que son correctos), y los negativos falsos son focos de información que el modelo distingue como negativos que realmente son seguros (equivocados). En el caso de la opresión basada en el miedo, los genuinos positivos son opresores psicológicos efectivamente reconocidos, y los falsos negativos serían personas que el modelo marca como no militantes psicológicos que realmente eran traficantes de miedo. Una revisión puede pensarse como la capacidad de un modelo para descubrir cada uno de los puntos focales de información en un conjunto de datos.

puede ver algo sobre esta condición: en la remota posibilidad de que nombremos a todas las personas como militantes psicológicos, en ese punto nuestra revisión va a 1.0! Tenemos un clasificador ideal, ¿verdad? Considerando todas las cosas, no en realidad. De la misma manera, con la mayoría de las ideas de la ciencia de la información, hay un intercambio en las medidas que decidimos aumentar. A causa de la revisión, cuando aumentamos la revisión, disminuimos la precisión. Una vez más, nos damos cuenta instintivamente de que un modelo que marca el 100% de los viajeros como militantes psicológicos no es muy útil a la luz del hecho de que entonces tendríamos que prohibir a todo el mundo que volara. Las mediciones nos proporcionan la jerga para expresar nuestro instinto: este nuevo modelo experimentaría los malos efectos de la baja precisión, o la capacidad de un modelo de disposición para reconocer sólo los focos de información aplicables.

La exactitud se caracteriza por el número de positivos genuinos separados por el número de positivos genuinos además del número de positivos falsos. Los falsos positivos son casos que el modelo nombra incorrectamente como positivos que son realmente negativos, o en nuestro modelo, personas que el modelo organiza como opresores basados en el miedo que ciertamente no lo son. Mientras que la revisión comunica la capacidad de localizar cada uno de los ejemplos pertinentes en un conjunto de datos, la precisión comunica el alcance de los enfoques de la información que nuestro modelo dice que eran significativos realmente eran importantes.

Actualmente, podemos ver que nuestro primer modelo que nombraba a todas las personas como no militantes psicológicos no fue muy útil. A pesar del hecho de que tenía una exactitud impecable, tenía 0 de exactitud y 0 de críticas, sobre la base de que no había ningún positivo evidente! Asumamos que cambiamos el modelo marginalmente, y distinguimos a un individuo solitario efectivamente como un opresor psicológico. Actualmente, nuestra exactitud será de 1.0 (no hay falsos positivos), pero nuestra revisión será extremadamente baja ya que, en cualquier caso, tendremos numerosos falsos negativos. En el caso de que vayamos a la próxima atrocidad y organicemos a todos los viajeros como opresores basados en el miedo, tendremos una revisión de 1.0 – conseguiremos cada militante psicológico – sin embargo nuestra exactitud será baja y mantendremos numerosas personas honestas. Al final del día, a medida que aumentamos la exactitud declinamos la revisión y al revés.

Consolidación de la precisión y el examen

En ciertas circunstancias, podemos darnos cuenta de que necesitamos aumentar la revisión o la precisión en detrimento de la otra medición. Por ejemplo, en la evaluación inicial de los pacientes para las evaluaciones de seguimiento, lo más probable es que necesitemos una revisión cercana a 1.0 – necesitamos descubrir a todos los pacientes que realmente tienen la enfermedad – y podemos reconocer una baja precisión si el gasto de la evaluación posterior no es enorme. Sea como fuere, en situaciones en las que necesitemos localizar una mezcla ideal de exactitud y revisión podemos unir las dos medidas utilizando lo que se conoce como la puntuación F1.

El puntaje F1 es la media consonante de exactitud y revisión considerando las dos medidas en la condición acompañante:

Utilizamos la consonante media en lugar de una normal, ya que rechaza las cualidades extraordinarias. Un clasificador con una exactitud de 1,0 y una revisión de 0,0 tiene una normalidad básica de 0,5, sin embargo una puntuación F1 de 0. La puntuación F1 da una carga equivalente a las dos medidas y es un caso particular de la métrica general Fβ donde β puede ser aclimatada para dar más peso a la revisión o a la exactitud. (Existen diferentes medidas para consolidar la exactitud y la revisión, por ejemplo, la media geométrica de la exactitud y la revisión, sin embargo la puntuación F1 es la más utilizada habitualmente). En el caso de que necesitemos hacer un modelo de orden decente con la ecualización ideal de revisión y exactitud, en ese punto intentamos amplificar la puntuación de la F1.

Imaginando la Exactitud y la Revisión

Te he lanzado un par de nuevos términos y vamos a dar un paseo por una guía para mostrar cómo se utilizan en la práctica. Antes de que podamos llegar, sin embargo, tenemos que discutir rápidamente dos ideas utilizadas para indicar la exactitud y la revisión.

En primer lugar, la matriz de confusión, que es valiosa para determinar rápidamente la exactitud y la revisión dadas las marcas anticipadas de un modelo. Una red de desorden para la caracterización paralela muestra los cuatro resultados distintos: positivo genuino, positivo falso, negativo genuino y negativo falso. Las cualidades genuinas estructuran las secciones, y las cualidades anticipadas (marcas) estructuran las líneas. El punto de cruce de las líneas y secciones muestra uno de los cuatro resultados. Por ejemplo, en la remota posibilidad de que preveamos un punto de información es cierto, sin embargo, es realmente negativo, esto es un falso positivo.

Pasar de la cuadrícula de desorden a la de revisión y precisión requiere encontrar las estimaciones separadas en la red y aplicar las condiciones:

La otra estrategia de representación primaria para indicar la exhibición de un modelo de caracterización es la curva de la marca de trabajo del receptor (ROC). ¡Trata de no darle al nombre enredado la oportunidad de alejarte! El pensamiento es generalmente básico: la curva ROC muestra cómo la relación de revisión versus exactitud cambia a medida que desplazamos el límite para reconocer un positivo en nuestro modelo. El límite habla del incentivo por encima del cual se considera un punto de información en la clase positiva. En el caso de que tengamos un modelo para distinguir una infección, nuestro modelo puede dar una puntuación para cada paciente en algún punto del rango de 0 y 1 y podemos establecer un límite en este rango para nombrar a un paciente como que tiene la enfermedad (un nombre positivo). Modificando el límite, podemos intentar lograr el equilibrio correcto de exactitud versus revisión.

Una curva ROC traza la tasa positiva genuina en el y-hub frente a la tasa positiva falsa en el x-hub. La tasa positiva genuina (TPR) es la revisión y la tasa positiva falsa (FPR) es la probabilidad de una falsa cautela. Ambas pueden determinarse a partir del marco de perplejidad:

A continuación se muestra una curva ROC típica:

La línea oscura inclinada demuestra un clasificador irregular y las curvas rojas y azules muestran dos modelos de disposición distintivos. Para un modelo dado, podemos permanecer en una curva, pero podemos movernos a lo largo de la curva cambiando nuestro borde para arreglar un caso positivo. En su mayor parte, al declinar el borde, nos movemos hacia un lado y hacia arriba a lo largo de la curva. Con un límite de 1,0, estaríamos en la parte inferior izquierda del diagrama, ya que no distinguimos ninguna información indicativa como positiva conduciendo ningún caso positivo evidente y ningún caso positivo falso (TPR = FPR = 0). A medida que bajamos el límite, reconocemos más focos de información como positivos, impulsando todos los positivos más evidentes, pero además todos los positivos más falsos (el incremento de TPR y FPR). Al final, en un borde de 0.0 reconocemos todos los focos de información como positivos y terminamos en la esquina superior derecha de la curva ROC (TPR = FPR = 1.0).

Por fin podemos evaluar la curva ROC de un modelo determinando la Región Bajo la Curva (AUC), una métrica que cae en algún lugar del rango de 0 y 1 con un número mayor que demuestra una mejor ejecución de la disposición. En el diagrama de arriba, el AUC para la curva azul será más prominente que el de la curva roja, lo que significa que el modelo azul es mejor para lograr una mezcla de precisión y revisión. Un clasificador arbitrario (la línea oscura) logra un AUC de 0,5.