Todos somos conscientes de los dos tipos comunes de Regresión, la logística y la Regresión lineal. Ambos temas son conceptos básicos del aprendizaje de la máquina. Experimentamos el sobreajuste en un modelo aumentando el grado de libertad en los modelos de regresión. Podemos superar el overfitting con la ayuda de técnicas de regularización. Las dos técnicas para reducir los problemas de sobreajuste pueden utilizar la regresión de lazo y de cresta. A continuación, comprenderemos el concepto de Regresión de lazo. Repasaremos cómo es diferente y similar a la Regresión de la Cresta.

Qué es la regresión?

Se puede predecir el valor continuo de un modelo a través del modelo de regresión. Por ejemplo, puedes predecir los precios de los bienes raíces dependiendo del tamaño, ubicación y características de la casa. Este es el ejemplo más simple para entender la regresión. La regresión es una técnica supervisada.

Qué es la regularización?

El término regularización significa hacer que las condiciones sean aceptables o regulares. Es por eso que comúnmente usamos esta técnica en el proceso de aprendizaje de la máquina. En el aprendizaje automático, regularización significa encoger o regularizar los datos hacia el valor cero. En palabras sencillas, se puede utilizar la regularización para evitar la sobrecarga limitando la capacidad de aprendizaje o la flexibilidad de un modelo de aprendizaje automático.

Tipos de regularización

Hay dos tipos básicos de técnicas de regularización. Estas técnicas son la regresión de la cresta y la regresión del lazo. Su método de penalizar el coeficiente es diferente. Sin embargo, ambas técnicas ayudan a reducir el exceso de ajuste en un modelo.

Regresión del lazo

Esta técnica es un tipo de regresión lineal y ayuda a reducir la limitación del modelo. Los valores de los datos se reducen al centro o a la media para evitar que los datos se superpongan. Usando el contexto de la Regresión de la Cresta, entenderemos esta técnica en detalle más adelante en palabras sencillas.

Entendiendo el concepto de Regresión de Lazo

Cómo la regresión de la cresta y el lazo son iguales

La regresión del lazo es muy similar al concepto de regresión de Ridge. Podemos entender la regresión de Lasso considerando un ejemplo. Supongamos que tenemos un grupo de ratones. Podemos empezar haciendo un gráfico del peso y el tamaño de los ratones individuales. En la línea vertical del gráfico, tomamos el tamaño, y en la línea horizontal, tomaremos el peso.
Ahora dividimos estos datos en el gráfico en dos conjuntos diferentes para una mejor clasificación. Destacaremos los datos de entrenamiento como puntos rojos en el gráfico, y destacaremos los datos de prueba con los puntos verdes. Ahora, usaremos los Cuadrados Mínimos y pondremos una línea en los datos de entrenamiento.
En palabras simples, podemos decir que necesitamos minimizar la suma de los residuos cuadrados. Después de ajustar la línea, podemos ver que los datos de entrenamiento tienen un bajo sesgo. La línea de los mínimos cuadrados no se ajustará a los datos de la prueba, o podemos decir que la varianza es alta.
Ahora, podemos usar la regresión de la cresta y ajustar la línea en los datos. Al hacer esto, estamos minimizando la suma de la regresión al cuadrado de la cresta y lambda por el cuadrado de la pendiente. La regresión de la cresta es el mínimo cuadrado más el penal de la regresión de la cresta.
La suma de la regresión al cuadrado de la cresta + λ x la pendiente2
En el gráfico podemos ver que la línea de regresión de la cresta y los mínimos cuadrados no encajan entre sí, así como los datos de entrenamiento. Podemos decir que los mínimos cuadrados tienen un sesgo menor que la regresión de la cresta. Sin embargo, debido al pequeño Sesgo, se verá una enorme caída en la varianza de la regresión de la cresta.
En este punto del gráfico, podemos entender que podemos obtener una predicción a largo plazo empezando con una regresión de la cresta un poco peor. Esto puede ser un problema. Ahora consideremos la ecuación de nuevo:
La suma de la regresión cuadrada de la cresta +λx la pendiente2
Ahora, si quitamos el cuadrado de la pendiente, tomamos el valor absoluto, encontraremos la Regresión del Lazo.
La suma de la regresión de la cresta al cuadrado + λ x │the slope│
La regresión del lazo también tiene poco sesgo, como la regresión de la cresta, pero tiene menos variación que la del cuadrado mínimo. Ambos tipos de regresiones se ven similares y realizan la misma función de hacer el tamaño de los datos de entrenamiento menos sensible. Además, puedes aplicar ambas regresiones con el mismo propósito.

Cómo la regresión de cresta y la de lazo son diferentes

Para entender la diferencia entre la regresión de la cresta y la del lazo, tenemos que volver a los datos de entrenamiento de dos muestras y aumentar la lambda.
La suma de la regresión cuadrada de la cresta + λ x │the slope│
Lo que es lo mismo que minimizar la suma de los cuadrados con la restricción Σ |Bj≤ s. Algunos de los βs se reducen a exactamente cero, lo que resulta en un modelo de regresión más fácil de interpretar.
Un parámetro de ajuste, λ controla la fuerza de la penalización L1. λ es básicamente la cantidad de contracción:
Cuando λ = 0, no se eliminan los parámetros. La estimación es igual a la que se encuentra con la regresión lineal.
A medida que λ aumenta, más y más coeficientes se ponen a cero y se eliminan (teóricamente, cuando λ = ∞, todos los coeficientes se eliminan).
A medida que λ aumenta, el sesgo aumenta.
A medida que λ disminuye, la varianza aumenta.

Conclusión

A partir de la explicación anterior, podemos entender que la Regresión del Lazo puede eliminar las variables inútiles de la ecuación. Este tipo de regresión es mejor que la regresión de Ridge y ayuda a reducir las Varianzas en un modelo de aprendizaje de máquina que contiene muchas Varianzas.