Wir alle kennen die beiden gängigen Regressionstypen, die logistische und die lineare Regression. Beide gehören zu den grundlegenden Konzepten des maschinellen Lernens. Durch die Erhöhung der Freiheitsgrade in Regressionsmodellen kommt es zu einem Overfitting in einem Modell. Wir können das Overfitting mit Hilfe von Regularisierungstechniken überwinden. Die beiden Techniken zur Reduzierung von Overfitting-Problemen können Lasso- und Ridge-Regression verwenden. Im Folgenden werden wir das Konzept der Lasso-Regression verstehen. Wir gehen darauf ein, wie sie sich von der Ridge-Regression unterscheidet und wie sie ihr ähnelt.

Was ist Regression?

Mit Hilfe des Regressionsmodells können Sie den kontinuierlichen Wert eines Modells vorhersagen. So können Sie z. B. Immobilienpreise in Abhängigkeit von der Größe, der Lage und den Merkmalen des Hauses vorhersagen. Dies ist das einfachste Beispiel für das Verständnis von Regression. Regression ist eine überwachte Technik.

Was ist Regularisierung?

Der Begriff Regularisierung bedeutet, die Bedingungen akzeptabel oder regelmäßig zu machen. Aus diesem Grund wird diese Technik häufig beim maschinellen Lernen verwendet. Beim maschinellen Lernen bedeutet Regularisierung das Schrumpfen oder Regulieren der Daten in Richtung Nullwert. In einfachen Worten kann man Regularisierung verwenden, um Overfitting zu vermeiden, indem man die Lernfähigkeit oder Flexibilität eines maschinellen Lernmodells einschränkt.

Arten der Regularisierung

Es gibt zwei grundlegende Arten von Regularisierungstechniken. Diese Techniken sind Ridge-Regression und Lasso-Regression. Ihre Methode zur Bestrafung des Koeffizienten ist unterschiedlich. Beide Techniken helfen jedoch dabei, die Überanpassung in einem Modell zu reduzieren.

Lasso-Regression

Diese Technik ist eine Art der linearen Regression und hilft dabei, die Begrenzung des Modells zu verkleinern. Die Datenwerte schrumpfen auf den Mittelpunkt oder Mittelwert, um eine Überanpassung der Daten zu vermeiden. Anhand des Kontexts der Ridge-Regression werden wir diese Technik im Folgenden in einfachen Worten im Detail verstehen.

Verstehen des Konzepts der Lasso-Regression

Wie Ridge- und Lasso-Regression gleich sind

Die Lasso-Regression ist dem Konzept der Ridge-Regression sehr ähnlich. Wir können die Lasso-Regression verstehen, indem wir ein Beispiel betrachten. Angenommen, wir haben eine Gruppe von Mäusen. Wir können damit beginnen, ein Diagramm mit dem Gewicht und der Größe der einzelnen Mäuse zu erstellen. Auf der vertikalen Linie des Diagramms nehmen wir die Größe und auf der horizontalen Linie das Gewicht.
Nun teilen wir diese Daten auf dem Graphen in zwei verschiedene Sätze zur besseren Klassifizierung auf. Wir markieren die Trainingsdaten als rote Punkte im Diagramm und die Testdaten mit grünen Punkten. Nun verwenden wir die Methode der kleinsten Quadrate und legen eine Linie auf die Trainingsdaten.
In einfachen Worten können wir sagen, dass wir die Summe der quadrierten Residuen minimieren müssen. Nachdem wir die Linie angepasst haben, können wir sehen, dass die Trainingsdaten eine geringe Verzerrung aufweisen. Die Geraden der kleinsten Quadrate passt nicht zu den Testdaten, oder wir können sagen, dass die Varianz hoch ist.
Jetzt können wir Ridge-Regression verwenden und die Linie an die Daten anpassen. Auf diese Weise minimieren wir die Summe aus dem Quadrat der Ridge-Regression und Lambda mal der Steigung im Quadrat. Ridge-Regression ist die kleinste Quadratzahl plus die Ridge-Regressions-Strafe.
Die Summe der quadrierten Ridge-Regression + λ x die Steigung2
Aus dem Diagramm ist ersichtlich, dass die Ridge-Regressionslinie und die kleinste Quadratzahl nicht so gut passen wie die Trainingsdaten. Wir können sagen, dass die kleinsten Quadrate einen geringeren Bias als die Ridge-Regression haben. Aufgrund des kleinen Bias sehen Sie jedoch einen enormen Abfall der Varianz der Ridge-Regression.
An diesem Punkt im Diagramm können wir verstehen, dass wir eine langfristige Vorhersage erhalten können, wenn wir mit einer etwas schlechteren Ridge-Regression beginnen. Dies kann ein Problem sein. Lassen Sie uns nun die Gleichung erneut betrachten:
Die Summe der Quadrate der Ridge-Regression +λx die Steigung2
Wenn wir nun das Quadrat der Steigung entfernen und den absoluten Wert nehmen, erhalten wir die Lasso-Regression.
Die Summe der quadrierten Ridge-Regression + λ x │die Steigung│
Die Lasso-Regression hat ebenfalls eine geringe Verzerrung, genau wie die Ridge-Regression, hat aber eine geringere Varianz als die kleinste Quadratzahl. Beide Regressionstypen sehen ähnlich aus und erfüllen die gleiche Funktion, nämlich die Größe der Trainingsdaten weniger empfindlich zu machen. Außerdem können Sie beide Regressionsarten für denselben Zweck anwenden.

Wie sich Ridge- und Lasso-Regression unterscheiden

Um den Unterschied zwischen der Ridge- und Lasso-Regression zu verstehen, müssen wir zu den Trainingsdaten mit zwei Stichproben zurückkehren und das Lambda erhöhen.
Die Summe der Quadrate der Ridge-Regression + λ x │die Steigung│
Das ist dasselbe wie die Minimierung der Summe der Quadrate mit der Nebenbedingung Σ |Bj≤ s. Einige der βs werden auf genau Null geschrumpft, was zu einem Regressionsmodell führt, das einfacher zu interpretieren ist.
Ein Tuning-Parameter, λ, steuert die Stärke der L1-Strafe. λ ist im Grunde die Menge der Schrumpfung:
Wenn λ = 0 ist, werden keine Parameter eliminiert. Die Schätzung ist gleich derjenigen, die mit linearer Regression gefunden wurde.
Wenn λ zunimmt, werden immer mehr Koeffizienten auf Null gesetzt und eliminiert (theoretisch werden bei λ = ∞ alle Koeffizienten eliminiert).
Wenn λ zunimmt, steigt die Verzerrung.
Wenn λ sinkt, steigt die Varianz.

Schlussfolgerung

Aus der obigen Erklärung können wir verstehen, dass die Lasso-Regression die unbrauchbaren Variablen aus der Gleichung eliminieren kann. Diese Art der Regression ist besser als die Ridge-Regression und hilft bei der Reduzierung der Varianzen in einem Modell für maschinelles Lernen, das viele Varianzen enthält.