We zijn ons allemaal bewust van de twee gemeenschappelijke vormen van Regressie, namelijk logistiek en lineaire Regressie. Beide onderwerpen zijn basisconcepten van Machine Learning. We ervaren overfitting in een model door het vergroten van de mate van vrijheid in regressiemodellen. We kunnen de overfitting overwinnen met behulp van regularisatietechnieken. De twee technieken voor het verminderen van overfitting kunnen gebruik maken van lasso en ridge regressie. Hieronder zullen we het concept van Lasso Regressie begrijpen. We zullen bespreken hoe het anders is en hoe het vergelijkbaar is met Ridge Regression.
Wat is Regressie?
Je kunt de continue waarde van een model voorspellen door middel van het regressiemodel. Zo kunt u bijvoorbeeld vastgoedprijzen voorspellen, afhankelijk van de grootte, de locatie en de kenmerken van het huis. Dit is het eenvoudigste voorbeeld van het begrijpen van regressie. Regressie is een techniek onder toezicht.
Wat is Regressie?
De term regularisatie betekent het aanvaardbaar of regelmatig maken van de voorwaarden. Daarom gebruiken we deze techniek vaak in het machinale leerproces. In het machinaal leren betekent regulariseren het verkleinen of regulariseren van de gegevens naar nulwaarde. Met andere woorden, je kunt regularisatie gebruiken om overfitting te voorkomen door het leervermogen of de flexibiliteit van een machinaal leermodel te beperken.
Soorten regularisatie
Er zijn twee basistypes van regularisatietechnieken. Deze technieken zijn Ridge Regression en Lasso Regression. Hun methode om de coëfficiënt te bestraffen is verschillend. Beide technieken helpen echter bij het verminderen van overfitting in een model.
Lasso Regressie
Deze techniek is een soort lineaire regressie en helpt bij het verkleinen van de beperking van het model. De gegevenswaarden krimpen naar het centrum of naar het gemiddelde om overfitting van de gegevens te voorkomen. Met behulp van de context van Ridge Regression, zullen we deze techniek hieronder in eenvoudige bewoordingen in detail begrijpen.
Inzicht in het concept van Lasso Regressie
Hoe Ridge en Lasso Regressie hetzelfde zijn…
Lasso regressie lijkt sterk op het concept van Ridge regressie. We kunnen Lasso regressie begrijpen door een voorbeeld te overwegen. Stel dat we een stel muizen hebben. We kunnen beginnen met het maken van een grafiek van het gewicht en de grootte van de individuele muizen. Op de verticale lijn van de grafiek nemen we de grootte, en op de horizontale lijn nemen we het gewicht.
Nu splitsen we deze gegevens op de grafiek op in twee verschillende sets voor een betere indeling. We zullen de trainingsgegevens als rode stippen op de grafiek markeren, en we zullen de testgegevens met de groene stippen markeren. Nu zullen we de Least Squares gebruiken en een lijn op de trainingsgegevens plaatsen.
In eenvoudige bewoordingen kunnen we zeggen dat we de som van de kwadraten moeten minimaliseren. Nadat we de lijn hebben geplaatst, kunnen we zien dat de trainingsgegevens een lage bias hebben. De Least Squares lijn zal niet passen in de testgegevens, of we kunnen zeggen dat de variantie hoog is.
Nu kunnen we gebruik maken van ridge regressie en de lijn op de gegevens passen. Door dit te doen, minimaliseren we de som van de kwadratische nokregressie en de lambda maal de kwadratische helling. Ridge regressie is de Least-squares plus de Ridge Regression Penalty.
De som van de kwadraatregressie + λ x de helling2
Uit de grafiek kunnen we opmaken dat de nokregressielijn en de minste-kwadraten niet zo goed bij elkaar passen als de trainingsgegevens. We kunnen zeggen dat de Minste-kwadraten een lagere bias hebben dan Ridge Regression. Echter, door de kleine Bias zie je een enorme daling in de variantie van de nokregressie.
Op dit punt in de grafiek kunnen we begrijpen dat we een lange termijn voorspelling kunnen krijgen door te beginnen met een iets slechtere Ridge regressie. Dit kan een probleem zijn. Laten we nu de vergelijking opnieuw bekijken:
De som van de kwadratische richelregressie +λx de helling2
Nu, als we het plein op de helling verwijderen, nemen we de absolute waarde, zullen we Lasso Regressie vinden.
De som van de kwadraatregressie + λ x │the slope│
Lasso regressie heeft ook weinig Bias, net als Ridge Regression, maar heeft minder Variant dan Least Squared. Beide soorten regressies lijken op elkaar en hebben dezelfde functie om de grootte van de trainingsgegevens minder gevoelig te maken. Bovendien kunt u beide regressies voor hetzelfde doel toepassen.
Hoe Ridge en Lasso Regressie verschillend zijn
Om het verschil tussen de Ridge en Lasso Regressie te begrijpen, moeten we terug naar de twee-steekproef trainingsgegevens en de lambda verhogen.
De som van de kwadratische nokregressie + λ x │the slope│
Dat is hetzelfde als het minimaliseren van de som van de kwadraten met constraint Σ |Bj≤ s. Sommige van de β’s zijn gekrompen tot precies nul, wat resulteert in een regressiemodel dat gemakkelijker te interpreteren is.
Een afstemmingsparameter, λ regelt de sterkte van de L1-boete. λ is in principe de hoeveelheid krimp:
Wanneer λ = 0, worden geen parameters geëlimineerd. De schatting is gelijk aan die gevonden met lineaire regressie.
Naarmate λ toeneemt, worden steeds meer coëfficiënten op nul gezet en geëlimineerd (theoretisch gezien worden bij λ = ∞ alle coëfficiënten geëlimineerd).
Naarmate λ toeneemt, neemt de vertekening toe.
Naarmate λ afneemt, neemt de variantie toe.
Conclusie
Uit bovenstaande uitleg kunnen we opmaken dat de Lasso Regressie de nutteloze variabelen uit de vergelijking kan elimineren. Dit type regressie is beter dan Ridge regressie en helpt bij het verminderen van de Varianties in een machine leermodel dat veel Varianties bevat.