Siamo tutti consapevoli dei due tipi comuni di Regressione, logistica e Regressione lineare. Entrambi questi argomenti sono concetti di base del Machine Learning. Sperimentiamo l’overfitting in un modello aumentando il grado di libertà nei modelli di regressione. Possiamo superare l’overfitting con l’aiuto delle tecniche di regolarizzazione. Le due tecniche per ridurre i problemi di overfitting possono utilizzare la regressione al lazo e al colmo. Di seguito, comprenderemo il concetto di regressione del lazo. Analizzeremo come è diverso e simile alla Regressione di cresta.

Che cos’è la Regressione?

È possibile prevedere il valore continuo di un modello attraverso il modello di regressione. Ad esempio, si possono prevedere i prezzi degli immobili a seconda delle dimensioni, della posizione e delle caratteristiche della casa. Questo è l’esempio più semplice per comprendere la regressione. La regressione è una tecnica supervisionata.

Che cos’è la regolarizzazione?

Il termine regolarizzazione significa rendere le condizioni accettabili o regolari. Per questo motivo usiamo comunemente questa tecnica nel processo di apprendimento automatico. Nell’apprendimento automatico, regolarizzare significa ridurre o regolarizzare i dati verso il valore zero. In parole povere, si può usare la regolarizzazione per evitare l’overfitting limitando la capacità di apprendimento o la flessibilità di un modello di machine learning.

Tipi di regolarizzazione

Esistono due tipi fondamentali di tecniche di regolarizzazione. Queste tecniche sono la Regressione della cresta e la Regressione del lazo. Il loro metodo di penalizzare il coefficiente è diverso. Tuttavia, entrambe le tecniche aiutano a ridurre l’overfitting in un modello.

Regressione Lazo

Questa tecnica è un tipo di regressione lineare e aiuta a ridurre la limitazione del modello. I valori dei dati si restringono al centro o si riducono per evitare l’eccessivo adattamento dei dati. Utilizzando il contesto di Ridge Regression, comprenderemo questa tecnica in dettaglio qui di seguito in parole semplici.

Comprendere il concetto di Regressione di Lasso

Come la cresta e la regressione del lazo sono uguali

La regressione del lazo è molto simile al concetto di regressione del crinale. Possiamo capire la regressione del lazo considerando un esempio. Supponiamo di avere un gruppo di topi. Possiamo iniziare a fare un grafico del peso e delle dimensioni dei singoli topi. Sulla linea verticale del grafico, prendiamo la dimensione, e sulla linea orizzontale, prendiamo il peso.
Ora dividiamo questi dati sul grafico in due serie diverse per una migliore classificazione. Metteremo in evidenza i dati dell’allenamento come punti rossi sul grafico, ed evidenzieremo i dati dei test con i punti verdi. Ora, useremo i Least Squares e metteremo una linea sui dati dell’allenamento.
In parole semplici, possiamo dire che dobbiamo ridurre al minimo la somma dei residui al quadrato. Dopo aver inserito la linea, possiamo vedere che i dati dell’allenamento hanno una bassa distorsione. La linea dei Least Squares non si adatta ai dati dei test, oppure possiamo dire che la varianza è alta.
Ora, possiamo usare la regressione della cresta e adattare la linea ai dati. Facendo questo, stiamo minimizzando la somma della regressione di cresta al quadrato e lambda volte la pendenza al quadrato. La regressione di cresta è la meno quadrata più la penalità della regressione di cresta.
La somma della regressione di cresta al quadrato + λ x la pendenza2
Dal grafico si vede che la linea di regressione della cresta e i minimi quadrati non si adattano l’uno all’altro, così come i dati dell’allenamento. Possiamo dire che i minimi quadrati hanno un bias inferiore rispetto alla regressione di cresta. Tuttavia, a causa del piccolo Bias, si vedrà un enorme calo nella varianza della regressione di cresta.
A questo punto del grafico, possiamo capire che si può ottenere una previsione a lungo termine partendo da una regressione di cresta leggermente peggiore. Questo può essere un problema. Ora consideriamo di nuovo l’equazione:
La somma della regressione al quadrato della cresta +λx la pendenza2
Ora, se togliamo il quadrato sul pendio, prendiamo il valore assoluto, troveremo la Regressione Lasso.
La somma della regressione al quadrato della cresta + λ x │the slope│
Anche la regressione del lazo ha poca parzialità, proprio come la regressione del crinale, ma ha meno variazione rispetto al quadrato minimo. Entrambi questi tipi di regressioni hanno un aspetto simile e svolgono la stessa funzione di rendere meno sensibile la dimensione dei dati di allenamento. Inoltre, è possibile applicare entrambe le regressioni per lo stesso scopo.

Come sono diverse la regressione di cresta e la regressione del lazo

Per capire la differenza tra la Regressione di Cresta e la Regressione di Lasso, dobbiamo tornare ai dati dell’allenamento a due campioni e aumentare la lambda.
La somma della regressione al quadrato della cresta + λ x │the slope│
Il che equivale a minimizzare la somma dei quadrati con vincolo Σ |Bj≤ s. Alcuni dei β sono ridotti esattamente a zero, con il risultato di un modello di regressione più facile da interpretare.
Un parametro di sintonia, λ controlla la forza della penalità L1. λ è fondamentalmente la quantità di restringimento:
Quando λ = 0, nessun parametro viene eliminato. La stima è uguale a quella che si trova con la regressione lineare.
All’aumentare di λ, sempre più coefficienti sono impostati a zero ed eliminati (teoricamente, quando λ = ∞, tutti i coefficienti sono eliminati).
All’aumentare di λ, aumenta il bias.
Man mano che λ diminuisce, la varianza aumenta.

Conclusione

Dalla spiegazione di cui sopra, possiamo capire che la Regressione Lasso può eliminare le variabili inutili dall’equazione. Questo tipo di regressione è migliore della regressione di Ridge e aiuta a ridurre le Varianti in un modello di apprendimento a macchina che contiene molte Varianti.