La regolarizzazione è essenziale nella macchina e nell’apprendimento profondo. Non è una tecnica complicata e semplifica il processo di apprendimento automatico. L’impostazione di un modello di apprendimento a macchina non consiste solo nell’alimentare i dati. Quando si addestra il modello attraverso l’apprendimento automatico con l’aiuto di reti neurali artificiali, si incontrano numerosi problemi. Questi problemi potrebbero influenzare drasticamente l’output. Questo articolo vi aiuterà a capire le tecniche che potete usare per ridurre i problemi durante il processo di machine learning.
Che cos’è la modularizzazione?
L’uso della regolarizzazione è lo stesso che il nome suggerisce. Regolarizzazione significa rendere le cose accettabili o regolari. La regolarizzazione è una tecnica che riduce l’errore di un modello evitando l’eccessivo adattamento e addestrando il modello a funzionare correttamente.
Sovradimensionamento
L’overfitting è un problema comune. Quando si alimenta eccessivamente il modello con dati che non contengono la capacità di gestire, inizia ad agire in modo irregolare. Questa irregolarità includerà il rumore invece del segnale nel risultato. Il vostro modello inizierà a considerare i dati non necessari come il concetto. Il termine usato per riferirsi a questo è “overfitting”, e porta a risultati imprecisi, diminuendo l’accuratezza e l’efficienza dei dati.
Supponiamo di dover prevedere se i neolaureati si qualificheranno per il colloquio. Addestreremo il nostro sistema con 20.000 curricula per vedere se si sono qualificati o meno. Il risultato che otterremo sarà accurato al 99%. Ora, testando il vostro modello con un set di dati completamente diverso, il risultato sarà inferiore al 50%. Questo accade perché il modello che stiamo formando non generalizza il risultato di dati non visti. Possiamo anche vedere l’adattamento nella nostra vita di tutti i giorni.
Rumore e segnale
Il segnale è un modello che aiuta il modello ad apprendere i dati rilevanti. Tuttavia, il rumore è una forma casuale e irrilevante dei dati che non si vuole coinvolgere nel risultato. Non vogliamo che i nostri modelli includano dati irrilevanti e influenzino i nostri risultati. La ragione di questa irregolarità è l’algoritmo del modello. Esso apprende e rimuove gli errori durante il processo di formazione.
La formazione per un periodo più lungo, anche dopo aver risolto tutti gli errori, diminuirà le prestazioni, poiché il modello inizierà ad apprendere dati irrilevanti. Questo renderà il nostro modello complicato e non riuscirà a generalizzare i nuovi dati. Un buon algoritmo separerà il rumore dal segnale.
Come funziona la regolarizzazione
Il motivo principale per cui il modello è “sovradimensionato” è che non riesce a generalizzare i dati a causa della troppa irrilevanza. Tuttavia, la regolarizzazione è un metodo efficace che migliora la precisione del modello e riduce le variazioni non necessarie.
Inoltre, questa tecnica evita anche la perdita di dati importanti, che avviene con il sottoadattamento. La regolarizzazione aiuta il modello ad apprendere applicando esempi appresi in precedenza ai nuovi dati non visti. Si può anche ridurre la capacità del modello guidando vari parametri a zero. La regolarizzazione rimuoverà i pesi aggiuntivi dalle caratteristiche specifiche e distribuirà tali pesi in modo uniforme.
Cerchiamo di capire come funziona. Quando vogliamo che il modello funzioni correttamente, definiamo la funzione di perdita. Questa funzione di perdita definirà le prestazioni del modello in base ai dati del calcolo delle perdite. Dobbiamo ridurre al minimo la perdita per trovare il modello che vogliamo. Per questo, la regolarizzazione aggiunge lambda per penalizzare la funzione di perdita. Otteniamo la soluzione ottimale da questa tecnica in quanto rifiuta gli errori di formazione elevati con valori lambda più piccoli e rifiuta i modelli di maggiore complessità con valori lambda più elevati.
Tipi di tecniche di regolarizzazione
1.L1 Regolarizzazione
Il modello di regressione di questa tecnica di regolarizzazione si chiama Regressione Lasso. Il modello di regressione è un termine di penalizzazione. Lazo è l’abbreviazione di Least Absolute Shrinkage and Selection Operator. Il Lazo aggiunge il valore assoluto della grandezza al coefficiente. Questi valori sono termini di penalizzazione della funzione di perdita.
2.L2 Regolarizzazione
D’altra parte, il modello di regressione della regolarizzazione L2 è la regressione di cresta. In questa regolarizzazione, il termine di penalizzazione della funzione di perdita è la grandezza al quadrato del coefficiente. In questo metodo, il valore di lambda è pari a zero perché aggiungendo un grande valore di lambda si aggiungono più pesi, causando un sottoadattamento.
Scelta tra la regolarizzazione L1 e L2
Per scegliere la tecnica di regolarizzazione tra L1 e L2, è necessario considerare la quantità dei dati. Se i dati sono più grandi, si dovrebbe utilizzare la regolarizzazione L2. Se invece i dati sono piccoli, è necessario scegliere la regolarizzazione L1.
3. Regolarizzazione Dropout
Secondo Wikipedia, abbandonare significa abbandonare le unità visibili o nascoste. In parole povere, abbandonare significa ignorare le unità o i neuroni durante l’addestramento del modello. Il modello non prenderà in considerazione queste unità quando passa i dati attraverso una rete neurale artificiale. In questo modo si eviterà l’overfitting dei dati di addestramento.
4. Aumento dei dati
Nella tecnica di aumento dei dati, si aumenta la dimensione dei dati rilevanti o del segnale che si desidera includere nell’uscita. Il motivo principale per cui il modello non è generalizzato è l’overfitting. Tuttavia, quando la dimensione dei dati rilevanti aumenta, il modello non prenderà in considerazione l’aggiunta di rumore.
Conclusione
Quando addestriamo il nostro modello attraverso l’apprendimento macchina supervisionato, alimentiamo i dati dell’addestramento. Ora il modello imparerà attraverso i modelli dei dati di formazione. Ci aspettiamo che il modello definisca i modelli solo attraverso il segnale, che è un dato rilevante. Tuttavia, il modello include anche il rumore. Questo influisce sulle prestazioni del modello durante l’esame dei nuovi dati.
È qui che la tecnica di regolarizzazione aiuta. Essa riduce la complessità aggiungendo una penalità. Ci sono due tipi comuni di tecniche di regolarizzazione. L1 riduce al minimo il valore dei pesi, e L2 riduce al minimo la grandezza al quadrato. Tuttavia, ci sono altre due tecniche per evitare l’overfitting, una è “drop out” e l’altra è “data augmentation”. Il “drop out” ignorerà le unità irrilevanti o il rumore, e l’aumento dei dati aumenterà la dimensione del segnale.