Regularisatie is essentieel in het machinaal en diepgaand leren. Het is geen ingewikkelde techniek en het vereenvoudigt het machinale leerproces. Het opzetten van een machinaal leermodel gaat niet alleen over het invoeren van de gegevens. Wanneer u uw model door middel van machinaal leren met behulp van kunstmatige neurale netwerken traint, zult u tal van problemen tegenkomen. Deze problemen kunnen de output drastisch beïnvloeden. Dit artikel zal u helpen om de technieken te begrijpen die u kunt gebruiken om de problemen tijdens het machinaal leerproces te verminderen.

Wat is Regularisatie?

Het gebruik van regularisatie is hetzelfde als de naam doet vermoeden. Regularisatie betekent dat je dingen acceptabel of regelmatig moet maken. Regularisatie is een techniek die de fouten van een model vermindert door overfitting te vermijden en het model te trainen om goed te functioneren.

Overfitting

Overfitting is een veelvoorkomend probleem. Wanneer u het model overvoert met gegevens die niet de capaciteit bevatten om te verwerken, begint het onregelmatig te werken. Deze onregelmatigheid zal ruis in plaats van signaal in de uitkomst opnemen. Uw model zal de onnodige gegevens gaan beschouwen als het concept. De term die hiervoor wordt gebruikt is “overfitting”, en het leidt tot onnauwkeurige uitvoer – waardoor de nauwkeurigheid en efficiëntie van de gegevens afneemt.
Stel dat we moeten voorspellen of de pas afgestudeerde studenten in aanmerking komen voor het interview. We zullen ons systeem met 20.000 cv’s trainen om te zien of ze gekwalificeerd zijn of niet. Het resultaat dat we zullen krijgen zal 99 procent accuraat zijn. Nu u uw model met een compleet andere dataset test, zal het resultaat minder dan 50 procent zijn. Dit gebeurt omdat het model dat we trainen de uitkomst van ongeziene gegevens niet veralgemeniseert. We zien het ook passen in ons dagelijks leven.

Geluid en signaal

Het signaal is een patroon dat het model helpt om de relevante gegevens te leren. Ruis is echter een willekeurige en irrelevante vorm van de gegevens die je niet wilt betrekken bij het resultaat. We willen niet dat onze modellen irrelevante gegevens bevatten en onze resultaten beïnvloeden. De reden voor deze onregelmatigheid is het algoritme van het model. Het leert en verwijdert de fouten tijdens het opleidingsproces.
Training voor een langere periode, zelfs na het oplossen van alle fouten, zal de prestaties verminderen, omdat het model irrelevante gegevens begint te leren. Dit maakt ons model gecompliceerd en het slaagt er niet in om nieuwe gegevens te veralgemenen. Een goed algoritme zal ruis en signaal scheiden.

Hoe de regularisatie werkt

De belangrijkste reden waarom het model “overfitting” is, is dat het er niet in slaagt de gegevens te veralgemenen vanwege te veel irrelevantie. Regularisatie is echter een effectieve methode die de nauwkeurigheid van het model verbetert en onnodige variaties vermindert.
Bovendien vermijdt deze techniek ook het verlies van belangrijke gegevens, wat gebeurt bij onderfitting. Regularisatie helpt het model te leren door eerder geleerde voorbeelden toe te passen op de nieuwe ongeziene gegevens. U kunt ook de capaciteit van het model verminderen door verschillende parameters op nul te zetten. Door de regularisatie worden extra gewichten uit specifieke kenmerken verwijderd en worden deze gewichten gelijkmatig verdeeld.
Laat ons begrijpen hoe het werkt. Wanneer we willen dat het model goed werkt, definiëren we de verliesfunctie. Deze verliesfunctie zal de prestaties van het model definiëren aan de hand van de gegevens door middel van verliesberekening. We moeten het verlies minimaliseren om het model te vinden dat we willen. Hiervoor voegt de regularisatie lambda toe om de verliesfunctie te bestraffen. We krijgen de optimale oplossing van deze techniek omdat het hoge trainingsfouten met kleinere lambdawaarden afwijst en hogere complexiteitsmodellen met hogere lambdawaarden afwijst.

Soorten regularisatietechnieken

1. L1 Regularisatie

Het regressiemodel van deze regularisatietechniek heet Lasso Regressie. Het regressiemodel is een straftermijn. Lasso is een afkorting voor de minst absolute krimp en de Selectie Operator. Lasso voegt de absolute waarde van de grootte toe aan de coëfficiënt. Deze waarden zijn straftermijnen van de verliesfunctie.

2. L2 Regularisatie

Aan de andere kant is het regressiemodel van L2-reregularisatie nokregressie. In deze regularisatie is de straftermijn van de verliesfunctie de kwadratische grootte van de coëfficiënt. Bij deze methode is de waarde van lambda nul omdat het toevoegen van een grote waarde aan lambda meer gewichten toevoegt, waardoor er ondermaatse afwijkingen ontstaan.
Kiezen tussen L1 en L2 Regularisatie
Om de regularisatietechniek te kiezen tussen L1 en L2, moet u rekening houden met de hoeveelheid gegevens. Als de gegevens groter zijn, moet u L2-regularisatie gebruiken. Als de gegevens echter klein zijn, moet u de L1-regelmatigheid kiezen.

3. Dropout Regularisatie

Volgens Wikipedia betekent het droppen van zichtbare of verborgen eenheden. In eenvoudige woorden, drop-out betekent het negeren van de eenheden of neuronen tijdens het trainen van het model. Het model houdt geen rekening met deze eenheden wanneer het de gegevens door een kunstmatig neuraal netwerk passeert. Hierdoor wordt voorkomen dat de trainingsgegevens te veel worden aangepast.

4. Gegevensverbetering

Bij de dataverhogingstechniek vergroot u de omvang van relevante gegevens of signalen die u in de uitvoer wilt opnemen. De belangrijkste reden waarom het model niet veralgemeniseert is vanwege overfitting. Wanneer de omvang van de relevante gegevens echter toeneemt, zal het model niet overwegen om ruis toe te voegen.

Conclusie

Wanneer we ons model trainen door middel van begeleid machinaal leren, voeden we de trainingsgegevens. Nu zal het model leren door middel van patronen van de trainingsgegevens. We verwachten dat het model alleen patronen definieert door middel van een signaal, wat relevante data is. Het model bevat echter ook ruis. Dit beïnvloedt de prestaties van het model tijdens het doorlopen van nieuwe data.
Dat is waar de regularisatietechniek helpt. Het vermindert de complexiteit door het toevoegen van een sanctie. Er zijn twee gangbare regularisatietechnieken. L1 minimaliseert de waarde van de gewichten, en L2 minimaliseert de kwadratische grootte. Er zijn echter nog twee technieken om overfitting te voorkomen, de ene is “drop out” en de andere is “data augmentation”. Drop out zal de irrelevante eenheden of ruis negeren, en dataverhoging zal de grootte van het signaal vergroten.