L’apprentissage par transfert utilise les connaissances acquises en résolvant un problème et en les appliquant à un problème particulier mais connexe.

Par exemple, les connaissances acquises en apprenant à reconnaître des voitures sont souvent, dans une certaine mesure, utilisées pour reconnaître des camions.

Pré-formation

Lorsque nous entraînons le réseau sur un ensemble de données hors format (par exemple : ImageNet), nous entraînons tous les paramètres du réseau neuronal et le modèle est ainsi appris.

Réglage fin

Nous pouvons donner le nouvel ensemble de données pour affiner la CNN préformée. Considérez que le nouvel ensemble de données est presque identique à l’ensemble de données original utilisé pour la préformation. Comme le nouvel ensemble de données est analogue, des poids équivalents sont souvent utilisés pour extraire les caractéristiques du nouvel ensemble de données.

Si le nouvel ensemble de données est extrêmement petit, il est préférable de n’entraîner que les dernières couches du réseau pour éviter le suréquipement, en gardant toutes les autres couches fixes. Supprimez donc les couches ultimes du réseau préformé. Ajoutez de nouvelles couches. Ne retenez que les nouvelles couches.

Si le nouvel ensemble de données est extrêmement important, recyclez l’ensemble du réseau avec les poids initiaux du modèle préformé.

Comment affiner le réglage si le nouvel ensemble de données est extrêmement différent de l’ensemble de données initial ?

Les premiers éléments d’un ConvNet contiennent des caractéristiques plus génériques (par exemple, des détecteurs de bord ou des détecteurs de couleur), mais les couches ultérieures du ConvNet deviennent progressivement plus spécifiques aux petits caractères des classes contenues dans l’ensemble de données original.

Les premières couches peuvent aider à extraire les caractéristiques des nouvelles données. Il sera donc bon de corriger les couches les plus anciennes et de recycler le reste des couches, si vous n’avez acheté qu’un peu de connaissances.

Si vous avez beaucoup de connaissances, vous recyclerez l’ensemble du réseau avec des poids initialisés à partir du réseau préformé.