L’apprendimento del trasferimento sfrutta le conoscenze acquisite durante la risoluzione di un problema e le applica ad un problema speciale ma correlato.
Ad esempio, le conoscenze acquisite mentre si impara a riconoscere le auto sono spesso in qualche misura in grado di riconoscere i camion.
Pre-formazione
Quando addestriamo la rete su un dataset sovradimensionato (per esempio: ImageNet) , addestriamo tutti i parametri della rete neurale e quindi il modello viene appreso. ci vorranno ore sulla vostra GPU.
Messa a punto
Possiamo dare il nuovo set di dati per mettere a punto la CNN pre-formata. Si consideri che il nuovo dataset è quasi simile al dataset originale usato per la pre-formazione. Poiché il nuovo dataset è analogo, spesso si usano pesi equivalenti per estrarre le caratteristiche dal nuovo dataset.
Se il nuovo dataset è estremamente piccolo, è meglio allenare solo gli ultimi strati della rete per evitare l’overfitting, mantenendo tutti gli altri strati fissi. Quindi rimuovere gli ultimi strati della rete preallenata. Aggiungere nuovi strati. Allenare solo i nuovi strati.
Se il nuovo set di dati è estremamente grande, riqualificare l’intera rete con i pesi iniziali del modello pre-addestrato.
Come mettere a punto se il nuovo dataset è estremamente diverso dal dataset originale?
Le caratteristiche precedenti di un ConvNet contengono caratteristiche più generiche (ad esempio i rilevatori di bordi o i rilevatori di blob di colore), ma gli strati successivi del ConvNet diventano progressivamente più specifici per la piccola stampa delle classi contenute nel dataset originale.
I livelli precedenti possono aiutare ad estrarre le caratteristiche dei nuovi dati. Quindi sarà bene fissare i primi strati e riqualificare i rimanenti strati, se si acquista solo un po’ di conoscenza.
Se si dispone di una grande quantità di conoscenza, si aggiornerà l’intera rete con i pesi inizializzati dalla rete pre-formata.
