Una panoramica dei modelli di linguaggio basati su trasformatori
In questo articolo, ci concentriamo sui modelli basati su trasformatori che affrontano le limitazioni precedenti. Esploreremo il meccanismo di attenzione e i componenti dei trasformatori e come vengono applicati nei modelli come USE, BERT e GPT.
Meccanismo di attenzione e trasformatori
I meccanismi di attenzione consentono ai modelli di fare previsioni considerando l’intero input e concentrandosi selettivamente su parti specifiche. Questo focus è guidato da pesi appresi. Ad esempio, nella frase “La volpe ha visto un coniglio. Era molto affamata, quindi ha cercato di afferrarlo, ma lui si è schivato in tempo,” l’attenzione aiuta a determinare a quale “lui” si riferisce, al coniglio o alla volpe.
I trasformatori utilizzano una struttura encoder-decoder sfruttando il meccanismo di attenzione. L’encoder elabora l’input concentrandosi selettivamente su parti diverse e passa queste codifiche al decoder. La Figura 1 mostra un’architettura semplificata di un trasformatore encoder. Le parole vengono prima convertite in numeri tramite metodi come one-hot encoding o embeddings Word2Vec. Questa sequenza viene alimentata a uno strato di auto-attenzione, che utilizza parti dell’input per prevedere un’altra parte. I risultati vengono passati a una rete neurale feed-forward, creando informazioni codificate contestualmente per il decoder.
Il decoder è simile ma include uno strato di attenzione encoder-decoder per concentrarsi su parti importanti della sequenza di input. A differenza delle reti neurali ricorrenti (ad esempio, LSTM), i trasformatori leggono tutte le parole di input contemporaneamente, consentendo la parallelizzazione e l’addestramento su corpora più grandi.
Universal Sentence Encoder (USE)
I modelli USE affrontano due limitazioni principali: prevedere la parola successiva/precedente limita l’applicazione in attività successive e gli embeddings di parole non riescono a catturare le informazioni contestuali delle frasi intere. Google Research ha introdotto modelli USE utilizzando trasformatori e Deep Averaging Networks (DAN) ottimizzati per embeddings di frasi in molteplici attività.
Il modello USE basato su trasformatori impila sei encoder di trasformatori, che tokenizzano gli input e calcolano le uscite sequenzialmente. Le uscite finali formano l’embedding della frase. DAN, invece, fa la media delle rappresentazioni vettoriali delle parole di input e dei loro bigrammi, passando attraverso strati feed-forward per formare l’embedding della frase.
I modelli USE impiegano l’apprendimento multitask, combinando dataset non supervisionati e supervisionati come Wikipedia, notizie web e forum di discussione. Sono addestrati su attività come skip-thought (previsione delle frasi circostanti), input-risposta conversazionale e inferenza in linguaggio naturale (classificazione delle coppie di frasi come neutre, di implicazione o di contraddizione). Questi modelli sono affinati per attività specifiche come l’analisi dei sentimenti e la classificazione.
Nonostante eccellano nelle attività a livello di frase, i modelli USE sono meno efficaci per la generazione di testo generale, che esploreremo con altri modelli.
Generative Pretraining Transformer (GPT)
Il GPT di OpenAI, introdotto nel 2018, è stato rivoluzionario per il preaddestramento di un modello di linguaggio generale per varie attività. GPT utilizza un impilamento di 12 decoder, codificando le sequenze di input con Byte Pair Encoding (BPE) e codifica di posizione. È stato addestrato sul dataset BooksCorpus per la previsione del testo e la classificazione.
GPT viene affinato per attività come inferenza in linguaggio naturale, risposta a domande, similarità semantica e classificazione, superando i modelli precedenti. Tuttavia, la sua natura unidirezionale è una limitazione.
Bidirectional Encoder Representations from Transformers (BERT)
BERT, introdotto da Google AI, è un modello basato su encoder addestrato bidirezionalmente. BERT_BASE è comparabile in dimensioni a GPT, mentre BERT_LARGE ha 340 milioni di parametri. Utilizza tokenizzazione WordPiece, embeddings di segmenti e embeddings di posizione. BERT viene preaddestrato su attività di modello di linguaggio mascherato e previsione della frase successiva utilizzando dataset come BooksCorpus e Wikipedia.
BERT supera GPT in varie attività grazie alla sua natura bidirezionale. Varianti come ALBERT (leggero) e RoBERTa (ottimizzato) offrono diversi compromessi. La bidirezionalità di BERT migliora le prestazioni ma ha difficoltà a comprendere la negazione.
GPT-2 e Condizionamento delle Attività
GPT-2, il modello di OpenAI del 2019, varia in dimensioni, con il più grande che è 10 volte la dimensione di GPT. Addestrato su 40 GB di dati di Reddit, GPT-2 utilizza il condizionamento delle attività, producendo diverse uscite in base ai prompt delle attività. Supera BERT nella maggior parte delle attività, ma mostra limitazioni nella riassunzione del testo.
GPT-3
GPT-3, introdotto nel 2020, ha 175 miliardi di parametri e condivide l’architettura di GPT-2 con più strati. Addestrato su un mix di dataset, GPT-3 eccelle nell’apprendimento con pochi esempi, producendo testo e codice coerenti. Tuttavia, ha difficoltà con la coerenza del testo lungo e le ripetizioni.
Conclusione
Abbiamo esaminato modelli basati su trasformatori come USE, GPT e BERT, evidenziando i loro progressi e limitazioni. Sebbene trasformativi per l’elaborazione del linguaggio naturale, questi modelli affrontano ancora sfide, come gestire nuovi concetti e l’analisi di testi specifici di dominio.