Een Overzicht van op Transformers gebaseerde Taalmodellen
In dit artikel richten we ons op op transformers gebaseerde modellen die eerdere beperkingen aanpakken. We zullen het aandachtsmechanisme en de componenten van transformers verkennen en hoe ze worden toegepast in modellen zoals USE, BERT en GPT.
Aandachtsmechanisme en Transformers
Aandachtsmechanismen stellen modellen in staat voorspellingen te doen door de gehele invoer te beschouwen en selectief op specifieke delen te focussen. Deze focus wordt geleid door geleerde gewichten. Bijvoorbeeld, in de zin “De vos zag een konijn. Hij had veel honger dus probeerde hij het te grijpen maar het ontweek hem net op tijd,” helpt aandacht te bepalen naar welk “het” verwijst, het konijn of de vos.
Transformers gebruiken een encoder-decoder structuur die het aandachtsmechanisme benut. De encoder verwerkt de invoer door selectief op verschillende delen te focussen en deze coderingen door te geven aan de decoder. Figuur 1 toont een vereenvoudigde encoder transformer architectuur. Woorden worden eerst omgezet in nummers via methoden zoals one-hot encoding of Word2Vec embeddings. Deze reeks wordt gevoed aan een zelfaandachtslaag, die delen van de invoer gebruikt om een ander deel te voorspellen. De resultaten worden doorgegeven aan een feed-forward neuraal netwerk, dat contextuele gecodeerde informatie voor de decoder creëert.
De decoder is vergelijkbaar, maar bevat een encoder-decoder aandachtslaag om zich te richten op belangrijke invoerdelen. In tegenstelling tot recurrente neurale netwerken (bijv. LSTMs) lezen transformers alle invoerwoorden tegelijkertijd, wat parallelisatie mogelijk maakt en training op grotere corpora toestaat.
Universal Sentence Encoder (USE)
USE-modellen pakken twee belangrijke beperkingen aan: het voorspellen van het volgende/vorige woord beperkt de toepassing in downstream-taken en woordembeddings vangen de contextuele informatie van hele zinnen niet. Google Research introduceerde USE-modellen met behulp van transformers en Deep Averaging Networks (DAN) geoptimaliseerd voor zinsembeddings over meerdere taken.
Het op transformers gebaseerde USE-model stapelt zes transformer-encoders, die de invoer tokeniseren en sequentieel uitvoer berekenen. De uiteindelijke uitkomsten vormen de zinsembedding. DAN, daarentegen, gemiddeld vectorvoorstellingen van invoerwoorden en hun bigrammen, door ze door feed-forward lagen te leiden om de zinsembedding te vormen.
USE-modellen maken gebruik van multitask-leren, waarbij niet-gesuperviseerde en gesuperviseerde datasets zoals Wikipedia, webnieuws en discussiefora worden gecombineerd. Ze worden getraind op taken zoals skip-thought (voorspellen van omliggende zinnen), conversatie invoer-respons en natuurlijke taal inferentie (classificeren van zinnenparen als neutraal, implicatie of tegenspraak). Deze modellen worden verfijnd voor specifieke taken zoals sentimentanalyse en classificatie.
Ondanks dat ze uitblinken in zinsniveau taken, zijn USE-modellen minder effectief voor algemene tekstgeneratie, wat we zullen verkennen met andere modellen.
Generative Pretraining Transformer (GPT)
GPT van OpenAI, geïntroduceerd in 2018, was baanbrekend voor het voortrainen van een algemeen taalmodel voor verschillende taken. GPT gebruikt een stapel van 12 decoders, waarbij invoersequenties worden gecodeerd met Byte Pair Encoding (BPE) en positiecoding. Het werd getraind op de BooksCorpus dataset voor tekstvoorspelling en classificatie.
GPT wordt verfijnd voor taken zoals natuurlijke taal inferentie, vraag-antwoorden, semantische gelijkenis en classificatie, en overtreft eerdere modellen. Echter, de unidirectionele aard ervan is een beperking.
Bidirectional Encoder Representations from Transformers (BERT)
BERT, geïntroduceerd door Google AI, is een encoder-gebaseerd model dat bidirectioneel wordt getraind. BERT_BASE is vergelijkbaar in grootte met GPT, terwijl BERT_LARGE 340 miljoen parameters heeft. Het maakt gebruik van WordPiece-tokenisatie, segmentembeddings en positieembeddings. BERT wordt voorgetraind op taken van gemaskeerd taalmodel en volgende zin voorspelling met behulp van datasets zoals BooksCorpus en Wikipedia.
BERT overtreft GPT in verschillende taken dankzij de bidirectionele aard ervan. Varianten zoals ALBERT (lichtgewicht) en RoBERTa (geoptimaliseerd) bieden verschillende afwegingen. De bidirectionele aard van BERT verbetert de prestaties, maar heeft moeite met het begrijpen van ontkenning.
GPT-2 en Taakconditionering
GPT-2, het model van OpenAI uit 2019, varieert in grootte, waarbij de grootste 10 keer de grootte van GPT is. Getraind op 40 GB Reddit-gegevens, gebruikt GPT-2 taakconditionering, waarbij verschillende uitkomsten worden geproduceerd op basis van taakprompts. Het overtreft BERT in de meeste taken, maar toont beperkingen in tekstsamenvatting.
GPT-3
GPT-3, geïntroduceerd in 2020, heeft 175 miljard parameters en deelt de architectuur van GPT-2 met meer lagen. Getraind op een mix van datasets, blinkt GPT-3 uit in few-shot learning, waarbij coherente tekst en code worden geproduceerd. Echter, het heeft moeite met lange tekstcoherentie en herhalingen.
Conclusie
We hebben transformer-gebaseerde modellen zoals USE, GPT en BERT besproken, waarbij hun vooruitgang en beperkingen werden benadrukt. Hoewel transformerend voor natuurlijke taalverwerking, blijven deze modellen uitdagingen ondervinden, zoals het omgaan met nieuwe concepten en domeinspecifieke tekstanalyse.