Ein Überblick über transformerbasierte Sprachmodelle
In diesem Artikel konzentrieren wir uns auf transformerbasierte Modelle, die frühere Einschränkungen überwinden. Wir werden den Aufmerksamkeitsmechanismus und die Komponenten von Transformern untersuchen und sehen, wie sie in Modellen wie USE, BERT und GPT angewendet werden.
Aufmerksamkeitsmechanismus und Transformer
Aufmerksamkeitsmechanismen ermöglichen es Modellen, Vorhersagen zu treffen, indem sie das gesamte Eingabe Signal betrachten und sich selektiv auf bestimmte Teile konzentrieren. Diese Fokussierung wird durch erlernte Gewichte gesteuert. Zum Beispiel in dem Satz „Der Fuchs sah einen Hasen. Er war sehr hungrig und versuchte ihn zu fangen, aber er wich rechtzeitig aus.“ hilft die Aufmerksamkeit zu bestimmen, auf welches „er“ sich bezieht, auf den Hasen oder den Fuchs.
Transformer nutzen eine Encoder-Decoder-Struktur, die den Aufmerksamkeitsmechanismus verwendet. Der Encoder verarbeitet die Eingabe, indem er sich selektiv auf verschiedene Teile konzentriert und diese Codierungen an den Decoder weitergibt. Abbildung 1 zeigt eine vereinfachte Architektur eines Encoder-Transformers. Wörter werden zunächst in Zahlen umgewandelt, beispielsweise durch One-Hot-Encoding oder Word2Vec-Einbettungen. Diese Zahlenfolge wird einer Self-Attention-Schicht zugeführt, die Teile der Eingabe verwendet, um eine Vorhersage über einen anderen Teil zu treffen. Die Ergebnisse werden an ein Feedforward-Neuronales Netz weitergeleitet, das kontextbewusste codierte Informationen für den Decoder erstellt.
Der Decoder ist ähnlich aufgebaut, enthält jedoch eine zusätzliche Encoder-Decoder-Attention-Schicht, die dem Decoder hilft, sich auf wichtige Teile der Eingabesequenz zu konzentrieren. Im Gegensatz zu rekurrenten neuronalen Netzwerken (z.B. LSTMs) lesen Transformer alle Eingabewörter gleichzeitig, was Parallelisierung ermöglicht und das Training auf größeren Korpora erleichtert.
Universal Sentence Encoder (USE)
USE-Modelle adressieren zwei Hauptbeschränkungen: Die Vorhersage des nächsten/vorherigen Wortes begrenzt die Anwendung in nachgelagerten Aufgaben, und Worteinbettungen erfassen nicht die kontextuelle Information ganzer Sätze. Google Research stellte USE-Modelle vor, die Transformer und Deep Averaging Networks (DAN) verwenden und für Satz-Einbettungen über mehrere Aufgaben hinweg optimiert sind.
Das transformerbasierte USE-Modell stapelt sechs Transformer-Encoder, die Eingaben tokenisieren und nacheinander Ausgaben berechnen. Die endgültigen Ausgaben bilden die Satz-Einbettung. DAN hingegen mittelt die Vektordarstellungen der Eingabewörter und ihrer Bigrams und leitet sie durch Feedforward-Schichten, um die Satz-Einbettung zu bilden.
USE-Modelle verwenden Multi-Task-Learning, das unsupervisierte und überwachter Datensätze wie Wikipedia, Webnachrichten und Diskussionsforen kombiniert. Sie werden für Aufgaben wie Skip-Thought (Vorhersage umliegender Sätze), konversationelle Eingabe-Antwort und natürliche Sprachinferenz (Klassifizierung von Satzpaaren als neutral, Entailment oder Widerspruch) trainiert. Diese Modelle werden für spezifische Aufgaben wie Sentimentanalyse und Klassifizierung feinabgestimmt.
Trotz hervorragender Leistungen bei satzbezogenen Aufgaben sind USE-Modelle weniger effektiv für allgemeine Textgenerierung, was wir mit anderen Modellen untersuchen werden.
Generative Pretraining Transformer (GPT)
OpenAIs GPT, eingeführt 2018, war bahnbrechend für das Vortraining eines allgemeinen Sprachmodells für verschiedene Aufgaben. GPT verwendet einen Stapel von 12 Decodern, die Eingabesequenzen mit Byte Pair Encoding (BPE) und Position-Encoding kodieren. Es wurde auf dem BooksCorpus-Datensatz für Textvorhersage und Klassifikation trainiert.
GPT wird auf Aufgaben wie natürliche Sprachinferenz, Frage-Antwort, semantische Ähnlichkeit und Klassifikation feinabgestimmt und übertrifft frühere Modelle. Eine Einschränkung ist jedoch seine unidirektionale Natur.
Bidirectional Encoder Representations from Transformers (BERT)
BERT, eingeführt von Google AI, ist ein encoderbasiertes Modell, das bidirektional trainiert wird. BERT_BASE ist vergleichbar groß wie GPT, während BERT_LARGE 340M Parameter hat. Es verwendet WordPiece-Tokenisierung, Segment-Einbettungen und Positionseinbettungen. BERT wird auf Masked-Language-Model und Next-Sentence-Prediction-Aufgaben mit Datensätzen wie BooksCorpus und Wikipedia vortrainiert.
BERT übertrifft GPT bei verschiedenen Aufgaben aufgrund seiner bidirektionalen Natur. Varianten wie ALBERT (leichtgewichtig) und RoBERTa (optimiert) bieten unterschiedliche Kompromisse. BERTs Bidirektionalität verbessert die Leistung, hat jedoch Schwierigkeiten mit der Negationsverarbeitung.
GPT-2 und Aufgaben-Konditionierung
GPT-2, OpenAIs Modell von 2019, variiert in der Größe, wobei das größte 10-mal größer als GPT ist. Es wurde auf 40 GB Reddit-Daten trainiert und verwendet Aufgaben-Konditionierung, um unterschiedliche Ausgaben basierend auf Aufgaben-Eingabeaufforderungen zu erzeugen. Es übertrifft BERT in den meisten Aufgaben, zeigt jedoch Einschränkungen bei der Textzusammenfassung.
GPT-3
GPT-3, eingeführt 2020, hat 175B Parameter und teilt die Architektur von GPT-2 mit mehr Schichten. Es wurde auf einer Mischung von Datensätzen trainiert und glänzt bei Few-Shot-Learning, produziert kohärente Texte und Code. Es hat jedoch Schwierigkeiten mit der Kohärenz langer Texte und Wiederholungen.
Fazit
Wir haben transformerbasierte Modelle wie USE, GPT und BERT überprüft und ihre Fortschritte und Einschränkungen hervorgehoben. Trotz ihrer revolutionären Auswirkungen auf die Verarbeitung natürlicher Sprache stehen diese Modelle weiterhin vor Herausforderungen, wie der Handhabung neuer Konzepte und der domänenspezifischen Textanalyse.