Przegląd modeli językowych opartych na transformatorach
W tym artykule skupiamy się na modelach opartych na transformatorach, które rozwiązują wcześniejsze ograniczenia. Przeanalizujemy mechanizm uwagi i komponenty transformatorów oraz ich zastosowanie w modelach takich jak USE, BERT i GPT.
Mechanizm uwagi i transformatory
Mechanizmy uwagi umożliwiają modelom dokonywanie prognoz poprzez uwzględnienie całego wejścia i selektywne skupienie się na określonych częściach. To skupienie jest kierowane przez wyuczone wagi. Na przykład w zdaniu “Lis zobaczył królika. Był bardzo głodny, więc próbował go złapać, ale królik w porę się uchylił,” uwaga pomaga określić, do którego “on” się odnosi, do królika czy do lisa.
Transformatory wykorzystują strukturę enkoder-dekoder, korzystając z mechanizmu uwagi. Enkoder przetwarza wejście, selektywnie skupiając się na różnych częściach, przekazując te kodowania do dekodera. Rysunek 1 przedstawia uproszczoną architekturę enkodera transformatora. Słowa są najpierw przekształcane na liczby za pomocą metod takich jak one-hot encoding lub osadzenia Word2Vec. Ta sekwencja jest przekazywana do warstwy samo-uwagi, która wykorzystuje części wejścia do przewidywania innej części. Wyniki są przekazywane do sieci neuronowej feed-forward, tworząc kontekstowo świadome zakodowane informacje dla dekodera.
Dekoder jest podobny, ale zawiera warstwę uwagi enkoder-dekoder, aby skupić się na ważnych częściach wejścia. W przeciwieństwie do rekurencyjnych sieci neuronowych (np. LSTM), transformatory czytają wszystkie słowa wejściowe jednocześnie, co pozwala na równoległość i trening na większych korpusach.
Universal Sentence Encoder (USE)
Modele USE rozwiązują dwie główne ograniczenia: przewidywanie następnego/poprzedniego słowa ogranicza zastosowanie w zadaniach późniejszych, a osadzenia słów nie uchwytują kontekstowych informacji całych zdań. Google Research wprowadził modele USE, wykorzystując transformatory i Deep Averaging Networks (DAN) zoptymalizowane do osadzeń zdań w wielu zadaniach.
Model USE oparty na transformatorach układa sześć enkoderów transformatorów, które tokenizują wejścia i sekwencyjnie obliczają wyjścia. Ostateczne wyjścia tworzą osadzenie zdania. DAN z kolei średnia wektoryczne reprezentacje słów wejściowych i ich bigramów, przekazując je przez warstwy feed-forward w celu utworzenia osadzenia zdania.
Modele USE wykorzystują naukę wielozadaniową, łącząc niesuperwizowane i nadzorowane zbiory danych, takie jak Wikipedia, wiadomości internetowe i fora dyskusyjne. Są trenowane do zadań takich jak skip-thought (przewidywanie otaczających zdań), wejście-odpowiedź konwersacyjna i wnioskowanie językowe (klasyfikacja par zdań jako neutralne, implikujące lub sprzeczne). Te modele są dostrajane do konkretnych zadań, takich jak analiza sentymentu i klasyfikacja.
Mimo że modele USE doskonale radzą sobie z zadaniami na poziomie zdań, są mniej skuteczne w generowaniu ogólnego tekstu, co zbadamy z innymi modelami.
Generative Pretraining Transformer (GPT)
GPT od OpenAI, wprowadzony w 2018 roku, był przełomowy dla wstępnego trenowania ogólnego modelu językowego do różnych zadań. GPT wykorzystuje stos 12 dekoderów, kodując sekwencje wejściowe za pomocą kodowania par bajtowych (BPE) i kodowania pozycji. Był trenowany na zbiorze danych BooksCorpus do przewidywania tekstu i klasyfikacji.
GPT jest dostrajany do zadań takich jak wnioskowanie językowe, odpowiadanie na pytania, podobieństwo semantyczne i klasyfikacja, przewyższając wcześniejsze modele. Jednak jego jednokierunkowa natura jest ograniczeniem.
Bidirectional Encoder Representations from Transformers (BERT)
BERT, wprowadzony przez Google AI, to model oparty na enkoderze trenowany dwukierunkowo. BERT_BASE jest porównywalny pod względem wielkości z GPT, podczas gdy BERT_LARGE ma 340 milionów parametrów. Wykorzystuje tokenizację WordPiece, osadzenia segmentów i osadzenia pozycji. BERT jest wstępnie trenowany na zadaniach maskowanego modelu językowego i przewidywania następnego zdania, korzystając z zbiorów danych takich jak BooksCorpus i Wikipedia.
BERT przewyższa GPT w różnych zadaniach dzięki swojej dwukierunkowej naturze. Warianty takie jak ALBERT (lekki) i RoBERTa (zoptymalizowany) oferują różne kompromisy. Dwukierunkowość BERT poprawia wydajność, ale ma trudności ze zrozumieniem negacji.
GPT-2 i warunkowanie zadań
GPT-2, model OpenAI z 2019 roku, różni się wielkością, przy czym największy jest 10 razy większy niż GPT. Trenowany na 40 GB danych z Reddita, GPT-2 wykorzystuje warunkowanie zadań, produkując różne wyjścia na podstawie zapytań zadaniowych. Przewyższa BERT w większości zadań, ale pokazuje ograniczenia w streszczaniu tekstu.
GPT-3
GPT-3, wprowadzony w 2020 roku, ma 175 miliardów parametrów i dzieli architekturę GPT-2 z większą liczbą warstw. Trenowany na mieszance zbiorów danych, GPT-3 doskonale radzi sobie z nauką na podstawie niewielkiej liczby przykładów, produkując spójny tekst i kod. Jednak ma trudności z koherencją długiego tekstu i powtórzeniami.
Podsumowanie
Przejrzeliśmy modele oparte na transformatorach, takie jak USE, GPT i BERT, podkreślając ich osiągnięcia i ograniczenia. Chociaż transformacyjne dla przetwarzania języka naturalnego, te modele nadal napotykają wyzwania, takie jak radzenie sobie z nowymi koncepcjami i analiza tekstów specyficznych dla danej dziedziny.