Обзор моделей обработки языка на основе трансформеров
В этой статье мы сосредоточимся на моделях, основанных на трансформерах, которые устраняют предыдущие ограничения. Мы рассмотрим механизм внимания и компоненты трансформеров, а также их применение в таких моделях, как USE, BERT и GPT.
Механизм внимания и трансформеры
Механизмы внимания позволяют моделям делать предсказания, учитывая весь ввод и избирательно фокусируясь на конкретных частях. Этот фокус направляется выученными весами. Например, в предложении “Лиса увидела кролика. Она была очень голодна, поэтому попыталась его поймать, но он уклонился вовремя,” внимание помогает определить, к кому относится “он”, к кролику или к лисе.
Трансформеры используют структуру энкодер-декодер, используя механизм внимания. Энкодер обрабатывает ввод, избирательно фокусируясь на разных частях, передавая эти кодировки декодеру. Рисунок 1 показывает упрощенную архитектуру энкодера трансформера. Слова сначала преобразуются в числа с помощью таких методов, как one-hot encoding или embeddings Word2Vec. Эта последовательность передается в слой самовнимания, который использует части ввода для предсказания другой части. Результаты передаются в прямую нейронную сеть, создавая контекстно-зависимую закодированную информацию для декодера.
Декодер аналогичен, но включает слой внимания энкодер-декодер, чтобы сосредоточиться на важных частях ввода. В отличие от рекуррентных нейронных сетей (например, LSTM), трансформеры читают все входные слова одновременно, что позволяет параллелизацию и обучение на больших корпусах.
Universal Sentence Encoder (USE)
Модели USE решают две основные проблемы: предсказание следующего/предыдущего слова ограничивает применение в последующих задачах, и эмбеддинги слов не улавливают контекстную информацию целых предложений. Google Research представила модели USE, использующие трансформеры и Deep Averaging Networks (DAN), оптимизированные для эмбеддингов предложений для выполнения множества задач.
Модель USE на основе трансформеров содержит шесть энкодеров трансформеров, которые токенизируют вводы и последовательно вычисляют выходные данные. Окончательные выходные данные формируют эмбеддинг предложения. DAN, с другой стороны, усредняет векторные представления входных слов и их биграмм, пропуская их через прямые слои для формирования эмбеддинга предложения.
Модели USE используют многозадачное обучение, объединяя несупервизируемые и супервизируемые наборы данных, такие как Wikipedia, веб-новости и форумы обсуждений. Они обучаются на задачах, таких как skip-thought (предсказание окружающих предложений), разговорный ввод-ответ и языковая интерпретация (классификация пар предложений как нейтральные, содержащие или противоречащие). Эти модели дорабатываются для конкретных задач, таких как анализ сентимента и классификация.
Несмотря на успехи в задачах на уровне предложений, модели USE менее эффективны для общей генерации текста, что мы рассмотрим с другими моделями.
Generative Pretraining Transformer (GPT)
GPT от OpenAI, представленный в 2018 году, стал революционным для предварительного обучения общей языковой модели для различных задач. GPT использует стек из 12 декодеров, кодируя входные последовательности с помощью Byte Pair Encoding (BPE) и позиционного кодирования. Он был обучен на наборе данных BooksCorpus для предсказания текста и классификации.
GPT дорабатывается для задач, таких как языковая интерпретация, ответы на вопросы, семантическое сходство и классификация, превосходя предыдущие модели. Однако его однонаправленность является ограничением.
Bidirectional Encoder Representations from Transformers (BERT)
BERT, представленный Google AI, это модель, основанная на энкодере, обученная двунаправленно. BERT_BASE сравним по размеру с GPT, в то время как BERT_LARGE имеет 340 миллионов параметров. Он использует токенизацию WordPiece, сегментные эмбеддинги и позиционные эмбеддинги. BERT предварительно обучается на задачах маскированной языковой модели и предсказания следующего предложения, используя наборы данных, такие как BooksCorpus и Wikipedia.
BERT превосходит GPT в различных задачах благодаря своей двунаправленной природе. Варианты, такие как ALBERT (легкий) и RoBERTa (оптимизированный), предлагают различные компромиссы. Двунаправленность BERT улучшает производительность, но имеет трудности с пониманием отрицания.
GPT-2 и условие задачи
GPT-2, модель OpenAI 2019 года, варьируется по размеру, при этом самая большая в 10 раз больше GPT. Обученный на 40 ГБ данных Reddit, GPT-2 использует условие задачи, производя различные выходные данные в зависимости от запросов задачи. Он превосходит BERT в большинстве задач, но показывает ограничения в обобщении текста.
GPT-3
GPT-3, представленный в 2020 году, имеет 175 миллиардов параметров и разделяет архитектуру GPT-2 с большим количеством слоев. Обученный на смеси наборов данных, GPT-3 отлично справляется с обучением на основе небольшого числа примеров, производя связный текст и код. Однако он имеет трудности с когерентностью длинного текста и повторениями.
Заключение
Мы рассмотрели модели на основе трансформеров, такие как USE, GPT и BERT, выделяя их достижения и ограничения. Несмотря на их трансформирующее влияние на обработку естественного языка, эти модели по-прежнему сталкиваются с вызовами, такими как обработка новых концепций и анализ текстов, специфичных для определенных областей.