Coursera Learner working on a presentation with Coursera logo and

O que é RLHF?

Coursera Learner working on a presentation with Coursera logo and

O Aprendizado por Reforço a partir de Feedback Humano (RLHF, na sigla em inglês) é uma técnica de aprendizado de máquina que utiliza a contribuição humana para melhorar a eficiência dos modelos de aprendizado de máquina. Isso envolve treinar software para tomar decisões que maximizem as recompensas, aumentando assim a precisão dos resultados. Ao incorporar o feedback humano na função de recompensa, o RLHF alinha o desempenho dos modelos de aprendizado de máquina com os objetivos, desejos e necessidades humanas. Essa técnica é amplamente utilizada em aplicações de IA generativa, incluindo grandes modelos de linguagem (LLMs).

Por que o RLHF é importante?

As aplicações da Inteligência Artificial (IA) abrangem diversos campos, como carros autônomos, processamento de linguagem natural (NLP), previsão do mercado de ações e personalização no varejo. O objetivo final da IA é replicar as respostas, comportamentos e processos de tomada de decisão humanos. Para que isso aconteça, os modelos de aprendizado de máquina devem integrar a contribuição humana como dados de treinamento para imitar melhor as ações humanas ao lidar com tarefas complexas.

O RLHF é uma técnica especializada usada para treinar sistemas de IA a se comportarem mais como humanos, complementando outros métodos como aprendizado supervisionado e não supervisionado. O processo envolve comparar as respostas do modelo com as respostas humanas, seguido de uma avaliação humana dessas respostas com base em qualidades como simpatia, contexto e humor. O RLHF é crucial na compreensão da linguagem natural e em outras aplicações de IA generativa.

Melhora o desempenho da IA

O RLHF melhora significativamente a precisão dos modelos de aprendizado de máquina. Embora um modelo possa ser treinado com dados humanos preexistentes, a incorporação de loops de feedback humano pode melhorar muito seu desempenho. Por exemplo, na tradução de idiomas, uma máquina pode produzir um texto tecnicamente correto, mas que soa não natural. Tradutores humanos podem avaliar e pontuar as traduções geradas pela máquina, orientando o modelo para produzir resultados mais naturais ao longo do tempo.

Introduz parâmetros de treinamento complexos

Treinar modelos de IA generativa para parâmetros subjetivos, como o humor de uma peça musical, pode ser desafiador. Embora aspectos técnicos como tonalidade e tempo possam indicar o humor, a natureza subjetiva da música requer orientação humana. Compositores podem rotular peças geradas por máquinas com base no humor delas, permitindo que o modelo aprenda esses parâmetros de maneira mais eficaz.

Melhora a satisfação do usuário

A precisão de um modelo nem sempre equivale a uma aparência humana. O RLHF ajuda a orientar os modelos em direção a respostas que sejam mais envolventes para os usuários humanos. Por exemplo, quando um chatbot é questionado sobre o clima, ele pode responder de uma maneira mais natural e rica em contexto. À medida que os usuários avaliam essas respostas, o RLHF coleta feedback para melhorar o desempenho do modelo, garantindo que ele atenda às preferências humanas reais.

Como funciona o RLHF?

O RLHF envolve quatro etapas principais antes que um modelo seja considerado pronto. Usando um modelo de linguagem como exemplo, o processo inclui:

  1. Coleta de Dados: São criadas perguntas e respostas geradas por humanos para servir como dados de treinamento.
  2. Ajuste Fino Supervisionado: Um modelo pré-treinado comercial é ajustado usando esses dados. As respostas do modelo a perguntas predeterminadas são comparadas com as respostas humanas para calcular pontuações de similaridade.
  3. Construção de um Modelo de Recompensa: Um modelo de recompensa de IA separado é treinado com base no feedback humano. Os humanos avaliam a qualidade de múltiplas respostas do modelo para a mesma pergunta, e essas avaliações são usadas para construir o modelo de recompensa.
  4. Otimização do Modelo de Linguagem: O modelo de linguagem usa o modelo de recompensa para refinar sua política, selecionando respostas que sejam mais propensas a atender às preferências humanas.

Aplicações do RLHF na IA generativa

O RLHF é uma técnica padrão da indústria para garantir que os LLMs produzam conteúdo verdadeiro, inofensivo e útil. A técnica se estende além dos LLMs para outros tipos de IA generativa, incluindo:

  • Geração de Imagens por IA: Avaliação do realismo, tecnicidade ou humor das obras de arte.
  • Geração de Música: Criação de música que corresponda a certos estados de espírito.
  • Assistentes de Voz: Tornar a voz mais amigável, curiosa e confiável.

Como a AWS pode ajudar com suas necessidades de RLHF?

O Amazon SageMaker Ground Truth oferece capacidades completas de human-in-the-loop para melhorar a precisão e relevância dos modelos ao longo do ciclo de vida do aprendizado de máquina. Isso inclui geração de dados, anotação, geração de modelos de recompensa, revisão de modelos e personalização. O SageMaker Ground Truth oferece um anotador de dados para RLHF, permitindo feedback direto e orientação sobre as respostas geradas pelo modelo. Esse feedback, também conhecido como dados de comparação e classificação, serve como um modelo de recompensa para treinar e ajustar modelos para casos de uso específicos.

línguas

Weekly newsletter

No spam. Just the latest releases and tips, interesting articles, and exclusive interviews in your inbox every week.