Além dos LLMs e Modelos de Trilhões de Parâmetros
Hoje em dia, IA parece sinônimo de GenAI (IA generativa), LLMs (modelos de linguagem grande) e modelos ultra-grandes. Esse foco ofuscou outras áreas como visão computacional e IA de voz. O sucesso dos modelos de trilhões de parâmetros se deve em parte à sua superparametrização, onde várias combinações de parâmetros podem gerar resultados satisfatórios. Essencialmente, com camadas ocultas suficientes e poder de GPU, resultados impressionantes são muitas vezes inevitáveis, embora as razões exatas permaneçam obscuras.
Notei uma tendência semelhante com alguns dos meus métodos não baseados em redes neurais. Eles têm um desempenho melhor quando a granularidade é maximizada. Técnicas que utilizam reamostragem combinatória se destacam com apenas alguns milhões de iterações, explorando uma pequena fração do espaço amostral. Seu desempenho é particularmente impressionante em espaços de alta dimensão, aproveitando a escassez do espaço de características. Sem isso, os métodos exigiriam um número impraticável de iterações, tornando-os inviáveis.
Os LLMs Modernos Não São a Panaceia
Apesar de seu desempenho impressionante, minha experiência com o GPT da OpenAI foi decepcionante. Embora supere muitas alternativas, ele não atende às minhas necessidades, particularmente para questões de pesquisa. O GPT não fornece as referências que utiliza, mesmo quando solicitado. Minhas frustrações, compartilhadas por muitos, estão detalhadas na minha publicação no LinkedIn, “My New LLM Project.”
Como resultado, preciso desenvolver minha própria ferramenta. A relutância da OpenAI em compartilhar fontes, possivelmente devido a preocupações com direitos autorais, e a verbosidade das respostas do GPT são grandes desvantagens. Prefiro pontos concisos e links em vez de respostas longas e adaptadas para iniciantes. Minha solução será mais simples, sem necessidade de redes neurais ou inglês refinado, e se concentrará em fontes especializadas em matemática.
Tópicos de Pesquisa Além dos LLMs
Novos desenvolvimentos fora dos LLMs recebem menos financiamento e atenção, mas o interesse está crescendo em soluções que requerem menos recursos. Minha pesquisa se concentra em técnicas mais rápidas que fornecem melhores resultados, incluindo métricas de avaliação aprimoradas que evitam falsos negativos comuns na geração de dados tabulares sintéticos. Esses métodos produzem resultados replicáveis, explicáveis e são menos sensíveis à escolha da semente. Estudos de caso detalhados estão disponíveis no meu blog.
O Estado do Aprendizado de Máquina Tradicional
O aprendizado de máquina tradicional não está obsoleto. Parte da minha pesquisa ainda envolve reamostragem e regressão, mas com avanços significativos. Por exemplo, minha técnica de “regressão em nuvem” opera sem uma característica dependente, realizando regressão supervisionada e não supervisionada ou agrupamento sob um mesmo framework. Ela lida com vários tipos de regressão, incluindo métodos de regularização como Lasso e Ridge, e é independente de modelos, mesmo para bandas de confiança multivariadas. Minhas funções de perda são mais genéricas do que as dos LLMs modernos, e meu método de descida de gradiente é original, sem matemática e sem parâmetros.
Novos Tipos de Visualizações
A visualização de dados continua sendo uma área de pesquisa tradicional. Enquanto muitos se concentram em painéis de controle, desenvolvi visualizações poderosas que resumem dados complexos e de alta dimensão com gráficos de dispersão em 2D. Minha mais recente inovação é um tipo de animação de dados aplicável em diversos contextos, incluindo GenAI.
Para demonstrar, apliquei o procedimento de regressão em nuvem a 500 conjuntos de treinamento em forma de elipses, cada um com parâmetros específicos e níveis de ruído variados. O objetivo era avaliar a eficácia da técnica de ajuste de curva em diferentes conjuntos de dados. O caminho contínuo no espaço de parâmetros assegura transições suaves entre os conjuntos de treinamento na animação, cobrindo numerosas combinações. As curvas azuis representam estimativas das elipses teóricas desconhecidas.