Más Allá de los LLM y los Modelos de un Billón de Parámetros
Hoy en día, la IA parece sinónimo de GenAI (IA generativa), LLM (modelos de lenguaje grande) y modelos ultra grandes. Este enfoque ha eclipsado otras áreas como la visión por computadora y la IA de voz. El éxito de los modelos de un billón de parámetros se debe en parte a su sobreparametrización, donde diversas combinaciones de parámetros pueden producir resultados satisfactorios. En esencia, con suficientes capas ocultas y potencia de GPU, los resultados impresionantes son a menudo inevitables, aunque las razones exactas siguen siendo poco claras.
He notado una tendencia similar con algunos de mis métodos no basados en redes neuronales. Funcionan mejor cuando se maximiza la granularidad. Las técnicas que utilizan el remuestreo combinatorio destacan con solo unos pocos millones de iteraciones, explorando una pequeña fracción del espacio de muestras. Su rendimiento es particularmente impresionante en espacios de alta dimensión, aprovechando la escasez del espacio de características. Sin esto, los métodos requerirían un número impracticable de iteraciones, haciéndolos inviables.
Los LLM Modernos No Son la Panacea
A pesar de su impresionante rendimiento, mi experiencia con GPT de OpenAI ha sido decepcionante. Aunque supera a muchas alternativas, no satisface mis necesidades, particularmente para preguntas de investigación. GPT no proporciona las referencias que utiliza, incluso cuando se le solicita. Mis frustraciones, compartidas por muchos, están detalladas en mi publicación de LinkedIn, “My New LLM Project.”
Como resultado, necesito desarrollar mi propia herramienta. La reticencia de OpenAI a compartir fuentes, posiblemente debido a preocupaciones de derechos de autor, y la verbosidad de las respuestas de GPT son grandes desventajas. Prefiero puntos concisos y enlaces en lugar de respuestas largas y adaptadas para principiantes. Mi solución será más simple, sin necesidad de redes neuronales ni un inglés pulido, y se centrará en fuentes especializadas en matemáticas.
Temas de Investigación Más Allá de los LLM
Los nuevos desarrollos fuera de los LLM reciben menos financiación y atención, pero el interés está creciendo en soluciones que requieren menos recursos. Mi investigación se centra en técnicas más rápidas que proporcionan mejores resultados, incluyendo métricas de evaluación mejoradas que evitan falsos negativos comunes en la generación de datos tabulares sintéticos. Estos métodos producen resultados replicables y explicables y son menos sensibles a la elección de la semilla. Estudios de caso detallados están disponibles en mi blog.
El Estado del Aprendizaje Automático Tradicional
El aprendizaje automático tradicional no está obsoleto. Parte de mi investigación todavía involucra el remuestreo y la regresión, pero con avances significativos. Por ejemplo, mi técnica de “regresión en nube” opera sin una característica dependiente, realizando regresión supervisada y no supervisada o agrupamiento bajo un mismo marco. Maneja varios tipos de regresión, incluyendo métodos de regularización como Lasso y ridge, y es libre de modelos, incluso para bandas de confianza multivariadas. Mis funciones de pérdida son más genéricas que las de los LLM modernos, y mi método de descenso de gradiente es original, sin matemáticas y sin parámetros.
Nuevos Tipos de Visualizaciones
La visualización de datos sigue siendo un área de investigación tradicional. Mientras muchos se centran en paneles de control, he desarrollado visualizaciones poderosas que resumen datos complejos y de alta dimensión con diagramas de dispersión en 2D. Mi última innovación es un tipo de animación de datos aplicable en diversos contextos, incluyendo GenAI.
Para demostrarlo, apliqué el procedimiento de regresión en nube a 500 conjuntos de entrenamiento en forma de elipses, cada uno con parámetros específicos y niveles de ruido variables. El objetivo era evaluar la efectividad de la técnica de ajuste de curvas en diferentes conjuntos de datos. El camino continuo en el espacio de parámetros asegura transiciones suaves entre los conjuntos de entrenamiento en la animación, cubriendo numerosas combinaciones. Las curvas azules representan estimaciones de las elipses teóricas desconocidas.