Au-delà des LLM et des modèles à billion de paramètres
De nos jours, l’IA semble synonyme de GenAI (IA générative), de LLM (grands modèles de langage) et de modèles ultra-larges. Cette focalisation a éclipsé d’autres domaines comme la vision par ordinateur et l’IA vocale. Le succès des modèles à billion de paramètres est en partie dû à leur sur-paramétrisation, où diverses combinaisons de paramètres peuvent donner des résultats satisfaisants. En essence, avec suffisamment de couches cachées et de puissance GPU, des résultats impressionnants sont souvent inévitables, bien que les raisons exactes restent floues.
J’ai remarqué une tendance similaire avec certaines de mes méthodes non basées sur des réseaux neuronaux. Elles fonctionnent mieux lorsque la granularité est maximale. Les techniques utilisant le rééchantillonnage combinatoire excellent avec seulement quelques millions d’itérations, explorant une petite fraction de l’espace échantillonné. Leur performance est particulièrement impressionnante dans les espaces de haute dimension, exploitant la rareté de l’espace des caractéristiques. Sans cela, les méthodes nécessiteraient un nombre impraticable d’itérations, les rendant inapplicables.
Les LLM modernes ne sont pas la panacée
Malgré leur performance impressionnante, mon expérience avec GPT d’OpenAI a été décevante. Bien qu’il surpasse de nombreuses alternatives, il ne répond pas à mes besoins, notamment pour les questions de recherche. GPT ne fournit pas les références qu’il utilise, même lorsqu’on les demande. Mes frustrations, partagées par beaucoup, sont détaillées dans mon post LinkedIn, “My New LLM Project”.
En conséquence, je dois développer mon propre outil. La réticence d’OpenAI à partager les sources, possiblement en raison de préoccupations liées aux droits d’auteur, et la verbosité des réponses de GPT sont des inconvénients majeurs. Je préfère des points de repère concis et des liens plutôt que des réponses longues et adaptées aux débutants. Ma solution sera plus simple, sans nécessiter de réseaux neuronaux ou d’anglais soigné, et se concentrera sur des sources spécialisées en mathématiques.
Sujets de recherche au-delà des LLM
Les nouvelles avancées en dehors des LLM reçoivent moins de financement et d’attention, mais l’intérêt pour des solutions moins gourmandes en ressources augmente. Ma recherche se concentre sur des techniques plus rapides qui fournissent de meilleurs résultats, y compris des métriques d’évaluation améliorées évitant les faux négatifs courants dans la génération de données tabulaires synthétiques. Ces méthodes produisent des résultats reproductibles, explicables et sont moins sensibles au choix du seed. Des études de cas détaillées sont disponibles sur mon blog.
L’état de l’apprentissage automatique traditionnel
L’apprentissage automatique traditionnel n’est pas obsolète. Certaines de mes recherches impliquent encore le rééchantillonnage et la régression, mais avec des avancées significatives. Par exemple, ma technique de “régression en nuage” fonctionne sans caractéristique dépendante et réalise des régressions supervisées et non supervisées ou des regroupements sous un même cadre. Elle traite divers types de régression, y compris les méthodes de régularisation comme le Lasso et le ridge, et est sans modèle, même pour les bandes de confiance multivariées. Mes fonctions de perte sont plus génériques que celles des LLM modernes, et ma méthode de descente de gradient est originale, sans mathématiques et sans paramètres.
Nouveaux types de visualisations
La visualisation des données reste un domaine de recherche traditionnel. Alors que beaucoup se concentrent sur les tableaux de bord, j’ai développé des visualisations puissantes qui résument des données complexes et haute dimension avec des diagrammes de dispersion en 2D. Ma dernière innovation est un type d’animation de données applicable dans divers contextes, y compris le GenAI.
Pour démontrer, j’ai appliqué la procédure de régression en nuage sur 500 ensembles d’entraînement en forme d’ellipses, chacun avec des paramètres spécifiques et des niveaux de bruit variés. L’objectif était d’évaluer l’efficacité de la technique d’ajustement de courbe sur différents ensembles de données. Le chemin continu dans l’espace des paramètres assure des transitions fluides entre les ensembles d’entraînement dans l’animation, couvrant de nombreuses combinaisons. Les courbes bleues représentent des estimations des ellipses théoriques inconnues.