Oltre gli LLM e i Modelli a Trilioni di Parametri
Oggi, l’IA sembra sinonimo di GenAI (IA generativa), LLM (grandi modelli linguistici) e modelli ultra-grandi. Questo focus ha oscurato altre aree come la visione artificiale e l’IA vocale. Il successo dei modelli a trilioni di parametri è dovuto in parte alla loro sovra-parametrizzazione, dove varie combinazioni di parametri possono produrre risultati soddisfacenti. In sostanza, con abbastanza strati nascosti e potenza di GPU, risultati impressionanti sono spesso inevitabili, anche se le ragioni esatte rimangono poco chiare.
Ho notato una tendenza simile con alcuni dei miei metodi non basati su reti neurali. Funzionano meglio quando la granularità è massimizzata. Le tecniche che utilizzano il campionamento combinatorio eccellono con solo pochi milioni di iterazioni, esplorando una piccola frazione dello spazio campionario. La loro performance è particolarmente impressionante negli spazi ad alta dimensione, sfruttando la scarsità dello spazio delle caratteristiche. Senza questo, i metodi richiederebbero un numero impraticabile di iterazioni, rendendoli infattibili.
Gli LLM Moderni Non Sono la Panacea
Nonostante le loro prestazioni impressionanti, la mia esperienza con il GPT di OpenAI è stata deludente. Anche se supera molte alternative, non soddisfa le mie esigenze, in particolare per le domande di ricerca. Il GPT non fornisce le referenze che utilizza, anche quando richiesto. Le mie frustrazioni, condivise da molti, sono dettagliate nel mio post su LinkedIn, “My New LLM Project.”
Di conseguenza, devo sviluppare il mio strumento. La riluttanza di OpenAI a condividere le fonti, forse a causa di preoccupazioni sul copyright, e la verbosità delle risposte del GPT sono grandi svantaggi. Preferisco punti concisi e collegamenti rispetto a risposte lunghe e adatte ai principianti. La mia soluzione sarà più semplice, senza necessitare di reti neurali o inglese raffinato, e si concentrerà su fonti specializzate in matematica.
Argomenti di Ricerca Oltre gli LLM
I nuovi sviluppi al di fuori degli LLM ricevono meno finanziamenti e attenzione, ma l’interesse per soluzioni che richiedono meno risorse è in crescita. La mia ricerca si concentra su tecniche più veloci che forniscono risultati migliori, incluse metriche di valutazione migliorate che evitano i falsi negativi comuni nella generazione di dati tabellari sintetici. Questi metodi producono risultati replicabili e spiegabili e sono meno sensibili alla scelta del seed. Studi di casi dettagliati sono disponibili sul mio blog.
Lo Stato del Machine Learning Tradizionale
Il machine learning tradizionale non è obsoleto. Parte della mia ricerca riguarda ancora il campionamento e la regressione, ma con progressi significativi. Ad esempio, la mia tecnica di “regressione a nuvola” opera senza una caratteristica dipendente, eseguendo la regressione supervisionata e non supervisionata o il clustering sotto un unico framework. Gestisce vari tipi di regressione, inclusi metodi di regolarizzazione come Lasso e ridge, ed è indipendente dal modello, anche per le bande di confidenza multivariate. Le mie funzioni di perdita sono più generiche di quelle nei moderni LLM, e il mio metodo di discesa del gradiente è originale, senza matematica e senza parametri.
Nuovi Tipi di Visualizzazioni
La visualizzazione dei dati rimane un’area di ricerca tradizionale. Mentre molti si concentrano sui dashboard, ho sviluppato visualizzazioni potenti che riassumono dati complessi e ad alta dimensione con scatterplot 2D. La mia ultima innovazione è un tipo di animazione dei dati applicabile in vari contesti, inclusa la GenAI.
Per dimostrare, ho applicato la procedura di regressione a nuvola su 500 set di addestramento a forma di ellisse, ciascuno con parametri specifici e livelli di rumore variabili. L’obiettivo era valutare l’efficacia della tecnica di fitting della curva su diversi set di dati. Il percorso continuo nello spazio dei parametri garantisce transizioni fluide tra i set di addestramento nell’animazione, coprendo numerose combinazioni. Le curve blu rappresentano stime delle ellissi teoriche sconosciute.