Über LLMs und Billionen-Parameter-Modelle hinaus

Heutzutage scheint KI gleichbedeutend mit GenAI (generative KI), LLMs (große Sprachmodelle) und ultra-großen Modellen zu sein. Dieser Fokus hat andere Bereiche wie Computer Vision und Sprach-KI in den Schatten gestellt. Der Erfolg von Billionen-Parameter-Modellen liegt teilweise in ihrer Überparametrisierung, bei der verschiedene Parameterkombinationen zufriedenstellende Ergebnisse liefern können. Im Wesentlichen sind bei genügend versteckten Schichten und GPU-Leistung beeindruckende Ergebnisse oft unvermeidlich, auch wenn die genauen Gründe unklar bleiben.

Ich habe einen ähnlichen Trend bei einigen meiner nicht-neuronalen Netzwerkmethoden festgestellt. Sie funktionieren am besten, wenn die Granularität maximiert wird. Techniken, die kombinatorische Resampling-Verfahren nutzen, glänzen bereits mit wenigen Millionen Iterationen und erkunden nur einen kleinen Bruchteil des Stichprobenraums. Ihre Leistung ist besonders in hochdimensionalen Räumen beeindruckend, da sie die Sparsamkeit des Merkmalsraums ausnutzen. Ohne dies würden die Methoden eine unpraktische Anzahl von Iterationen erfordern und wären somit nicht umsetzbar.

Moderne LLMs sind kein Allheilmittel

Trotz ihrer beeindruckenden Leistung war meine Erfahrung mit OpenAIs GPT enttäuschend. Obwohl es viele Alternativen übertrifft, erfüllt es nicht meine Bedürfnisse, insbesondere bei Forschungsfragen. GPT gibt nicht die Referenzen an, die es verwendet, selbst wenn danach gefragt wird. Meine Frustrationen, die von vielen geteilt werden, habe ich in meinem LinkedIn-Post „My New LLM Project“ ausführlich beschrieben.

Daher muss ich mein eigenes Werkzeug entwickeln. Die Zurückhaltung von OpenAI, Quellen zu teilen, möglicherweise aus urheberrechtlichen Gründen, und die Weitschweifigkeit der GPT-Antworten sind große Nachteile. Ich bevorzuge prägnante Stichpunkte und Links gegenüber langen, anfängerfreundlichen Antworten. Meine Lösung wird einfacher sein, ohne neuronale Netzwerke oder ausgefeiltes Englisch zu erfordern, und sich auf spezialisierte Quellen in der Mathematik konzentrieren.

Forschungsthemen jenseits von LLMs

Neue Entwicklungen außerhalb von LLMs erhalten weniger Finanzierung und Aufmerksamkeit, aber das Interesse an ressourcenschonenderen Lösungen wächst. Meine Forschung konzentriert sich auf schnellere Techniken, die bessere Ergebnisse liefern, einschließlich verbesserter Bewertungsmetriken, die falsche Negative vermeiden, wie sie häufig bei der Erzeugung synthetischer tabellarischer Daten auftreten. Diese Methoden erzeugen reproduzierbare, erklärbare Ergebnisse und sind weniger empfindlich gegenüber der Wahl des Seeds. Detaillierte Fallstudien finden sich auf meinem Blog.

Der Stand des traditionellen maschinellen Lernens

Traditionelles maschinelles Lernen ist nicht obsolet. Einige meiner Forschungen beschäftigen sich noch mit Themen wie Resampling oder Regression, jedoch mit erheblichen Fortschritten. Zum Beispiel arbeitet meine „Cloud-Regression“-Technik ohne eine abhängige Variable und führt überwachte und unüberwachte Regression oder Clusterbildung unter einem Dach durch. Sie bewältigt verschiedene Regressionstypen, einschließlich Regularisierungsmethoden wie Lasso und Ridge, und ist modellfrei, selbst für multivariate Konfidenzbänder. Meine Verlustfunktionen sind generischer als die in modernen LLMs, und meine Gradientenabstiegsmethode ist original, mathematikfrei und parameterfrei.

Neue Arten der Visualisierung

Datenvisualisierung bleibt ein traditionelles Forschungsgebiet. Während sich viele auf Dashboards konzentrieren, habe ich leistungsstarke Visualisierungen entwickelt, die komplexe, hochdimensionale Daten mit 2D-Streudiagrammen zusammenfassen. Meine neueste Innovation ist eine Art Datenanimation, die in vielen Kontexten nützlich ist, auch in GenAI.

Um dies zu demonstrieren, habe ich das Cloud-Regression-Verfahren auf 500 Trainingssätze angewendet, die in Form von Ellipsen gestaltet sind, jeder mit spezifischen Parametern und unterschiedlichem Rauschniveau. Das Ziel war es, die Effektivität der Kurvenanpassungstechnik über verschiedene Datensätze hinweg zu bewerten. Der kontinuierliche Pfad im Parameterraum sorgt für reibungslose Übergänge zwischen den Trainingssätzen in der Animation und deckt zahlreiche Kombinationen ab. Die blauen Kurven stellen Schätzungen der unbekannten theoretischen Ellipsen dar.