Voorbij LLMs en Triljoen-Parameter Modellen
Tegenwoordig lijkt AI synoniem te zijn met GenAI (generatieve AI), LLMs (grote taalmodellen) en ultra-grote modellen. Deze focus heeft andere gebieden zoals computer vision en spraak-AI overschaduwd. Het succes van triljoen-parameter modellen is deels te danken aan hun over-parametrisatie, waarbij verschillende parametercombinaties bevredigende resultaten kunnen opleveren. In wezen zijn indrukwekkende uitkomsten vaak onvermijdelijk met voldoende verborgen lagen en GPU-kracht, hoewel de exacte redenen onduidelijk blijven.
Ik heb een vergelijkbare trend opgemerkt met enkele van mijn niet-neurale netwerkmethoden. Ze presteren het beste wanneer de granulariteit maximaal is. Technieken die combinatorische hernieuwde bemonstering gebruiken, excelleren met slechts enkele miljoenen iteraties en verkennen een klein deel van de steekproefruimte. Hun prestaties zijn bijzonder indrukwekkend in hoog-dimensionale ruimtes, gebruikmakend van de schaarste van de kenmerkruimte. Zonder dit zouden de methoden een onpraktisch aantal iteraties vereisen, waardoor ze onuitvoerbaar zouden zijn.
Moderne LLMs Zijn Niet de Panacee
Ondanks hun indrukwekkende prestaties was mijn ervaring met GPT van OpenAI teleurstellend. Hoewel het veel alternatieven overtreft, voldoet het niet aan mijn behoeften, vooral voor onderzoeksvragen. GPT geeft niet de referenties die het gebruikt, zelfs niet wanneer daarom wordt gevraagd. Mijn frustraties, gedeeld door velen, zijn gedetailleerd in mijn LinkedIn-bericht, “My New LLM Project.”
Als gevolg hiervan moet ik mijn eigen tool ontwikkelen. De terughoudendheid van OpenAI om bronnen te delen, mogelijk vanwege auteursrechtelijke zorgen, en de breedsprakigheid van de GPT-antwoorden zijn grote nadelen. Ik geef de voorkeur aan beknopte opsommingstekens en links boven lange, beginner-vriendelijke antwoorden. Mijn oplossing zal eenvoudiger zijn, zonder neurale netwerken of gepolijst Engels, en zal zich richten op gespecialiseerde bronnen in de wiskunde.
Onderzoeksonderwerpen Voorbij LLMs
Nieuwe ontwikkelingen buiten de LLMs ontvangen minder financiering en aandacht, maar de interesse in oplossingen die minder middelen vergen, groeit. Mijn onderzoek richt zich op snellere technieken die betere resultaten opleveren, inclusief verbeterde evaluatiemetrics die valse negatieven vermijden, vaak voorkomend bij de generatie van synthetische tabulaire gegevens. Deze methoden produceren repliceerbare, verklaarbare resultaten en zijn minder gevoelig voor de keuze van de seed. Gedetailleerde casestudies zijn beschikbaar op mijn blog.
De Staat van Traditioneel Machine Learning
Traditioneel machine learning is niet achterhaald. Een deel van mijn onderzoek betreft nog steeds hernieuwde bemonstering en regressie, maar met aanzienlijke vooruitgang. Bijvoorbeeld, mijn “cloud regressie” techniek werkt zonder een afhankelijke functie en voert zowel gesuperviseerde als niet-gesuperviseerde regressie of clustering uit onder één framework. Het behandelt verschillende regressietypen, inclusief regularisatiemethoden zoals Lasso en ridge, en is modelvrij, zelfs voor multivariate betrouwbaarheidsbanden. Mijn verliesfuncties zijn generieker dan die in moderne LLMs, en mijn gradiente afdaling methode is origineel, zonder wiskunde en zonder parameters.
Nieuwe Soorten Visualisaties
Data-visualisatie blijft een traditioneel onderzoeksgebied. Terwijl velen zich richten op dashboards, heb ik krachtige visualisaties ontwikkeld die complexe, hoog-dimensionale gegevens samenvatten met 2D scatterplots. Mijn nieuwste innovatie is een soort data-animatie die toepasbaar is in verschillende contexten, inclusief GenAI.
Om dit te demonstreren, paste ik de cloud regressie procedure toe op 500 trainingssets in de vorm van ellipsen, elk met specifieke parameters en variërende ruisniveaus. Het doel was om de effectiviteit van de curve fitting techniek over verschillende datasets te evalueren. Het continue pad in de parameterspace zorgt voor soepele overgangen tussen trainingssets in de animatie, waarbij talrijke combinaties worden gedekt. De blauwe curves vertegenwoordigen schattingen van de onbekende theoretische ellipsen.