Poza LLM i Modelami z Trylionami Parametrów
W dzisiejszych czasach AI wydaje się być synonimem GenAI (generatywna AI), LLM (duże modele językowe) i ultra-dużych modeli. Ten nacisk przyćmił inne obszary, takie jak wizja komputerowa i AI głosowa. Sukces modeli z trylionami parametrów wynika częściowo z ich nadmiernej parametrówizacji, gdzie różne kombinacje parametrów mogą przynosić zadowalające wyniki. W zasadzie, z wystarczającą liczbą ukrytych warstw i mocą GPU, imponujące wyniki są często nieuniknione, choć dokładne przyczyny pozostają niejasne.
Zauważyłem podobny trend w niektórych moich metodach niebazujących na sieciach neuronowych. Najlepiej działają, gdy granulacja jest maksymalna. Techniki wykorzystujące kombinatoryczne próbkowanie doskonale sprawdzają się przy zaledwie kilku milionach iteracji, eksplorując niewielką część przestrzeni próbkowania. Ich wydajność jest szczególnie imponująca w przestrzeniach o wysokiej wymiarowości, wykorzystując rzadkość przestrzeni cech. Bez tego metody te wymagałyby niepraktycznej liczby iteracji, co czyni je nieosiągalnymi.
Współczesne LLM nie są Panaceum
Pomimo ich imponujących osiągnięć, moje doświadczenie z GPT od OpenAI było rozczarowujące. Chociaż przewyższa wiele alternatyw, nie spełnia moich potrzeb, szczególnie w kwestiach badawczych. GPT nie podaje źródeł, z których korzysta, nawet gdy się o to poprosi. Moje frustracje, podzielane przez wielu, są szczegółowo opisane w moim poście na LinkedIn “My New LLM Project”.
W rezultacie muszę opracować własne narzędzie. Niechęć OpenAI do udostępniania źródeł, prawdopodobnie z powodu obaw o prawa autorskie, oraz rozwlekłość odpowiedzi GPT to główne wady. Wolę zwięzłe punkty i linki zamiast długich, przyjaznych dla początkujących odpowiedzi. Moje rozwiązanie będzie prostsze, nie wymagające sieci neuronowych ani wyrafinowanego angielskiego, i skoncentruje się na wyspecjalizowanych źródłach w matematyce.
Tematy Badawcze Poza LLM
Nowe odkrycia poza LLM otrzymują mniej finansowania i uwagi, ale rośnie zainteresowanie rozwiązaniami, które wymagają mniej zasobów. Moje badania koncentrują się na szybszych technikach, które zapewniają lepsze wyniki, w tym ulepszonych metrykach oceny, które unikają fałszywych negatywów, powszechnych przy generowaniu syntetycznych danych tabelarycznych. Metody te produkują powtarzalne, wyjaśnialne wyniki i są mniej wrażliwe na wybór nasion. Szczegółowe studia przypadków są dostępne na moim blogu.
Stan Tradycyjnego Uczenia Maszynowego
Tradycyjne uczenie maszynowe nie jest przestarzałe. Część moich badań nadal dotyczy ponownego próbkowania i regresji, ale z znaczącymi postępami. Na przykład, moja technika “regresji chmurowej” działa bez funkcji zależnej, wykonując nadzorowaną i nienadzorowaną regresję lub klastrowanie w ramach jednego środowiska. Radzi sobie z różnymi typami regresji, w tym metodami regularizacji, takimi jak Lasso i Ridge, i jest niezależna od modelu, nawet dla wielowymiarowych pasm ufności. Moje funkcje straty są bardziej ogólne niż te w nowoczesnych LLM, a moja metoda gradientu zstępującego jest oryginalna, bez matematyki i bez parametrów.
Nowe Rodzaje Wizualizacji
Wizualizacja danych pozostaje tradycyjnym obszarem badań. Podczas gdy wielu skupia się na panelach kontrolnych, opracowałem potężne wizualizacje, które podsumowują złożone, wysokowymiarowe dane za pomocą wykresów rozrzutu 2D. Moja najnowsza innowacja to rodzaj animacji danych, która ma zastosowanie w różnych kontekstach, w tym GenAI.
Aby to zademonstrować, zastosowałem procedurę regresji chmurowej na 500 zestawach treningowych w kształcie elips, z każdym o określonych parametrach i różnych poziomach szumów. Celem było ocenienie skuteczności techniki dopasowania krzywej w różnych zestawach danych. Ciągła ścieżka w przestrzeni parametrów zapewnia płynne przejścia między zestawami treningowymi w animacji, obejmując liczne kombinacje. Niebieskie krzywe reprezentują oszacowania nieznanych teoretycznych elips.