Andreas Geiger napisał prosty aplet Java regresji procesu gaussowskiego, ilustrujący zachowanie funkcji kowariancji i hiperparametrów.

tytuł pakietu opis implementacji autora

bcm Maszyna Komitetu Bayesowskiego Anton Schwaighofer matlab i NETLAB

Rozszerzenie implementacji Netlab dla regresji GP. Umożliwia ono regresję na dużą skalę opartą na przybliżeniu BCM, patrz również towarzyszący jej dokument

Oprogramowanie fbm do elastycznego modelowania bayesowskiego Radford M. Neal C dla linux/unix

Rozbudowany i dobrze udokumentowany pakiet implementujący metody łańcucha Markova Monte Carlo dla inferencji bayesowskiej w sieciach neuronowych, procesach gaussowskich (regresja, klasyfikacja binarna i wieloklasowa), modelach mieszanych i drzewach dyfuzyjnych Dirichleta.

gp-lvm i fgp-lvm A (szybkie) wdrożenie utajnionych modeli zmiennych procesu gaussowskiego Neil D. Lawrence matlab i C

gpml Kod z książki Rasmussen i Williams: Gaussian Processes for Machine Learning. Carl Edward Rasmussen i Hannes Nickisch matlab and octave

Zestaw narzędzi GPML implementuje przybliżone algorytmy wnioskowania dla procesów gaussowskich, takie jak propagacja oczekiwań, przybliżanie Laplace’a i zmienne Bayes dla szerokiej klasy funkcji prawdopodobieństwa zarówno dla regresji jak i klasyfikacji. Posiada on dużą algebrę kowariancji i funkcje średnie pozwalające na elastyczne modelowanie. Kod jest w pełni kompatybilny z dokumentem Octave 3.2.x. JMLR opisującym zestaw narzędzi.

c++-ivm Skąpe przybliżenia oparte na informacyjnej maszynie wektorowej Neil D. Lawrence C++

Oprogramowanie IVM w C++ zawiera również model hałasu kategorii zerowej do nauki pod nadzorem.

BFD Bayesian Fisher’s Discriminant software Tonatiuh Peña Centeno matlab

Wdraża interpretację procesu gaussowskiego dyskryminatora Kernel Fishera.

gpor Gaussian Processes for Ordinal Regression Wei Chu C for linux/unix

Implementacja oprogramowania Procesów Gaussiana dla regresji zwykłej. Zapewnia oszacowanie Laplace Approximation, Expectation Propagation i Variational Lower Bound.

MCMCstuff Metody MCMC dla MLP i GP oraz Stuff Aki Vehtari matlab i C

Zbiór funkcji matlabowych dla bayesowskich w nawiązaniu do metod łańcucha Markova Monte Carlo (MCMC). Celem tego zestawu narzędzi było przeniesienie niektórych funkcji z fbm na matlab dla łatwiejszego rozwoju dla użytkowników matlab.

ogp Sparse Online Gaussian Processes Lehel Csató matlab i NETLAB

Przybliżone uczenie się online w rzadkich modelach procesów gaussowskich dla regresji (w tym kilka niegazowskich funkcji prawdopodobieństwa) i klasyfikacji.

sogp Sparse Online Gaussian Process C++ Biblioteka Dan Grollman C++

Skąpy internetowy proces Gaussian C++ biblioteka oparta na pracy doktorskiej Lehel Csató

spgp .tgz lub .zip Sparse Pseudoinput Gaussian Processes Ed Snelson matlab

Implementuje regresję skąpych rozmiarów GP, opisaną w Procesach skąpych Gaussian przy użyciu Pseudowdrożów oraz Elastycznych i wydajnych modeli procesów Gaussian do nauki maszynowej. SPGP wykorzystuje opartą na gradiencie optymalizację prawdopodobieństwa krańcowego w celu znalezienia odpowiednich punktów bazowych i hiperparametrów jądra w optymalizacji pojedynczego złącza.

tgp Treed Gaussian Processes Robert B. Gramacy C/C++ dla R

Bajesowska regresja nieparametryczna i niestacjonarna za pomocą gejowskich procesów drzewiastych ze skokami do ograniczającego modelu liniowego (LLM). Szczególne przypadki obejmują również zaimplementowane bayesowskie modele liniowe, liniowy CART, stacjonarną rozdzielną i izotropową regresję procesów gaussowskich. Zawiera funkcje kreślarskie 1-d i 2-d (o większych możliwościach rzutowania wymiarów i cięcia) oraz rysunek drzewa, zaprojektowany do wizualizacji wyników klasy tgp. Patrz również Gramacy 2007

Tpros Gaussian Process Regression David MacKay i Mark Gibbs C

Tpros to program Gaussian Process napisany przez Marka Gibbsa i Davida MacKaya.

GP Demo Octave demonstracja interpolacji procesu Gaussian oktawa Davida MacKaya.

Ten DEMO działa dobrze z oktawą-2.0 i nie działał z 2.1.33.

Kod GPClass Matlab dla Gaussian Process Classification David Barber i C. K. I. Williams matlab

Wprowadza zbliżenie Laplace’a opisane w klasyfikacji bayesowskiej z Procesami Gaussian’a do klasyfikacji binarnej i wieloklasowej.

VBGP Wariacyjna bayesowska wielomianowa regresja probiercza z procesami gaussowskimi Mark Girolami i Simon Rogers matlab

Wdraża wariantową aproksymację dla wielopoziomowej klasyfikacji opartej na Procesie Gaussyjskim, jak opisano w artykule Variational Bayesian Multinomial Probit Regression.

pyGPs Gaussian Processes for Regression and Classification Marion Neumann Python

pyGPs jest biblioteką zawierającą obiektową implementację pythona dla regresji i klasyfikacji procesów Gaussian Process (GP). github

proces gaussiński regresja procesu gaussińskiego Anand Patil Python

w trakcie opracowywania

gptk Gaussian Process Tool-Kit Alfredo Kalaitzis R

Pakiet gptk implementuje zestaw narzędzi ogólnego przeznaczenia do regresji procesów Gaussian z funkcją kowariancji RBF. Oparty na implementacji MATLAB napisanej przez Neila D. Lawrence’a.

Inne oprogramowanie, które w ten sposób jest użyteczne do implementacji modeli procesów Gaussian:

Ta strona internetowa ma na celu dostarczenie podsumowania zasobów dotyczących probabilistycznego modelowania, wnioskowania i uczenia się wspieranych procesów gausyjskich. Chociaż procesy gaussowskie mają rozbudowaną historię w dziedzinie statystyki, wydaje się, że są one szeroko stosowane tylko w obszarach niszowych. Wraz z pojawieniem się maszyn jądra w społeczności uczącej się maszyn, modele wspierające procesy gaussowskie stały się powszechne dla problemów regresji (krigingu) i klasyfikacji również jako szereg bardziej specjalistycznych zastosowań.

Tutoriale

Kilka referatów zawiera materiały dydaktyczne odpowiednie do podstawowego wprowadzenia do nauki w modelach procesów gaussowskich. Od bardzo krótkich [Williams 2002] przez pośrednie [MacKay 1998], [Williams 1999] do bardziej rozbudowanych [Rasmussen i Williams 2006]. Wszystkie one wymagają jedynie minimum warunków wstępnych w ramach rodzaju elementarnej matematyki stosowanej i algebry.

Regresja

Najprostszym zastosowaniem modeli procesów gaussowskich jest regresja (przypadek sprzężony) z szumem gausowskim. W części poświęconej aproksymacji znajdują się prace, które w szczególności zajmują się technikami skąpych lub szybkich aproksymacji. O’Hagan 1978 stanowi wczesne odniesienie ze statystyk wspólnoty do wykorzystania procesu gaussowskiego jako wcześniejszego niż funkcje, myśl, która została wprowadzona do społeczności uczącej się maszyn dopiero przez Williamsa i Rasmussena 1996.

Klasyfikacja

Dokładny wniosek w modelach procesów Gaussian do klasyfikacji nie jest możliwe do wytłumaczenia. Sugeruje się kilka schematów przybliżenia, w tym metodę Laplace’a, przybliżenia wariantowe, średnie metody terenowe, łańcuch Markova Monte Carlo i Expectation Propagation. por. część dotycząca przybliżenia. Klasyfikacja wielu klas może być również traktowana wyraźnie, lub rozłożona na wiele, binarnych (jeden na tle pozostałych) problemów. Williams and Barber 1998 lub Kuss and Rasmussen 2005. Bounds from the PAC-Bayesian perspective are applied in Seeger 2002.

Funkcje kowariancji i właściwości procesów gausyjskich

Właściwości procesów gaussowskich są kontrolowane przez (średnią funkcję i) funkcję kowariancji. Niektóre odniesienia tutaj opisują różnice funkcji kowariancji, podczas gdy inne dają matematyczne charakterystyki, patrz np. Abrahamsen 1997 dla przeglądu. Niektóre odniesienia opisują niestandardowe funkcje kowariancji powodujące niestacjonarność itp.

Wybór modelu

Przybliżenia

Istnieją dwa główne powody, dla których dokonuje się przybliżenia w modelach procesów gaussowskich. Albo z powodu braku możliwości analitycznych, takich jak klasyfikacja i regresja przy nie-gazjańskim hałasie. Albo w celu uzyskania przewagi obliczeniowej przy wykorzystaniu dużych zbiorów danych, poprzez wykorzystanie skąpych przybliżeń. Niektóre metody dotyczą obu tych zagadnień jednocześnie. Metody aproksymacji i przybliżone algorytmy wnioskowania są dość zróżnicowane, patrz Quiñonero-Candela i Ramussen 2005 w celu zapoznania się z ramami unifikującymi dla skąpych aproksymacji w ramach modelu regresji gausowskiej.

Odniesienia ze społeczności statystycznej

Procesy gaussowskie mają długą historię w społeczności statystycznej. muszą być szczególnie dobrze rozwinięte w geostatystyce pod nazwą kriging. Prace te są pogrupowane, ponieważ są napisane przy użyciu wspólnej terminologii i mają nieco inny charakter niż typowe prace z zakresu uczenia się maszynowego,

Spójność, krzywe uczenia się i granice

Referaty w tej części przedstawiają teoretyczne wyniki dotyczące krzywych uczenia się, które opisują oczekiwaną wydajność uogólnienia w funkcji ilości przypadków coachingu. Konsekwencja odnosi się do pytania, czy odpowiedź zbliża się do procesu generowania danych prawdziwych w granicach nieskończonej ilości przykładów szkoleń.