Andreas Geiger ha scritto un semplice applet Java di regressione di processo gaussiano, che illustra il comportamento delle funzioni di covarianza e degli iperparametri.

titolo del pacchetto descrizione dell’implementazione dell’autore

bcm La macchina del comitato bayesiano Anton Schwaighofer matlab e NETLAB

Un’estensione dell’implementazione di Netlab per la regressione GP. Permette la regressione su larga scala basata sull’approssimazione BCM, vedi anche il documento di accompagnamento

fbm Software per la modellazione flessibile bayesiana Radford M. Neal C per linux/unix

Un pacchetto esteso e ben documentato che implementa i metodi della catena di Markov Monte Carlo per l’inferenza bayesiana nelle reti neurali, i processi gaussiani (regressione, classificazione binaria e multi-classe), i modelli di miscela e gli alberi di diffusione Dirichlet.

gp-lvm e fgp-lvm A (veloce) implementazione dei modelli variabili latenti dei processi gaussiani Neil D. Lawrence matlab e C

gpml Code from the Rasmussen and Williams: Gaussian Processes for Machine Learning book. Carl Edward Rasmussen e Hannes Nickisch matlab e ottava

Il toolbox GPML implementa algoritmi di inferenza approssimativa per i processi gaussiani come la Propagazione delle aspettative, l’Approssimazione di Laplace e le Bayes variabili per un’ampia classe di funzioni di probabilità sia per la regressione che per la classificazione. Viene fornito con una grande algebra di covarianza e funzioni medie che permettono una modellazione flessibile. Il codice è pienamente compatibile con il documento Octave 3.2.x. JMLR che descrive il toolbox.

c+++-ivm Approssimazioni sparse basate sulla Macchina Informativa Vettoriale Neil D. Lawrence C++

IVM Software in C++ , include anche il modello di rumore di categoria nulla per l’apprendimento semi-sorvegliato.

Il software discriminante di BFD Bayesian Fisher Tonatiuh Peña Centeno matlab

Implementa un’interpretazione gaussiana del processo discriminante del Kernel Fisher.

gpor Processi gaussiani per la Regressione Ordinale Wei Chu C per linux/unix

Implementazione software dei Processi Gaussiani per la Regressione Ordinaria. Fornisce l’approssimazione di Laplace, la propagazione delle aspettative e il limite inferiore variabile.

Metodi MCMCstuff MCMC per MLP e GP e Stuff Aki Vehtari matlab e C

Una raccolta di funzioni matlab per l’inferenza bayesiana con i metodi della catena Markov Monte Carlo (MCMC). Lo scopo di questo toolbox era quello di portare alcune delle funzioni in fbm a matlab per uno sviluppo più facile per gli utenti di matlab.

ogp Sparse Online Gaussian Processes Lehel Csató matlab e NETLAB

Apprendimento online approssimativo in modelli di processo gaussiano rado per la regressione (comprese diverse funzioni di probabilità non gaussiane) e la classificazione.

Sogp Sparse Online Gaussian Process C++ Biblioteca Dan Grollman C++

Sparsa libreria online del processo gaussiano C+++ basata sulla tesi di dottorato di Lehel Csató

spgp .tgz o .zip Sparse Pseudo-input processi gaussiani Ed Snelson matlab

Implementa la regressione GP rada come descritto in Sparse Gaussian Processes utilizzando Pseudo-inputs e modelli di processo Gaussiani flessibili ed efficienti per l’apprendimento della macchina. Lo SPGP usa l’ottimizzazione della probabilità marginale basata sul gradiente per trovare punti base e iperparametri del kernel adatti in un’unica ottimizzazione congiunta.

tgp Treed Gaussian Processes Robert B. Gramacy C/C+++ per R

Regressione non parametrica e non stazionaria bayesiana mediante processi gaussiani ad albero con salti al modello lineare limitante (LLM). Casi speciali implementati includono anche modelli lineari bayesiani, CART lineari, regressione di processo gaussiano separabile stazionaria e isotropica isotropa. Include funzioni di plottaggio 1-d e 2-d (con capacità di proiezione di dimensioni più elevate e slice), e disegno ad albero, progettato per la visualizzazione dell’output della classe tgp. Vedi anche Gramacy 2007

Tpros Gaussian Process Regression David MacKay e Mark Gibbs C

Tpros è il programma Gaussian Process scritto da Mark Gibbs e David MacKay.

GP Demo Octave dimostrazione dell’interpolazione del processo gaussiano David MacKay ottava

Questa DEMO funziona bene con ottava-2.0 e non ha funzionato con 2.1.33.

Codice GPClass Matlab per la classificazione di processo gaussiana David Barber e C. K. I. Williams matlab

Implementa l’approssimazione di Laplace come descritto nella Classificazione Bayesiana con i Processi Gaussiani per la classificazione binaria e multiclasse.

VBGP Variazione Variazionale Bayesiana Multinomiale Regressione della Probit con i Priori dei Processi Gaussiani Mark Girolami e Simon Rogers matlab

Implementa un’approssimazione variazionale per la classificazione multiclasse basata sul processo gaussiano come descritto nel documento Variational Bayesian Multinomial Probit Regression.

pyGPs Processi gaussiani per la regressione e la classificazione Marion Neumann Python

pyGPs è una libreria contenente un’implementazione python orientata agli oggetti per la regressione e la classificazione del processo gaussiano (GP). github

processo gaussiano regressione di processo gaussiano Anand Patil Python

in fase di sviluppo

gptk Gaussian Process Tool-Kit Alfredo Kalaitzis R

Il pacchetto gptk implementa un toolkit generico per la regressione di processo gaussiana con una funzione di covarianza RBF. Basato su un’implementazione MATLAB scritta da Neil D. Lawrence.

Altri software di questo tipo sono utili per l’implementazione di modelli di processo gaussiani:

Questo sito internet ha lo scopo di fornire una sintesi delle risorse che riguardano la modellazione probabilistica, l’inferenza e l’apprendimento dei processi gaussiani supportati. Anche se i processi gaussiani hanno una lunga storia nel campo della statistica, sembrano essere stati ampiamente utilizzati solo in aree di nicchia. Con l’arrivo delle macchine del kernel all’interno della comunità di machine learning, i modelli che supportano i processi gaussiani sono diventati comuni per problemi di regressione (kriging) e classificazione anche come una serie di applicazioni più specializzate.

Tutorial

Diversi articoli forniscono materiale didattico adatto per un’introduzione primaria all’apprendimento dei modelli di processo gaussiani. Questi vanno da molto breve [Williams 2002] a intermedio [MacKay 1998], [Williams 1999] a quello più elaborato [Rasmussen e Williams 2006]. Tutti questi richiedono solo un minimo di prerequisiti all’interno del tipo di matematica applicata elementare e algebra.

Regressione

Gli usi più semplici dei modelli di processo gaussiani sono per (il caso coniugato di) regressione con il rumore gaussiano. Si veda la sezione di approssimazione per le carte che trattano specificamente le tecniche di approssimazione rade o veloci. O’Hagan 1978 rappresenta un riferimento precoce dalla comunità statistica per l’utilizzo di un processo gaussiano come un precedente sulle funzioni, un pensiero che è stato introdotto solo alla comunità di machine learning da Williams e Rasmussen 1996.

Classificazione

L’esatta inferenza nei modelli di processo gaussiani per la classificazione non è tracciabile. Sono suggeriti diversi schemi di approssimazione, tra cui il metodo di Laplace, le approssimazioni variazionali, i metodi del campo medio, la catena di Markov Monte Carlo e la Propagazione delle aspettative. cfr. la sezione approssimazione. La classificazione multi-classe potrebbe anche essere trattata esplicitamente, o scomposta in problemi multipli, binari (uno contro gli altri). Per le introduzioni, si veda ad esempio Williams e Barber 1998 o Kuss e Rasmussen 2005. I limiti dalla prospettiva PAC-Bayesiana sono applicati in Seeger 2002.

Covarianza Funzioni e proprietà dei processi gaussiani

Le proprietà dei processi gaussiani sono controllate dalla funzione (funzione media e) covarianza. Alcuni riferimenti qui descrivono le funzioni di covarianza delle differenze, mentre altri danno caratterizzazioni matematiche, vedi ad esempio Abrahamsen 1997 per una recensione. Alcuni riferimenti descrivono funzioni di covarianza non standard con conseguente non stazionarietà, ecc.

Selezione del modello

Approssimazioni

Ci sono due ragioni principali per fare approssimazioni nei modelli di processo gaussiani. O a causa dell’intrattabilità analitica, come avviene nella classificazione e nella regressione con il rumore non gaussiano. O per realizzare un vantaggio computazionale quando si utilizzano grandi insiemi di dati, utilizzando approssimazioni sparse. Alcuni metodi affrontano entrambi i problemi simultaneamente. I metodi di approssimazione e gli algoritmi di inferenza approssimativa sono abbastanza diversi, vedi Quiñonero-Candela e Ramussen 2005 per un quadro unificante per le approssimazioni rade all’interno del modello di regressione gaussiano.

Riferimenti dalla Comunità di Statistica

I processi gaussiani hanno una lunga storia all’interno della comunità statistica. devono essere particolarmente ben sviluppati in geostatistica sotto il nome di kriging. I documenti sono raggruppati perché sono scritti utilizzando una terminologia comune, e hanno un focus leggermente diverso dai tipici documenti di machine learning,

Coerenza, curve di apprendimento e limiti

Gli articoli di questa sezione forniscono risultati teorici sulle curve di apprendimento, che descrivono la performance di generalizzazione attesa in funzione della quantità di casi di coaching. La coerenza affronta la questione se la risposta si avvicina al processo di generazione dei dati di verità entro i limiti di un numero infinito di esempi di formazione.