Andreas Geiger escreveu um simples applet Java de regressão do processo Gaussiano, ilustrando o comportamento das funções de covariância e hiperparâmetros.

título do pacote descrição da implementação do autor

bcm A Máquina do Comité Bayesiano Anton Schwaighofer matlab e NETLAB

Uma extensão da implementação do Netlab para a regressão GP. Permite a regressão em larga escala com base na aproximação do BCM, ver também o documento de acompanhamento

fbm Software para Modelação Bayesiana Flexível Radford M. Neal C para linux/unix

Um pacote extensivo e bem documentado de implementação dos métodos da cadeia de Markov Monte Carlo para inferência Bayesiana em redes neurais, processos gaussianos (regressão, classificação binária e multiclasse), modelos de mistura e árvores de difusão de Dirichlet.

gp-lvm e fgp-lvm A (rápida) implementação dos modelos de variáveis latentes do processo gaussiano Neil D. Lawrence matlab e C

gpml Code from the Rasmussen and Williams: Gaussian Processes for Machine Learning book. Carl Edward Rasmussen e Hannes Nickisch matlab e oitava

A caixa de ferramentas GPML implementa algoritmos de inferência aproximados para processos Gaussianos como a Propagação da Expectativa, a Aproximação de Laplace e Bayes Variacional para uma ampla classe de funções de probabilidade tanto para a regressão como para a classificação. Vem com uma grande álgebra de covariância e funções médias permitindo uma modelação flexível. O código é totalmente compatível com o Octave 3.2.x. Papel JMLR descrevendo a caixa de ferramentas.

c++-ivm Aproximações esparsas baseadas na Máquina Vectorial Informativa Neil D. Lawrence C++

O software IVM em C++ , inclui também o modelo de ruído de categoria nula para aprendizagem semi-supervisionada.

BFD Bayesian Fisher’s Discriminant software Tonatiuh Peña Centeno matlab

Implementa uma interpretação do processo gaussiano do discriminante Kernel Fisher.

gpor Processos Gaussianos para Regressão Ordinal Wei Chu C para linux/unix

Implementação de software dos Processos Gaussianos de Regressão Ordinal. Proporciona Aproximação Laplace, Propagação Expectativa e Variação do Limite Inferior.

MCMCstuff Métodos MCMC para MLP e GP e Stuff Aki Vehtari matlab e C

Uma colecção de funções matlab para inferência Bayesiana com métodos da cadeia de Markov Monte Carlo (MCMC). O objectivo desta caixa de ferramentas foi o de transportar algumas das funcionalidades da fbm para o matlab, para facilitar o desenvolvimento aos utilizadores do matlab.

ogp Sparse Online Processos Gaussianos Lehel Csató matlab e NETLAB

Aprendizagem em linha aproximada em modelos de regressão (incluindo várias funções de probabilidade não gaussianas) e classificação no processo Gaussiano.

sogp Sparse Online Gaussiano Processo C++ Biblioteca Dan Grollman C++

Biblioteca online do processo Gaussiano C++ baseada na tese de doutoramento de Lehel Csató

spgp .tgz ou .zip Processos Gaussianos com Pseudo-inputs Espartilhado Ed Snelson matlab

Implementa regressão GP esparsa como descrito em Processos Gaussianos esparsos usando Pseudo-inputs e modelos de processos Gaussianos flexíveis e eficientes para a aprendizagem de máquinas. O SPGP utiliza a optimização de probabilidade marginal baseada em gradientes para encontrar pontos base e hiperparâmetros de núcleo adequados numa única optimização conjunta.

tgp Treed Processos Gaussianos Robert B. Gramacy C/C++ para R

Regressão Bayesiana não paramétrica e não estacionária por processos gaussianos com saltos para o modelo linear limite (LLM). Casos especiais também implementados incluem modelos lineares Bayesianos, CART linear, regressão estacionária separável e isotrópica do processo Gaussiano. Inclui funções de plotting 1-d e 2-d (com capacidade de projecção de maiores dimensões e fatias), e desenho em árvore, concebido para visualização da saída da classe tgp. Ver também Gramacy 2007

Tpros Gaussian Process Regression David MacKay e Mark Gibbs C

Tpros é o programa do Processo Gaussiano escrito por Mark Gibbs e David MacKay.

Demonstração do GP Demo Octave da interpolação do Processo Gaussiano David MacKay octave

Esta DEMO funciona bem com oitava-2.0 e não funcionou com 2.1.33.

Código GPClass Matlab para a Classificação do Processo Gaussiano David Barber e C. K. I. Williams matlab

Implementa a aproximação de Laplace tal como descrita na Classificação Bayesiana com Processos Gaussianos para a classificação binária e multiclasse.

VBGP Variação Bayesiana Multinomial Probit Regressão com os Priores do Processo Gaussiano Mark Girolami e Simon Rogers matlab

Implementa uma aproximação variacional para a classificação multiclasse baseada no Processo Gaussiano, tal como descrito no artigo Variational Bayesian Multinomial Probit Regression.

pyGPs Processos Gaussianos para Regressão e Classificação Marion Neumann Python

pyGPs é uma biblioteca que contém uma implementação python orientada a objectos para a regressão e classificação do Processo Gaussiano (GP). github

processo gaussiano regressão do processo gaussiano Anand Patil Python

em desenvolvimento

gptk Kalaitzis R Kit de Ferramentas do Processo Gaussiano Alfredo Kalaitzis

O pacote gptk implementa um conjunto de ferramentas de uso geral para a regressão do processo gaussiano com uma função de covariância da RBF. Baseado em uma implementação MATLAB escrita por Neil D. Lawrence.

Outro software dessa forma será útil para a implementação de modelos do processo Gaussiano:

Este site na Internet tem como objectivo fornecer um resumo dos recursos relacionados com a modelação probabilística, inferência e aprendizagem dos processos gaussianos apoiados. Embora os processos gaussianos tenham uma longa história no campo da estatística, eles parecem ter sido empregados extensivamente apenas em áreas de nicho. Com a chegada das máquinas de kernel dentro da comunidade de aprendizagem de máquinas, os modelos apoiados pelos processos gaussianos tornaram-se comuns para problemas de regressão (kriging) e classificação também como um número de aplicações mais especializadas.

Tutoriais

Vários artigos fornecem material tutorial adequado para uma introdução primária à aprendizagem nos modelos do processo gaussiano. Estes variam de muito curtos [Williams 2002] a intermédios [MacKay 1998], [Williams 1999] até aos mais elaborados [Rasmussen e Williams 2006]. Todos eles exigem apenas um mínimo de pré-requisitos dentro do tipo de matemática e álgebra aplicada elementar.

Regressão

Os usos mais simples dos modelos do processo gaussiano são para (o caso conjugado de) regressão com o ruído gaussiano. Ver a secção de aproximação para papéis que lidam especificamente com técnicas de aproximação esparsa ou rápida. O’Hagan 1978 representa uma referência inicial da comunidade estatística para a utilização de um processo gaussiano como uma sobre funções anteriores, um pensamento que só foi introduzido à comunidade de aprendizagem de máquinas por Williams e Rasmussen 1996.

Classificação

A inferência exacta nos modelos do processo gaussiano para a classificação não é traçável. São sugeridos vários esquemas de aproximação, incluindo o método de Laplace, aproximações variacionais, métodos de campo médios, cadeia de Markov Monte Carlo e Propagação de Expectativas. cf. a secção de aproximação. A classificação de várias classes poderia também ser tratada explicitamente, ou decomposta em múltiplos problemas binários (um contra o resto). Para introduções, ver, por exemplo, Williams and Barber 1998 ou Kuss and Rasmussen 2005. Os limites da perspectiva PAC-Bayesiana são aplicados em Seeger 2002.

Covariância das Funções e Propriedades dos Processos Gaussianos

As propriedades dos processos gaussianos são controladas pela função (função média e) de covariância. Algumas referências aqui descrevem funções de covariância de diferença, enquanto outras dão caracterizações matemáticas, ver por exemplo Abrahamsen 1997 para uma revisão. Algumas referências descrevem funções de covariância não padronizadas, resultando em não estacionaridade, etc.

Selecção do Modelo

Aproximações

Há duas razões principais para fazer aproximações nos modelos do processo gaussiano. Ou devido à intractabilidade analítica como arriscos na classificação e regressão com ruído não gaussiano. Ou para perceber uma vantagem computacional quando se utilizam grandes conjuntos de dados, pela utilização de aproximações esparsas. Alguns métodos abordam as duas questões em simultâneo. Os métodos de aproximação e os algoritmos de inferência aproximada são bastante diversos, ver Quiñonero-Candela e Ramussen 2005 para um quadro unificador de aproximações esparsas dentro do modelo de regressão Gaussiano.

Referências da comunidade estatística

Os processos gaussianos têm uma longa história dentro da comunidade estatística. precisam de ser particularmente bem desenvolvidos em geoestatística sob o nome de kriging. Os trabalhos são agrupados porque são escritos empregando uma terminologia comum, e têm um foco ligeiramente diferente dos trabalhos típicos de aprendizagem mecânica,

Consistência, curvas de aprendizagem e limites

Os artigos desta secção dão resultados teóricos sobre curvas de aprendizagem, que descrevem o desempenho esperado da generalização em função da quantidade de casos de coaching. A coerência aborda a questão de saber se a resposta aborda o processo de geração de dados verdadeiros dentro do limite de infinitos exemplos de treino.