Андреас Гейгер написал простой Java-апплет регрессии гауссовых процессов, иллюстрирующий поведение ковариационных функций и гиперпараметров.

название пакета авторское описание реализации

КБМ Машина Байесского комитета Антон Швайгхофер Матлаб и NETLAB

Расширение реализации Netlab для регрессии GP. Оно позволяет осуществлять крупномасштабную регрессию на основе аппроксимации BCM, см. также сопроводительную статью

fbm Программное обеспечение для гибкого байесовского моделирования Рэдфорд М. Нил С для линукса/униксов

Обширный и хорошо документированный пакет, реализующий методы Маркова цепочки Монте-Карло для байесовского умозаключения в нейронных сетях, гауссовских процессов (регрессия, бинарная и многоклассовая классификация), моделей смесей и деревьев Дирихлетской диффузии.

gp-lvm и fgp-lvm A (быстрая) реализация гауссовых моделей скрытых переменных процессов Нейл Д. Лоуренс Матлаб и C

gpml Код из книги Расмуссена и Вильямса: Гауссовские процессы для машинного обучения. Карл Эдвард Расмуссен и Ханнес Никиш: Матлаб и октава.

Инструментарий GPML реализует алгоритмы приближенного умозаключения для гауссовских процессов, таких как Expectation Propagation, Laplace Approximation и Varitional Bayes для широкого класса вероятностных функций как для регрессии, так и для классификации. Он поставляется с большой алгеброй ковариаций и средних функций, позволяющих гибко моделировать. Код полностью совместим с документом Октава 3.2.x. JMLR, описывающим инструментарий.

c++-ivm Аппроксимации Sparse на основе информационной векторной машины Нейл Д. Лоуренс С++.

Программное обеспечение IVM на C++ , также включает шумовую модель нулевой категории для полууправляемого обучения.

Программное обеспечение Discriminant компании BFD Bayesian Fisher Tonatiuh Peña Centeno matlab

Вводит гауссовскую интерпретацию дискриминанта Кернела Фишера.

gpor Гауссовые процессы для упорядоченной регрессии Вэй Чу Чу для линукса/уникса

Программная реализация Гауссовых процессов упорядоченной регрессии. Обеспечивает аппроксимацию Лапласа, прогнозное распространение и вариативную нижнюю границу.

MCMCstuff Методы MCMC для MLP и GP и Stuff Aki Vehtari matlab и C

Сборник матовых функций для байесовского умозаключения методами Марковской цепи Монте-Карло (MCMC). Целью этого инструментария был перенос некоторых функций из fbm в matlab для более легкой разработки для пользователей matlab.

ogp Sparse Online Gaussian Processes Lehel Csató matlab и NETLAB

Приблизительное онлайн-обучение в разрозненных гауссовых моделях процессов для регрессии (включая несколько негауссовых вероятностных функций) и классификации.

sogp Sparse Online Гауссовый процесс C++ Библиотека Дан Гроллман C++

Разбор онлайн гауссовского процесса C++ библиотека на основе докторской диссертации Легеля Цато

spgp .tgz или .zip Sparse Псевдо-входные гауссовские процессы Ed Snelson matlab

Вводит разреженную регрессию GP, как описано в Sparse Gaussian Processes с использованием псевдо-входов и гибких и эффективных гауссовых моделей процессов для машинного обучения. SPGP использует градиентную оптимизацию предельных вероятностей для поиска подходящих базовых точек и гиперпараметров ядра в рамках одной совместной оптимизации.

tgp Treed Gaussian Processes Роберт Б. Gramacy C/C++ для R

Байесовская непараметрическая и нестационарная регрессия по древовидным гауссовским процессам с переходом к предельной линейной модели (LLM). В особых случаях также реализованы Байесовские линейные модели, линейная CART, стационарная разделяемая и изотропная Гауссовская регрессия процессов. Включает функции 1-d и 2-d черчения (с более высокими возможностями размерной проекции и среза), а также рисования деревьев, предназначенные для визуализации вывода класса tgp. См. также Gramacy 2007

Регрессия гаусского процесса Tpros Дэвид Маккей и Марк Гиббс C

Tpros – это программа Gaussian Process, написанная Марком Гиббсом и Дэвидом МакКеем.

GP Демонстрация октавы Гауссового процесса с интерполяцией октавы Дэвида МакКея.

Этот DEMO прекрасно работает с октавой-2.0 и не работал с 2.1.33.

Код GPClass Matlab для Гаусской классификации процессов Дэвид Барбер и C. K. I. Williams Matlab

Применяет аппроксимацию Лапласа, описанную в Байесовской классификации с Гауссовскими процессами для бинарной и мультиклассификационной классификации.

VBGP Вариационная Байесовская многочленная регрессия протоков с гауссовскими процессами Приоры Марк Гиролами и Саймон Роджерс Матлаб

Вводится вариационное приближение для многоклассовой классификации, основанной на Гауссовском процессе, как описано в работе “Вариационная байесовская многочленная регрессия протоков”.

pyGPs Гауссовские процессы регрессии и классификации Марион Нейман Питон

pyGPs – библиотека, содержащая объектно-ориентированную реализацию питона для регрессии и классификации Гауссовского процесса (GP). github

гауссово-процесс Гауссовская регрессия процесса Ананд Патил Питон

в стадии разработки

gptk Гаусский технологический инструмент – комплект Альфредо Калайтзис R

В пакете gptk реализован инструментарий общего назначения для регрессии гауссовых процессов с ковариационной функцией RBF. Основан на реализации MATLAB, написанной Нилом Д. Лоуренсом.

Другое программное обеспечение, которое может быть полезным для реализации гауссовых моделей процессов:

На этом сайте представлена краткая информация о ресурсах, связанных с вероятностным моделированием, выводом и обучением гауссовским процессам. Несмотря на то, что гауссовские процессы имеют длительную историю в области статистики, они, по-видимому, широко используются только в нишевых областях. С появлением машин с ядрами в сообществе машинного обучения, модели, поддерживающие процессы Гаусса, стали обычным явлением для задач регрессии (кригинга) и классификации также в качестве ряда более специализированных приложений.

Учебники

В нескольких работах представлены учебные материалы, пригодные для первичного ознакомления с гауссовыми моделями процесса. Они варьируются от очень коротких [Williams 2002] и промежуточных [MacKay 1998], [Williams 1999] до более сложных [Rasmussen and Williams 2006]. Все это требует лишь минимальных предварительных условий в рамках своего рода элементарной прикладной математики и алгебры .

Регрессия

Самое простое использование моделей гауссовых процессов – для (конъюгатного случая) регрессии с гауссовым шумом. См. раздел аппроксимации для работ, посвященных разреженным или быстрым методам аппроксимации. О’Хаган 1978 представляет собой раннее упоминание статистического сообщества об использовании гауссовского процесса в качестве предшествующей над-функции, мысль, которая была представлена сообществу машинного обучения только Вильямсом и Расмуссеном в 1996 году.

Классификация

Точный вывод в гауссовых моделях процессов для классификации не прослеживается. Предложено несколько схем аппроксимации, в том числе метод Лапласа, вариационные аппроксимации, среднеполевые методы, марковская цепь Монте-Карло и прогноз распространения. ср. раздел аппроксимации. Многоклассовая классификация также может быть рассмотрена в явном виде или разложена на множественные двоичные (одна против остальных) задачи. Введение см., например, Williams and Barber 1998 или Kuss and Rasmussen 2005. Границы с точки зрения PAC-Bayesian применяются в Сигере 2002.

Ковариационные функции и свойства гауссовых процессов

Свойства гауссовых процессов контролируются (средней функцией и) ковариационной функцией. Некоторые ссылки здесь описывают разностные ковариационные функции, в то время как другие дают математические характеристики, см. обзор, например, Abrahamsen 1997. Некоторые ссылки описывают нестандартные ковариационные функции, приводящие к нестационарности и т.д.

Выбор модели

Приближения

Есть две основные причины делать аппроксимации в гауссовых моделях процессов. Либо из-за аналитической неразрешимости, подобной организации в классификации и регрессии с негауссовым шумом. Или для того, чтобы реализовать вычислительное преимущество при использовании больших наборов данных, используя разреженные аппроксимации. Некоторые методы решают обе проблемы одновременно. Методы аппроксимации и алгоритмы приближенного вывода весьма разнообразны, см. Quiñonero-Candela и Ramussen 2005 об унифицирующей основе для разреженных аппроксимаций в рамках Гауссовой регрессионной модели.

Ссылки от Статистического сообщества

Гауссовские процессы имеют протяженную историю в статистическом сообществе. они нуждаются в особенно хорошем развитии в геостатистике под названием кригинг. Документы сгруппированы, потому что они написаны с использованием общей терминологии, и имеют немного отличную направленность от типичных документов по машинному обучению,

Последовательность, кривые и границы обучения

В статьях данного раздела представлены теоретические результаты по кривым обучения, которые описывают ожидаемые результаты обобщения в зависимости от количества коучинговых кейсов. Последовательность отвечает на вопрос, подходит ли ответ к процессу генерации правдивых данных в рамках бесконечного множества учебных примеров.