база данных MNIST (Change National Organization of Benchmarks and Innovation database) представляет собой огромную базу данных, состоящую из вручную написанных цифр, которая обычно используется для подготовки различных систем обработки изображений. Кроме того, эта база данных обычно используется для подготовки и тестирования в области машинного обучения. Она была создана путем “повторного смешивания” примеров из уникальных наборов данных NIST. Производители посчитали, что поскольку набор подготовительных данных NIST был взят у представителей Американского агентства по статистике, в то время как набор тестовых данных был взят у американских дублеров средней школы, он не подходит для проведения экспериментов по искусственному интеллекту. Более того, высококонтрастные изображения от NIST были стандартизированы, чтобы поместиться в ограничительную рамку размером 28×28 пикселей и враждебно по отношению к связанным с ней изображениям, которые представляли собой уровни серого.

Тестовые изображения MNIST

Тестовые снимки из набора тестовых данных MNIST

База данных МНИСТ содержит 60 000 подготовительных снимков и 10 000 пробных снимков. Половина подготовительного набора и половина испытательного набора были взяты из набора подготовительных данных NIST, а другая часть набора подготовительных данных и другая часть испытательного набора были взяты из пробного набора данных NIST. Были написаны различные логические статьи о попытках достичь наиболее низкой частоты ошибок; в одной из них, с использованием прогрессивного расположения конвузионных нейронных систем, было показано, как получить в базе данных MNIST ошибку в 0,23%. В своей уникальной работе они используют векторную машину помощи, чтобы получить скорость промаха в 0.8%. В 2017 году был распространен всеохватывающий набор данных, такой как MNIST под названием EMNIST, который содержит 240 000 готовых изображений и 40 000 тестовых изображений вручную написанных цифр и символов.

Исполнение

Несколько аналитиков выполнили “закрытое человеческое исполнение” по базе данных MNIST, используя совет попечителей нейронных систем; в аналогичной работе создатели выполняют двойное исполнение по сравнению с людьми на других задачах по признанию. Самый значительный процент ошибок, перечисленных на первом сайте базы данных, составляет 12 процентов, что достигается с помощью простого прямого классификатора без предварительной обработки.

В 2004 году, лучший показатель ошибок в 0,42 процента был достигнут в базе данных аналитиками, использующими другой классификатор под названием LIRA, который является нейронным классификатором с тремя нейронными слоями, зависящими от принципов восприятия “Розенблатта”.

Несколько ученых опробовали искусственные рамки мозговых ресурсов, используя базу данных, помещенную под произвольные искажения. Основы в этих случаях, как правило, являются нейронными системами, и используемое калечение будет, в общем случае, либо относительными искажениями, либо универсальными искажениями. Время от времени эти фреймворки могут быть плодотворными; один из таких фреймворков обеспечил просчет в базе данных 0,39 процента.

В 2011 году, в результате чего был получен лучший результат – 0,27 процента – аналитики, использующие сравнительное расположение нейронных сетей. В 2013 году методология, зависящая от регуляризации нейронных систем с использованием DropConnect, была признана способной достигнуть 0,21 процента ошибок.[14] В последнее время[когда?] лучшее исполнение одной конволюционной нейронной системы составило 0,31 процента ошибок.[15] По состоянию на август 2018 года, лучшее исполнение одиночной конволюционной нейронной системы, подготовленной на МНИСТ, с использованием информации, полученной в режиме реального времени, выросло до 0. Кроме того, Центр параллельного регистрирования (Хмельницкий, Украина) приобрел всего 5 конволюционных нейронных систем, которые работают на МНИСТ с частотой ошибок 0,21%, а ошибочная маркировка набора тестовых данных может привести к ошибкам в тесте с частотой 0,21%.

Это таблица некоторых методов машинного обучения, используемых в базе данных, и частоты их ошибок, по типам классификаторов:

Type	Classifier	Distortion	Preprocessing	Error rate (%)
Linear classifier	Pairwise linear classifier	None	Deskewing	7.6[9]
K-Nearest Neighbors	K-NN with non-linear deformation (P2DHMDM)	None	Shiftable edges	0.52[19]
Boosted Stumps	Product of stumps on Haar features	None	Haar features	0.87[20]
Non-linear classifier	40 PCA + quadratic classifier	None	None	3.3[9]
Support-vector machine (SVM)	Virtual SVM, deg-9 poly, 2-pixel jittered	None	Deskewing	0.56[21]
Deep neural network (DNN)	2-layer 784-800-10	None	None	1.6[22]
Deep neural network	2-layer 784-800-10	Elastic distortions	None	0.7[22]
Deep neural network	6-layer 784-2500-2000-1500-1000-500-10	Elastic distortions	None	0.35[23]
Convolutional neural network (CNN)	6-layer 784-40-80-500-1000-2000-10	None	Expansion of the training data	0.31[15]
Convolutional neural network	6-layer 784-50-100-500-1000-10-10	None	Expansion of the training data	0.27[24]
Convolutional neural network	Committee of 35 CNNs, 1-20-P-40-P-150-10	Elastic distortions	Width normalizations	0.23[8]
Convolutional neural network	Committee of 5 CNNs, 6-layer 784-50-100-500-1000-10-10	None	Expansion of the training data	0.21[17][18]