Марковская цепь – это стохастическая модель, изображающая группировку потенциальных событий, в которой вероятность каждого события зависит только от состояния, достигнутого в прошлом событии.

В вероятностной гипотезе и связанных с ней полях марковская процедура, названная в честь русского математика Андрея Маркова, является стохастической процедурой, выполняющей свойство Маркова (в некоторых случаях изображаемой как “беспамятство”). Как правило, процедура выполняет свойство Маркова в том случае, если от ее настоящего состояния можно ожидать, что судьба процедуры зависит точно так же, как можно было бы знать полную историю процедуры, отныне свободно от такой истории, т.е. в зависимости от текущей ситуации с рамками, от ее будущего, от того, что прошлые состояния являются автономными.

Марковская цепь – это своего рода марковский процесс, имеющий либо дискретное пространство состояний, либо дискретный набор записей (часто говорящих во времени), однако точное значение марковской цепи варьируется. Например, неудивительно характеризовать марковскую цепочку как марковскую процедуру в дискретном или непрерывном времени с пространством счетных состояний (следовательно, мало прислушиваясь к идее времени), но, кроме того, неудивительно характеризовать марковскую цепочку как имеющую дискретное время в пространстве счетных или консистентных состояний (соответственно, мало прислушиваясь к пространству состояний).

Марков размышлял о формах Маркова в середине ХХ века, распространив свою первую работу на эту тему в 1906 году. Случайные прогулки, зависящие от целых чисел, и проблема разорения карточной акулы – примеры марковских процессов. Некоторые разновидности этих процедур были исследованы на много лет раньше в отношении автономных переменных. Двумя значительными экземплярами форм Маркова являются процедура Винера, иначе называемая броуновским процессом движения, и Пуассонский процесс, который в гипотезе о стохастических процессах рассматривается как наиболее значимая и очаговая стохастическая процедура, и обнаруживался снова и снова свободно, оба раза в 1906 г., в разных обстановках. Эти две процедуры являются марковскими формами в постоянном времени, в то время как произвольные прогулки по целым числам и вопрос о разорении спекулянта являются примерами марковских форм в дискретном времени.

Марковские цепи имеют множество применений в качестве измеримых моделей истинных мировых процессов, например, рассматривая схемы управления движением в моторных транспортных средствах, линии или линии клиентов, приземляющихся на аэровокзале, торговлю в соответствии с денежными стандартами, схемы накопления запасов, например, плотины, и развитие определенных видов существ в населенном пункте. Расчет, известный как PageRank, который изначально был предложен для инструмента веб-поиска Google, зависит от Марковского процесса.

В следующей таблице приведен обзор различных экземпляров марковских процессов для различных уровней общности пространства состояний и для дискретного времени v. непрерывного времени:

Обратите внимание, что нет полного понимания в письменной форме об использовании части терминов, которые подразумевают редкие случаи Markov формы. Обычно выражение “Марковская цепочка” сохраняется для процедуры с дискретным расположением времен, то есть для дискретной марковской цепи времени (DTMC), однако пара создателей используют выражение “Марковский процесс”, чтобы без однозначного упоминания ссылаться на непрерывную марковскую цепь времени (CTMC). Более того, существуют различные расширения форм Маркова, которые упоминаются в этом качестве, но на самом деле не попадают ни в один из этих четырех классов (см. модель Маркова). Кроме того, запись времени не нуждается в истинной оценке; как и в пространстве состояний, существуют возможные процедуры, которые проходят через наборы файлов с другими научными разработками. Заметьте, что общее государственное пространство-время безостановочно Связь Маркова является общей до такой степени, что ей не присвоен срок.

В то время как временной параметр обычно дискретный, пространство состояний цепочки Маркова не имеет общих ограничений: термин может ссылаться на процедуру в пространстве дискретных состояний.[39] В любом случае, в многочисленных использованиях цепочки Маркова используются ограниченные или считанные бесконечные пространства состояний, которые имеют прогрессивно прямое измеримое исследование. Кроме пространственно-временного списка и параметров пространства состояний, существует множество различных разновидностей, дополнений и спекуляций (см. Разновидности). Для простоты большая часть статьи посвящена дискретно-временному случаю, дискретному случаю пространства состояний, за исключением случаев, когда на него делается ссылка в общем виде.

Прогрессии состояния каркаса называются переходами.[1] Вероятности, связанные с различными изменениями состояния, называются вероятностями изменений. Процедура описывается пространством состояний, рамкой изменений, отображающей вероятности определенных продвижений, и лежащим в основе состоянием (или начальным рассеянием) пространством состояний. Показывая, мы принимаем каждое мыслимое состояние, и изменения включаются в смысл процедуры, поэтому постоянно существует следующее состояние, и процедура не заканчивается.

Дискретно-временной нерегулярный процесс включает в себя систему, которая находится в определенном состоянии в каждой прогрессии, при этом состояние произвольно меняется между этапами Средства регулярно думают как минуты во времени, но они могут аналогичным образом ссылаться на физическое разделение или какую-либо другую дискретную оценку. Официально средствами являются целые числа или нормальные числа, а произвольной процедурой является отображение их на состояния. В свойстве Маркова выражается, что ограничительное рассеяние вероятности для рамки на последующем этапе (а в действительности на всех будущих авансах) зависит только от настоящего состояния рамки, а не более того, от состояния рамки на прошлых авансах.

Поскольку структура изменяется бессистемно, обычно трудно с уверенностью предсказать состояние цепи Маркова в определенный момент в будущем. Как бы то ни было, фактические свойства структуры в будущем можно предсказать. Во многих случаях именно эти измеряемые свойства являются существенными.

Хорошо известная марковская цепь – это предполагаемая “прогулка пьяницы”, произвольная прогулка по числовой линии, где на каждом шаге положение может изменяться на +1 или -1 с эквивалентной вероятностью. Из любой ситуации есть два потенциальных изменения, на следующее или на прошедшее целое число. Вероятность прогресса зависит только от текущей позиции, а не от того, на каком пути она оказалась. Например, вероятности прогресса от 5 до 4 и от 5 до 6 равны 0.5, а все остальные вероятности изменения от 5 равны 0. Эти вероятности автономны от того, была ли предварительно составлена структура в 4 или в 6.

Дискретно-временная цепочка Маркова

Дискретно-временная цепочка Маркова представляет собой последовательность случайных величин X1, X2, X3, … со свойством Маркова, а именно, что вероятность перехода в следующее состояние зависит только от текущего состояния, а не от предыдущих состояний:

если обе условные вероятности хорошо определены,

Возможные значения Xi образуют счетное множество S, называемое пространством состояний цепи.