Una cadena de Markov es un modelo estocástico que representa una agrupación de ocasiones potenciales en las que la probabilidad de cada ocasión depende sólo del estado alcanzado en el evento pasado.

En la hipótesis de la probabilidad y en los campos relacionados, un procedimiento de Markov, llamado así por el matemático ruso Andrey Markov, es un procedimiento estocástico que cumple con la propiedad de Markov (en algunos casos se presenta como “sin memoria”). En general, un procedimiento cumple la propiedad de Markov en caso de que se pueda hacer esperar que el destino del procedimiento dependa de su estado actual, del mismo modo que se podría conocer la historia completa del procedimiento, en adelante libremente de dicha historia, es decir, en función de la situación actual con el marco, su futuro y los estados pasados son autónomos.

Una cadena de Markov es un tipo de proceso de Markov que tiene un espacio de estado discreto o un conjunto de registros discretos (frecuentemente hablando de tiempo), sin embargo, el significado exacto de una cadena de Markov varía. Por ejemplo, no es inesperado caracterizar una cadena de Markov como un procedimiento de Markov en un tiempo discreto o incesante con un espacio de estado contable (por lo tanto prestando poca atención a la idea de tiempo), pero es además básico caracterizar una cadena de Markov como un tiempo discreto en un espacio de estado contable o consistente (por lo tanto prestando poca atención al espacio de estado).

Markov contempló las formas de Markov a mediados del siglo XX, distribuyendo su primer trabajo sobre el tema en 1906. Paseos aleatorios dependientes de números enteros y el tema de la ruina del tiburón son ejemplos de los procesos de Markov. Algunas variedades de estos procedimientos fueron examinadas muchos años antes con respecto a las variables autónomas. Dos instancias significativas de las formas de Markov son el procedimiento de Wiener, también llamado proceso de movimiento Browniano, y el proceso de Poisson, que se considera como los procedimientos estocásticos más significativos y focales en la hipótesis de los procesos estocásticos, y que se encontró una y otra vez y libremente, ambos en 1906, en diferentes escenarios. Estos dos procedimientos son formas de Markov en tiempo constante, mientras que los paseos arbitrarios sobre los números enteros y la cuestión de la ruina del especulador son instancias de formas de Markov en tiempo discreto.

Las cadenas de Markov tienen numerosas aplicaciones como modelos mensurables de procesos mundiales genuinos, por ejemplo, considerando marcos de control de viaje en vehículos de motor, líneas o líneas de clientes que aterrizan en una terminal aérea, ritmos comerciales de normas monetarias, marcos de almacenamiento, por ejemplo, presas, y desarrollos de población de ciertas especies de criaturas. El cálculo conocido como PageRank, que se propuso inicialmente para la herramienta de búsqueda de la web Google, depende de un proceso de Markov.

En el cuadro siguiente se ofrece una visión general de los distintos casos de los procesos de Markov para los diferentes niveles de generalidad del espacio de estado y para el tiempo discreto frente al tiempo continuo:

Obsérvese que no se ha comprendido completamente en el escrito la utilización de una parte de los términos que implican instancias poco comunes de los formularios de Markov. Típicamente la expresión “cadena de Markov” se guarda para un procedimiento con una disposición discreta de tiempos, es decir, una cadena de Markov de tiempo discreto (DTMC), sin embargo un par de creadores utilizan la expresión “proceso de Markov” para aludir a una cadena de Markov de tiempo incesante (CTMC) sin mención inequívoca. Es más, hay diferentes expansiones de las formas de Markov a las que se alude en esa calidad, pero que en realidad no entran en ninguna de esas cuatro clases (véase el modelo de Markov). Además, el registro de tiempo no necesita ser realmente estimado; como con el espacio de estado, hay posibles procedimientos que viajan a través de conjuntos de archivos con otros desarrollos científicos. Obsérvese que el vínculo general entre el espacio de estado y el tiempo sin parar de Markov es tan general que no tiene un término asignado.

Si bien el parámetro de tiempo es normalmente discreto, el espacio de estado de una cadena de Markov no tiene ninguna limitación comúnmente concedida: el término puede aludir a un procedimiento en un espacio de estado discrecional[39]. En cualquier caso, numerosos usos de las cadenas de Markov utilizan espacios de estado limitados o coadyuvantes sin fin, que tienen un examen medible progresivamente directo. Aparte de los parámetros de la lista de tiempo y el espacio de estado, existen numerosas variedades, aumentos y especulaciones diferentes (véase Variedades). En cuanto a la simplicidad, la mayor parte de este artículo se centra en el caso de los espacios de estado discretos en el tiempo y en el espacio, excepto si se hace una referencia general.

Las progresiones de la condición del marco se llaman transiciones.[1] Las probabilidades relacionadas con los diferentes cambios de estado se llaman probabilidades de cambio. El procedimiento está representado por un espacio de estado, un marco de cambio que representa las probabilidades de avances específicos, y un estado subyacente (o comienzo de la dispersión) sobre el espacio de estado. Por medio del espectáculo, aceptamos todos los estados concebibles y los cambios se han incorporado al significado del procedimiento, de modo que hay constantemente el siguiente estado, y el procedimiento no termina.

Un proceso irregular de tiempo discreto incluye un sistema que se encuentra en un estado específico en cada progresión, con el estado cambiando arbitrariamente entre pasos Los medios son regularmente considerados como minutos en el tiempo, pero pueden igualmente bien aludir a la separación física o alguna otra estimación discreta. Oficialmente, las medias son los números enteros o los números normales, y el procedimiento arbitrario es un mapeo de éstos a los estados. La propiedad de Markov expresa que la restrictiva dispersión de la probabilidad para el marco en la etapa posterior (y en realidad en todos los avances futuros) depende sólo de la condición actual del marco, y no además de la condición del marco en los avances pasados.

Dado que el marco cambia al azar, suele ser difícil prever con seguridad la condición de una cadena de Markov en un punto determinado del futuro. Sea como fuere, se pueden predecir las propiedades reales del futuro del marco. En numerosas aplicaciones, son estas propiedades mensurables las que son significativas.

Una conocida cadena de Markov es el supuesto “paseo del borracho”, un paseo arbitrario por la línea numérica donde, en cada paso, la posición puede cambiar en +1 o -1 con una probabilidad equivalente. De cualquier situación, hay dos cambios potenciales, al siguiente o pasado número entero. Las probabilidades de progreso dependen sólo de la posición actual, no del camino en el que se llegó a la posición. Por ejemplo, las probabilidades de progreso de 5 a 4 y de 5 a 6 son ambas de 0,5, y todas las demás probabilidades de cambio de 5 son 0. Estas probabilidades son autónomas de si el marco estaba antes en 4 o en 6.

Cadena de Markov de tiempo discreto

Una cadena de Markov de tiempo discreto es una secuencia de variables aleatorias X1, X2, X3, … con la propiedad de Markov, es decir, que la probabilidad de pasar al siguiente estado depende sólo del estado actual y no de los estados anteriores:

https://lh4.googleusercontent.com/w04S2_LgoQrRYoMw-KD2wNpza2r5UIWaibxzn5DaIu-9AYmUV4Y8QXgoFwwGsryL1MSxJtzyYZq4cOShcG9n-4ozfXkkpnRQB75D80abgRORjCIw0ZF1cpQkiBC0RJLgNV-sFsgsi ambas probabilidades condicionales están bien definidas, es decir,https://lh5.googleusercontent.com/YnmwQgYG764W00ows8cj_BPY2n_qh3t9uxZ1GEEe59vEBHQMnENAIqADBpwwNd3gNjVk-KYJJy113wHnbLcQ_dgpPPmemwuNU0JcLfEMSb03HB_tpWKSnl6bBX-h7d1bNnXH250

\displaystyle \Pr(X_{n+1}=x\mid X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n})=\Pr(X_{n+1}=x\mid X_{n}=x_{n}),}Los posibles valores de Xi forman un conjunto contable S llamado el espacio de estado de la cadena.