Uma cadeia de Markov é um modelo estocástico que representa um agrupamento de ocasiões potenciais em que a probabilidade de cada ocasião dependerá apenas do estado alcançado no evento passado.

Em hipóteses de probabilidade e campos relacionados, um procedimento Markov, nomeado em homenagem ao matemático russo Andrey Markov, é um procedimento estocástico que preenche a propriedade Markov (em alguns casos retratada como “sem memória”). Geralmente, um procedimento preenche a propriedade de Markov caso se possa fazer com que as expectativas para o destino do procedimento dependam do seu estado atual, da mesma forma que se poderia conhecer a história completa do procedimento, doravante livremente a partir dessa história, ou seja, dependendo da situação atual com o quadro, seu futuro e os estados passados são autônomos.

Uma cadeia de Markov é uma espécie de processo Markov que tem um espaço de estado discreto ou um conjunto de registros discretos (frequentemente falando ao tempo), no entanto, o significado exato de uma cadeia de Markov varia. Por exemplo, não é inesperado caracterizar uma cadeia de Markov como um procedimento Markov em um espaço de estado discreto ou incessante com um espaço de estado contável (portanto, prestando pouca atenção à idéia de tempo), mas é adicionalmente básico caracterizar uma cadeia de Markov como tendo tempo discreto em um espaço de estado contável ou consistente (de acordo com isso, prestando pouca atenção ao espaço de estado).

Markov contemplou as formas de Markov em meados do século XX, distribuindo seu primeiro trabalho sobre o assunto em 1906. Passeios aleatórios dependentes de números inteiros e a questão da ruína do tubarão de cartas são instâncias dos processos de Markov. Algumas variedades destes procedimentos foram examinadas muitos anos antes no que diz respeito a variáveis autônomas. Duas instâncias significativas das formas de Markov são o procedimento Wiener, também chamado de processo do movimento browniano, e o processo Poisson, que é visto como o procedimento estocástico mais significativo e focal na hipótese de processos estocásticos, e foi encontrado repetidas vezes e livremente, ambos quando 1906, em diferentes cenários. Esses dois procedimentos são formas de Markov em tempo constante, enquanto os passeios arbitrários sobre os números inteiros e a questão da ruína do especulador são instâncias de formas de Markov em tempo discreto.

As cadeias Markov têm inúmeras aplicações como modelos mensuráveis de processos mundiais genuínos, por exemplo, considerando estruturas de controle de viagens em veículos motorizados, linhas ou linhas de clientes que pousam em um terminal aéreo, ritmos comerciais de padrões monetários, estruturas de estocagem, por exemplo, barragens, e desenvolvimentos populacionais de certas espécies de criaturas. O cálculo conhecido como PageRank, que foi inicialmente proposto para a ferramenta de busca na web Google, depende de um processo Markov.

A tabela a seguir dá uma visão geral das diferentes instâncias dos processos Markov para diferentes níveis de generalidade do espaço de estados e para o tempo discreto v. tempo contínuo:

Note que não há um entendimento completo na escrita sobre a utilização de uma parte dos termos que implicam instâncias incomuns dos formulários Markov. Tipicamente a expressão “cadeia de Markov” é guardada para um procedimento com um arranjo discreto de tempos, ou seja, uma cadeia de Markov de tempo discreto (DTMC), porém alguns criadores utilizam a expressão “processo Markov” para aludir a uma cadeia de Markov de tempo incessante (CTMC) sem menção inequívoca. além disso, existem diferentes expansões de formas de Markov que são aludidas nessa capacidade, mas que ainda não caem em nenhuma dessas quatro classes (veja modelo Markov). Além disso, o registro de tempo não precisa ser genuinamente estimado; como no espaço estatal, há procedimentos possíveis que viajam através de conjuntos de arquivos com outros desenvolvimentos científicos. Note que o espaço de tempo de Markov em geral é tão geral que não tem prazo definido.

Enquanto o parâmetro tempo é normalmente discreto, o espaço de estado de uma cadeia de Markov não tem nenhuma limitação comumente concedida: o termo pode aludir a um procedimento em um espaço de estado discricionário[39]. Em qualquer caso, inúmeros usos de cadeias de Markov utilizam espaços de estado limitados ou intermináveis, que têm um exame progressivamente direto mensurável. Além da lista de tempo e dos parâmetros estado-espaciais, existem inúmeras variedades diferentes, acréscimos e especulações (ver Variedades). Para a linearidade, a maior parte deste artigo concentra-se no caso do espaço-estado discreto e discreto tempo, exceto se referenciado de forma geral.

As progressões da condição da estrutura são chamadas transições [1]. As probabilidades relacionadas às diferentes mudanças de estado são chamadas de probabilidades de mudança. O procedimento é retratado por um espaço de estados, um framework de mudanças representando as probabilidades de avanços específicos, e um estado subjacente (ou dispersão inicial) sobre o espaço de estados. Ao mostrarmos, aceitamos todos os estados concebíveis e as mudanças foram incorporadas ao significado do procedimento, de modo que há constantemente o próximo estado, e o procedimento não termina.

Um processo discreto e irregular inclui um sistema que está em um estado específico a cada progressão, com o estado mudando arbitrariamente entre as etapas Os meios são regularmente pensados como minutos no tempo, no entanto eles podem similarmente aludir bem à separação física ou alguma outra estimativa discreta. Oficialmente, os meios são os números inteiros ou números normais, e o procedimento arbitrário é um mapeamento destes para os estados. A propriedade Markov expressa que a dispersão restritiva da probabilidade de dispersão do quadro no estágio subseqüente (e na realidade em todos os avanços futuros) depende apenas da condição atual do quadro, e não mais da condição do quadro nos avanços passados.

Como o quadro muda ao acaso, geralmente é difícil antecipar com segurança a condição de uma cadeia de Markov em um determinado ponto no futuro. Seja como for, as propriedades factuais do futuro do quadro podem ser previstas. Em numerosas aplicações, são essas propriedades mensuráveis que são significativas.

Uma conhecida corrente Markov é a suposta “caminhada do bêbado”, um passeio arbitrário na linha numérica onde, a cada passo, a posição pode mudar por +1 ou -1 com probabilidade equivalente. De qualquer situação, há duas mudanças potenciais, para o número inteiro seguinte ou passado. As probabilidades de progresso dependem apenas da posição atual, não da forma em que a posição foi alcançada. Por exemplo, as probabilidades de progresso de 5 para 4 e 5 para 6 são ambas 0,5, e todas as outras probabilidades de mudança de 5 são 0. Estas probabilidades são autônomas de se a estrutura foi previamente em 4 ou 6.

Corrente Markov de tempo discreto

Uma cadeia de Markov em tempo discreto é uma seqüência de variáveis aleatórias X1, X2, X3, … com a propriedade Markov, ou seja, que a probabilidade de passar para o próximo estado depende apenas do estado atual e não dos estados anteriores:

se ambas as probabilidades condicionais estiverem bem definidas, ou seja,

Os valores possíveis de Xi formam um conjunto contável S chamado de espaço de estado da cadeia.