Una catena di Markov è un modello stocastico che raffigura un raggruppamento di potenziali occasioni in cui la probabilità di ogni occasione dipende proprio dallo stato raggiunto nell’evento passato.

Nell’ipotesi di probabilità e nei campi correlati, una procedura di Markov, che prende il nome dal matematico russo Andrey Markov, è una procedura stocastica che soddisfa la proprietà di Markov (in alcuni casi descritta come “memorylessness”). In generale, una procedura soddisfa la proprietà di Markov nel caso in cui ci si possa aspettare il destino della procedura dipende dal suo stato attuale, così come si potrebbe conoscere la storia completa della procedura, d’ora in poi liberamente da tale storia, cioè dipende dalla situazione attuale con il quadro, il suo futuro, e gli stati passati sono autonomi.

Una catena di Markov è una sorta di processo di Markov che ha uno spazio di stato discreto o un discreto recordet (spesso parlando al tempo), tuttavia, il significato esatto di una catena di Markov varia. Per esempio, non è inaspettato caratterizzare una catena di Markov come una procedura di Markov sia in un tempo discreto che in un tempo incessante con uno spazio di stato conteggiabile (quindi non dà molta importanza all’idea di tempo), ma è anche fondamentale caratterizzare una catena di Markov come avente tempo discreto sia in uno spazio di stato conteggiabile che in uno spazio di stato coerente (di conseguenza, prestando poca attenzione allo spazio di stato).

Markov contemplò le forme di Markov a metà del XX secolo, distribuendo il suo primo saggio sull’argomento nel 1906. Passeggiate casuali dipendenti dai numeri interi e la questione della rovina dello squalo carta sono esempi di processi di Markov. Alcune varietà di queste procedure sono state esaminate molti anni prima per quanto riguarda le variabili autonome. Due esempi significativi di forme di Markov sono la procedura di Wiener, altrimenti chiamata processo di movimento browniano, e il processo di Poisson, che è visto come il più significativo e focale procedimento stocastico nell’ipotesi di processi stocastici, ed è stato trovato più e più volte e liberamente, sia quando 1906, in diversi contesti. Queste due procedure sono forme di Markov in tempo costante, mentre le passeggiate arbitrarie sui numeri interi e la questione della rovina dello speculatore sono casi di forme di Markov in tempo discreto.

Le catene Markov hanno numerose applicazioni come modelli misurabili di veri e propri processi mondiali, ad esempio, considerando i quadri di controllo del viaggio nei veicoli a motore, linee o linee di clienti che atterrano in un terminal aereo, i passi commerciali degli standard monetari, i quadri di stoccaggio, ad esempio, dighe, e gli sviluppi della popolazione di alcune specie di creature. Il calcolo noto come PageRank, inizialmente proposto per lo strumento di ricerca web Google, dipende da un processo Markov.

La seguente tabella fornisce una panoramica delle diverse istanze dei processi di Markov per i diversi livelli di spazio generale dello stato e per il tempo discreto v. tempo continuo:

Si noti che non c’è una comprensione completa nella scrittura sull’utilizzo di una parte dei termini che implicano casi non comuni di forme di Markov. In genere l’espressione “catena di Markov” viene salvata per una procedura con una disposizione discreta dei tempi, cioè una catena di Markov a tempo discreto (DTMC), tuttavia un paio di creatori utilizzano l’espressione “processo di Markov” per alludere a una catena di Markov a tempo incessante (CTMC) senza una menzione inequivocabile. inoltre, ci sono diverse espansioni di forme di Markov a cui si allude in tale veste ma che non rientrano realmente in nessuna di queste quattro classi (vedi modello di Markov). Inoltre, il record di tempo non ha bisogno di essere veramente stimato; come per lo spazio di stato, ci sono possibili procedure che viaggiano attraverso set di file con altri sviluppi scientifici. Si noti che il legame generale tra lo spazio di stato e il tempo nonstop di Markov è così generale da non avere un termine assegnato.

Mentre il parametro temporale è normalmente discreto, lo spazio di stato di una catena di Markov non ha limitazioni comuni: il termine può alludere a una procedura su uno spazio di stato discrezionale[39]. In ogni caso, numerosi usi delle catene di Markov utilizzano spazi di stato limitati o inesauribili, che hanno un esame progressivamente misurabile diretto. Oltre ai parametri della lista temporale e dello spazio di stato, esistono numerose varietà, ampliamenti e speculazioni diverse (vedi Varietà). Per semplicità, la maggior parte di questo articolo si concentra sul caso dello spazio-stato a tempo discreto, tranne che per i casi in cui si fa riferimento in generale.

Le progressioni della condizione del framework sono chiamate transizioni.[1] Le probabilità relative ai diversi cambiamenti di stato sono chiamate probabilità di cambiamento. La procedura è rappresentata da uno spazio di stato, un framework di cambiamento che rappresenta le probabilità di specifici avanzamenti, e uno stato sottostante (o dispersione iniziale) sullo spazio di stato. Per mostrare, accettiamo ogni stato concepibile e i cambiamenti sono stati incorporati nel significato della procedura, quindi c’è costantemente lo stato successivo, e la procedura non finisce.

Un processo discreto-tempo irregolare comprende un sistema che si trova in uno stato specifico ad ogni progressione, con lo stato che cambia arbitrariamente tra le fasi I mezzi sono regolarmente considerati come minuti nel tempo, ma possono analogamente bene alludere alla separazione fisica o a qualche altra stima discreta. Ufficialmente, i mezzi sono i numeri interi o i numeri normali, e la procedura arbitraria è una mappatura di questi agli stati. La proprietà di Markov esprime che la dispersione restrittiva di probabilità per il quadro nella fase successiva (e in realtà per tutti i progressi futuri) dipende solo dalla condizione attuale del quadro, e non per di più dalla condizione del quadro nei progressi passati.

Poiché il quadro normativo cambia a caso, è comunemente difficile prevedere con certezza la condizione di una catena Markov in un determinato punto del futuro. Sia come sia, le proprietà di fatto del futuro della struttura possono essere previste. In numerose applicazioni, sono queste proprietà misurabili che sono significative.

Una nota catena di Markov è la presunta “passeggiata dell’ubriacone”, una passeggiata arbitraria sulla linea dei numeri dove, ad ogni passo, la posizione può cambiare di +1 o -1 con probabilità equivalente. Da qualsiasi situazione, ci sono due potenziali cambiamenti, al numero intero seguente o passato. Le probabilità di avanzamento dipendono solo dalla posizione attuale, non dal modo in cui la posizione è stata raggiunta. Per esempio, le probabilità di avanzamento da 5 a 4 e da 5 a 6 sono entrambe 0,5, e tutte le altre probabilità di cambiamento da 5 sono 0. Queste probabilità sono indipendenti dal fatto che il framework fosse prima in 4 o in 6.

Catena Markov a tempo discreto

Una catena di Markov a tempo discreto è una sequenza di variabili casuali X1, X2, X3, … con la proprietà Markov, cioè che la probabilità di passare allo stato successivo dipende solo dallo stato attuale e non dagli stati precedenti:

se entrambe le probabilità condizionali sono ben definite, cioè,

I possibili valori di Xi formano un insieme conteggiabile S chiamato spazio di stato della catena.