Questo processo stocastico è di Markov?

[watanabe]

Ho una successione di variabili aleatorie {x(n)} con n>=0, X:N-->{0,1}, rappresenta lo stato di una macchina che al tempo n può essere accesa X(n)=1 o spenta X(n)=0;
All'istante 0 la macchina è accesa. X(0)=1;
Ad ogni istante successivo lancio una moneta non truccata, se esce tesa lascio la macchina accesa, se esce croce la spengo.
Una volta spenta la macchina resta spenta non si riaccende più e il processo finisce.

Questa è una catena di Markov?
Cioè P(X(n)=0 | X(n-1)=1,X(n-2)=1....,X(0)=1) la probabilità che la macchina all'istante n si spenga essendo stata sempre accesa dall'istante 0 è uguale a P(X(n)=0)|X(n-1)=1) ?
A me pare di SI. Le due prob. sono 1/2.

La catena è omogenea?
Cioè P(X(n+1)=0 | X(n)=1) = P(X(1)=0|P(X(0)=1)? Secondo me ancora si.

Qual è la matrice di transizione?

1/2 1/2
A =
0 1


Ora la probabilità che la macchina sia spenta all'istante n sapendo che era accesa all'istante 0 è data dalla componente (1,2)
della matrice A^n = 1 - (1/2)^n.

Ora non so come interpretare questa pobabilita?

1) E' la probabilità che la macchina sia stata sempre accesa e si sia spenta all'istane n?
Secondo me no perché quella è 2^n

2) E' la probabilità che la macchina si sia spenta all'istante n, ma era accesa fino all'istante n-1 +
+ la probabilità che si sia spenta all'istante n-1, prima era accesa e l'ho trovata spenta all'istante n +
+ la probabilità che si sia spenta all'istante n-2 , prima era accesa e quindi all'istante n l'ho trovata spenta+
+.....+ ?

Quale delle 2?

Ora se è la 2 come credo, c'e' un modo di calcolare la 1 usando la matrice di transizione A e le proprietà delle catene di Markov?

[watanabe]

Ciao, grazie della risposta, l'esempio è volutamente semplice perché ho appena iniziato a studiare le catene di Markov, mi puoi spiegare perché le mie motivazioni sono zoppicanti e invece quali dovrebbero essere quelle giuste per poter definire un processo stocastico una catena di Markov omogenea?

[watanabe]

Ok grazie adesso ho capito, io lo avevo fatto solo per un caso.

Vorrei chiederti per favore un altro chiarimento:

Se la catena è omogenea e ha due stati possibili A,B
vale:

$ P(X_n=B | X_(n-1) = A)=P(X_1=B | X_0=A) =Q_(1,2) $ Con Q matrice di transizione allo stato iniziale ?

Mentre $ P(X_n=B | X_(0) = A)=(Q^n)_(1,2) $ con A stato 1 e B stato 2, giusto ?

Inoltre tornando alla probabilità congiunta se invece di due stati ne avessi tre A,B,C
e volessi calcolare la probabilità di una traiettoria fatta così:

$ X_n=C,X_(n-1)=B,X(n-2)=A,X(n-3)!=C, "tutte le altre " X_k != C " e non possono esserci neanche due B di fila" $

in questo caso le traiettorie della catena non sono disgiunte, come si procede?
devo calcolare separatamente la probabilità di tutte le traiettorie ammissibili (che sarebbero disgiunte) e sommarle?

Grazie