equazione di Bellman (problemino sul Rozanov)

Messaggioda rmd1 » 17/08/2017, 11:40

Salve a tutti,
provo a chiedere consiglio su di un esercizio trovato sul criptico libretto del Rozanov (è proprio l'ultimo esercizio del libro): l'argomento è il cosiddetto "optimal control" mediante l'uso dell'equazione di Bellman.
il testo dice:
ci sono solo due stati, e1 ed e2, ed una probabilità di transizione pij(d), dipendente da un parametro di controllo d, che può assumere solo i valori 0 ed 1. Supporre:
p11(0) = .2;
p21(0) = .8;
p11(1) = .4;
p21(1) = .6;
qual'è la regola decisionale ottima, che massimizza la probabilità del sistema, inizialmente nello stato e1, che andrà in e2 in tre step? quale è il valore di questa Pmax?

ho provato a fare così:
intanto il rozanov non è affatto chiaro con gli indici (non solo in questo esercizio!), in quanto se fosse preso alla lettera, in e2 non ho modo di finirci mai, quindi P=0.
Intuendo da un precedente esercizio cosa volesse dire, ho creato il seguente schemino:
1 - 1 d=0 allora p = .2
1 - 1 d=1 allora p = .4
1 - 2 d=0 allora p = .8
1 - 2 d=1 allora p = .6
non è dato sapere cosa succede una volta che si è raggiunti lo stato e2, quindi si suppone ci si debba arrivare in ultima fase, cioè allo step 3: così, la sequenza del sistema dovrà essere: parto da 1, si fa 1-1, 1-1, e 1-2
chiamando po la prob. che d=0, sarà ovviamente p1 = 1-p0 quella di avere d=1.
scrivo finalmente l'eq. di Bellman per i tre step:
P11 = .2p0 + .4(1-p0);
P12 = .8p0 +.6(1-p0);
volendo le Pmax, P11 sarà max quando po = 0
P12 sarà max per po = 1
allora P11max = .4 e P2max = .8
essendo eventi indipendenti, il valore max di probabilità finale è il prodotto delle tre sequenze: P11*P11*p12 = 16/125 = 12.8%

chi ne sa più di me in questi argomenti (ed è facile!) provi a darmi conferma o smentita di quanto scritto.
Grazie
R. Medini
rmd1
Starting Member
Starting Member
 
Messaggio: 2 di 6
Iscritto il: 24/03/2011, 11:55

Torna a Analisi Numerica e Ricerca Operativa

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite