Teoria della Stima Bayesiana: Normale con parametri incogniti

[robytb4e]

Ciao, ho dei dubbi riguardo alla stima bayesiana dei parametri di una normale con media e varianza incognite.

La mia idea iniziale era quella di "unire i due procedimenti", cioè
- considerare come likelihood la normale con varianza nota e come distribuzione coniugata sempre la normale, stimando così i nuovi parametri
e successivamente
- considerare come likelihood la normale con media nota e come distribuzione coniugata la gamma inversa, stimando così i nuovi parametri

Però mi rendo conto che così nella prima parte mi ritrovo parametri che includono la varianza, e io non la conosco.
Nella seconda parte mi ritrovo parametri che includono la media, e io non la conosco.
Quindi, potete aiutarmi a capire qual'è il procedimento corretto?

[tommik]

Dato che non hai specificato quali parametri della Gaussiana sei interessato a stimare allora parametrizzo il problema nel modo che mi conviene di più:

Facciamo inferenza sulla seguente famiglia di distribuzioni Gaussiane

$p(x|theta_1,theta_2)=sqrt(theta_2/(2pi))Exp{-theta_2/2(x-theta_1)^2}$

$x in RR$; $theta_1 in RR$;$theta_2 in RR^+$;


Ovvero su una famiglia di distribuzioni Gaussiane con vettore di parametri $ul(theta)=(theta_1,theta_2)$ dove $theta_1$ rappresenta la media mentre $theta_2=1/sigma^2$ rappresenta la precisione della distribuzione.

Cosi impostato, possiamo assumere come Prior una distribuzione Normal-Gamma del tipo

$h(theta_1,theta_2)=sqrt(tau/(2pi))beta^alpha/(Gamma(alpha))theta_2^(alpha-1/2)e^((-tau theta_2)/2(theta_1-mu)^2) e^(-beta theta_2)$

con $(theta_1,theta_2) in RR xx RR^+$

Integrando la Prior rispetto a $theta_1$ otteniamo facilmente la marginale

$h(theta_2)$ che è una $"Gamma"(alpha;beta)$

e di conseguenza otteniamo subito anche la distribuzione condizionata

$h(theta_1|theta_2)=(h(theta_1;theta_2))/(h(theta_2))$ che è una Gaussiana di media $mu$ e precisione $tau theta_2$

A questo punto è immediato dedurre che

$mathbb{E}[theta_1]=mathbb{E}_(theta_2)[mathbb{E}_(theta_1)(theta_1|theta_2)]=mu$

$mathbb{E}[theta_2]=alpha/beta$

A conti fatti, moltiplicando la Prior per la verosimiglianza e manipolando opportunamente il prodotto, troverai che la Distribuzione finale è ancora una Normal-Gamma dove però al posto di

$mu$ abbiamo $mu_1=(tau mu+nbar(x))/(tau+n)$

$tau$ abbiamo $tau_1=tau+n$

$alpha$ abbiamo $alpha_1=alpha+n/2$

$beta$ abbiamo $beta_1=beta+1/2 Sigma_i(x_i-bar(x))^2+ (n tau(bar(x)-mu)^2)/(2(tau+n))$

Una stima puntuale bayesiana opportuna è la media della distribuzione a posteriori e quindi concludiamo che:

$hat(theta)_1=mathbb{E}[theta_1|ul(x)]=(tau mu+nbar(x))/(tau+n)$

$hat(theta)_2=mathbb{E}[theta_2|ul(x)]=(alpha+n/2)/(beta+1/2 Sigma_i(x_i-bar(x))^2+ (n tau(bar(x)-mu)^2)/(2(tau+n)))$

Se invece sei interessato a stimare media e varianza devi usare come prior una Normal-Gamma inversa ma il procedimento è il medesimo oppure puoi usare i risultati che ti ho indicato e stimare la varianza usando la relazione che lega la Normal-Gamma con la Normal-Gamma inversa