Esercizio Likelihood

[Harris!]

Ciao a tutti!
Ecco volevo condividere con voi e chiedervi un aiuto su un esercizio riguardante la funzione di verosimiglianza.


Consider a population X∼fθ, where θ>0 and

fθ(x)=θ/2(θx)^2 exp{−θx} x>0.

Moreover, let X1,…,Xn be a sample from X.

a) Find a sufficient statistic for the model

b) Find the MLE of θ and the MLE of E(X)=3/θ.

Quindi sono arrivato alla funzione likelihood, che penso sia corretta.
L(θ/s)= θ^n/2 (θ∑x)^2 exp^-θ∑x

Solo che ora per poter arrivare a ricavare MLE devo In primis devo calcolare il logaritmo e dopodiché la derivata mettendo tutto uguale a zero e ancora seconda derivata. Il mio dubbio però sta proprio nell'applicare la prima derivata. Speranzoso di aver effettuato fin qui i calcoli in maniera corretta...

l(θ/s)=nlogθ/2 (∑xlogθ)^2 -∑xlogθ

[tommik]

Premesso che come hai inserito le formule

fθ(x)=θ/2(θx)^2 exp{−θx} x>0.

risultano quasi incomprensibili....se la funzione di densità fosse questa (e mi torna, dato che è una distribzione nota, essendo una $"Gamma"(3;theta)$, di media appunto $mu=3/theta$ come dice la traccia)

$f_theta(x)=(theta^3x^2)/2 e^(-thetax)I_((0;+oo))(x)$

allora, semplicemente usando il teorema di fattorizzazione trovi che uno stimatore suffiicente per il modello è $T=Sigmax$

b) massimizzando la logverosimiglianza trovi inoltre che $hat(theta)=(3n)/(Sigmax)$

che, come ci aspettiamo, è funzione di $T$

c) con la proprietà di invarianza trovi subito che $hat(mu)=3/hat(theta)=(Sigmax)/n=bar(X)$ come del resto facilmente intuibile.

Veniamo ora alla tua bozza di soluzione

Quindi sono arrivato alla funzione likelihood, che penso sia corretta.
L(θ/s)= θ^n/2 (θ∑x)^2 exp^-θ∑x

La verosimiglianza è il prodotto delle densità quindi no, per il poco che si capisce da ciò che hai scritto, è sbagliata.


saluti

[Harris!]

\(\displaystyle f_{\theta} (x) = \frac{\theta}{2} \, \left( \theta x \right)^2 \, \mbox{exp} \left\{ - \theta x \right\} \qquad x>0 \)

Questa è l'espressione giusta, mi scuso molto per come l'ho scritto prima e mi rendo conto che effettivamente potevo metterci quei minuti in più a capire un po' di più l'utilizzo di MathJax.
Grazie della tua risposta tommik.

Quindi nella funzione di densità devo fare il prodotto prima di applicare il teorema di fattorizzazione , quindi già qui sbagliavo. Ma come viene applicato il logaritmo e di conseguenza la prima derivata per raggiungere la massimizzazione della verosimiglianza? Mi potresti far vedere i passaggi di applicazione che non riesco a capire

[tommik]

Ok bene....ora è tutto chiaro ed è esattamente come ho scritto nel precedente post.

In realtà si può applicare la fattorizzazione anche prima di calcolare la verosimiglianza perché esiste un'altra strada: si può riscrivere la densità nella forma canonica della famiglia esponenziale e da lì trovare lo stimatore sufficiente....ma non mettiamo troppa carne al fuoco...

Come vedi la densità è quella che ti ho scritto....il libro la "maschera" un po' per non farti vedere che è una distribuzione nota, altrimenti avresti già finito l'esercizio. Riscriviamo dunque la densità semplificandola così:


$f_(theta)(x)=theta^3/2x^2e^(-thetax)$ per $theta>0$, $x>0$ (nel post precedente ho usato la funzione indicatrice per indicare il dominio, ma è lo stesso).

Per calcolare la verosimiglianza, avendo un campione casuale di ampiezza $n$, dove ogni elemento è indipendente e con la stessa distribuzione f, basta moltiplicare le $n$ densità identiche ottenendo

$L_(ul(x))(theta)=theta^(3n)/2^n Pi_(i=1)^(n)x_(i)^2e^(-thetaSigmax)$

Per rispondere al punto a) semplicemente osserviamo che la verosimiglianza (la densità della n-upla campionaria ) può essere riscritta così:

$f_theta(ul(x))=(Pi_(i=1)^(n)x_(i)^2)/2^n*theta^(3n) e^(-thetaSigmax)$

Ora come vedi $L=h(ul(x))g[t(ul(x)),theta]$ ovvero è il prodotto di due funzioni:

$h(ul(x))=(Pi_(i=1)^(n)x_(i)^2)/2^n$ che non dipende da $theta$

$g[t(ul(x)),theta]=theta^(3n) e^(-thetaSigmax)$ che dipende sia da $theta$ che dai dati (le $x_i$) ma, ATTENZIONE ATTENZIONE, dipende dai dati SOLO ATTRAVERSO UNA SPECIFICA FUNZIONE: la somma. Questa funzione, ovvero questa statistica è la statistica sufficiente.

Quindi $T=sum_(i=1)^(n)X_i$ è lo stimatore sufficiente¹

Veniamo ora alla ricerca dello stimatore MLE per $theta$ o per una sua funzione. Dato che esiste la proprietà di invarianza secondo cui lo stimatore di massima verosimiglianza di $g(theta)$ è $g(hat(theta))$ conviene concentrarsi sul calcolo dello stimatore di $theta$

Occorrere massimizzare la logverosimiglianza....

Facciamo subito un'osservazione: nell'espressione della $L$ vediamo che alcune quantità non dipendono da $theta$ quindi, una volta che calcoleremo $partial/(partialtheta)l(theta)$, avremo una serie di funzioni uguali a zero; diventa allora più comodo riscrivere la verosimiglianza così:

$L(theta) prop theta^(3n)e^(-thetaSigmax)$

a questo punto ti scrivo i passaggi ma sono davvero banali

$logL=3nlogtheta-thetaSigmax$

$partial/(partialtheta)logL=(3n)/theta -Sigmax=(3n-thetaSigmax)/theta=0$

$hat(theta)=(3n)/(Sigmax)$

abbiamo finito. Il punto trovato è un massimo, non serve la derivata seconda.....

inoltre per trovare lo stimatore della media basta sostiture l'espressione di $hat(theta)$ in $E(X)=3/theta$ al posto di $theta$

ora dovrebbe essere chiaro...

---

Note

1. in realtà per note proprietà è anche minimale e completo. ↑

[Harris!]

Guarda sei stato molto chiaro e soprattutto davvero disponibile a voler spiegarmi passo per passo l'esercizio che ho trovato abbastanza complicato nell'affrontare.

Il mio problema sta di fatti nel capire e distinguere come applicare le regole come i teoremi, se fosse possibile ti chiederei gentilmente se mi potessi consigliare un libro di testo dove poter approfondire e trovare maggiori esempi sull'argomento.

[axpgn]

Per risparmiare una fatica a tommik (che l'ha già scritto non so quante volte ... ), leggi qui

Cordialmente, Alex