[Guida Pratica per la Ricerca di U.M.V.U.E.]

Messaggioda tommik » 21/06/2019, 08:39

Definizione: Uniformly Minimum Variance Unbiased Estimator

Il punto di partenza è il Lower Bound per la varianza di stimatori non distorti (Disuguaglianza di Cramér Rao):

$V(T)>=[g'(theta)]^2/(nmathbb{E}{partial/(partialtheta)logf(x|theta)}^2)=[g'(theta)]^2/(-nmathbb{E}{partial^2/(partialtheta^2)logf(x|theta)})$


Per passare dalla prima alla seconda formulazione si usa la Seconda Identità di Bartlett.

CNES: La Disuguaglianza di Cramér Rao vale con il segno di uguaglianza se e solo se

$sum_(i=1)^(n)partial/(partial theta)logf(x_i|theta)=b[T-g(theta)]$


PRIMO METODO
Il primo e grezzo metodo per trovare un UMVUE è dunque il seguente: Proporre uno stimatore non distorto e controllare che la sua varianza raggiunga il limite inferiore di Cramér Rao. Si può pensare, ad esempio, di partire dallo stimatore di Massima Verosimiglianza, controllare se è distorto, se lo è correggerlo, calcolarne la varianza e sperare che raggiunga il limite inferiore.

Esempio 1: Estraiamo un campione casuale di ampiezza $n$ da una Popolazione Bernulliana

$f(x)=theta^x(1-theta)^(1-x)$, $x=0,1$

Applicando la disuguaglianza di CR vediamo che

$V(T)>=(theta(1-theta))/n$

Ora scegliamo come stimatore non distorto per $theta$ il seguente $T^(*)=bar(X)$. Come noto, la varianza della media campionaria è $sigma^2/n=(theta(1-theta))/n$ e quindi abbiamo finito...la media campionaria è l'UMVUE di $theta$

Il metodo descritto, oltre ad essere grezzo, è difficilmente applicabile in quanto il Lower Bound non si raggiunge quasi mai, ovvero la maggior parte degli Stimatori UMVUE hanno una varianza che è superiore al limite inferiore.

FACT: se la densità $f(x|theta)$ appartiene alla Famiglia Esponenziale allora esiste sempre uno stimatore non distorto con la varianza che raggiunge il limite inferiore di CR.
Questo fatto, apparentemente "figo", va letto però nel seguente modo: ESISTE SOLO UNO STIMATORE1 non distorto con varianza pari al limite inferiore....tutti gli altri no, non lo raggiungono.

Esempio 2: prendiamo una densità $Exp(theta)$

$f_X(x)=theta e^(-theta x)$, $x>=0, theta>0$

e consideriamo le seguenti fuzioni del parametro

$g(theta)=theta$

$g(theta)=1/theta$

Iniziamo con la funzione $g(theta)=1/theta=mathbb{E}[X]$

ovviamente viene naturale usare come stimatore della media della popolazione la media campionaria: $bar(X)$.

E' facile vedere che $T^(*)=bar(X)$ è non distorto per $1/theta$ ed inotre $V(bar(X))=1/(ntheta^2)$ che coincide con il limite inferiore di CR.

$V(T)>=[-1/theta^2]^2/(nmathbb{E}[partial/(partial theta)log theta e^(-theta x)]^2)=1/(ntheta^2)$

In definitiva, la media campionaria è l'UMVUE della media della popolazione

Allo stesso risultato si potrebbe arrivare utilizzando la CNES:

$sum_(i=1)^(n)partial/(partial theta)logf(x_i|theta)=b[T-g(theta)]=Sigma_x partial/(partial theta)[log theta-theta x]=$

$=Sigma_x(1/theta-x)=n/theta-nbar(x)=-n[bar(x)-1/theta]=b[T-g(theta)]$

Questo però è l'unico stimatore (a meno di funzioni lineari) non distorto per il quale la disuguaglianza di CR vale con il segno di uguaglianza.

Prendiamo ad esempio la funzione $g(theta)=theta$ e vediamo che succede...

Dato che $g(theta)=1/(mathbb{E}[X])$ viene naturale scegliere come stimatore di partenza $T^(*)=1/bar(X)=n/(Sigma_x x)$

Utilizzando la disuguaglianza di Jensen vediamo facilmente che lo stimatore proposto è distorto; infatti

$psi[mathbb{E}[Y]]=n/(n/theta)=theta$

e quindi $mathbb{E}[psi(Y)] !=theta$

Ciò però non basta ai nostri scopi, a noi serve anche sapere quanto vale esattamente il valore atteso dello stimatore. Per fare i conti sfruttiamo il fatto noto che $Y=Sigma_ X_i~ "Gamma"(n;theta)$

$mathbb{E}[n/(Sigma_x x)]=mathbb{E}[n/Y]=nmathbb{E}[1/Y]=n int_(0)^(+oo)1/y theta^n/(Gamma(n))y^(n-1)e^(-theta y)dy=$

$=n/(n-1) theta int_(0)^(+oo)1/y theta^(n-1)/(Gamma(n-1))y^[(n-1)-1]e^(-theta y)dy==n/(n-1) theta $

dato che l'integrale è proprio il nucleo di una $"Gamma"(n-1;theta)$

Lo stimatore trovato è dunque distorto ma si può subito correggere nel seguente modo

$T=(n-1)/n n/(Sigma_x x)=(n-1)/(Sigma_x x)$ che ora è ovviamente uno stimatore corretto.

Vediamo dunque che varianza ha lo stimatore proposto:

$mathbb{E}[T^2]=(n-1)^2 int_(0)^(+oo)1/y^2 theta^n/(Gamma(n))y^(n-1)e^(-theta y)dy=((n-1)^2theta^2)/((n-1)(n-2)) int_0^(+oo)...dy=(n-1)/(n-2) theta^2$

Quindi la varianza cercata è

$V[(n-1)/(Sigma_i X_i)]=(n-1)/(n-2) theta^2-theta^2=theta^2/(n-2)$

confrontiamo tale valore con il limite inferiore di CR per stimatori non distorti per $theta$ e vediamo che tale limite è

$1/(-nmathbb{E}{partial^2/(partial theta^2)logf(x|theta)})=...=theta^2/n$

e quindi, come preannunciato, lo stimatore di $theta$ non raggiunge il Lower Bound di CR. Vedremo che questo stimatore è proprio l'UMVUE di $theta$

Occorre quindi trovare un altro metodo più generale per cercare il nostro UMVUE


SECONDO METODO: il Lemma di Lehmann Scheffé

l'UMVUE è lo stimatore non distorto funzione di una statistica Sufficiente e Completa (CSS, Complete Sufficient Statistic)
Metodo di facile applicazione, soprattutto se il modello appartiene alla famiglia esponenziale, dato che in questi modelli regolari la statistica canonica è anche sicuramente completa.

Esempio 2: (conclusione) - Alla luce di questo lemma, si vede che lo stimatore di $hat(theta)=(n-1)/(Sigma_i X_i$ è:

1) non distorto
2) funzione di una CSS
3) è UMVUE

Esempio 3:

Prendiamo la seguente densità: siamo interessati a stimare il parametro ignoto $theta$ sulla base di un campione casuale di ampiezza $n$

$f_X(x)=theta(x+1)^(-theta-1)$; $x>0, theta>0$

La funzione di ripartizione si calcola come di consueto e viene $F_X(x)=1-(x+1)^(-theta)$.

Si vede subito che il modello appartiene alla famiglia esponenziale, e dunque non dobbiamo preoccuparci di provare la completezza della statistica canonica...

Iniziamo col cercare lo stimatore di massima verosimiglianza $hat(theta)_(ML)=...=n/(Sigma_x log(x+1))$

Ricordiamo che, se esiste uno stimatore sufficiente $S$, lo stimatore di massima verosimiglianza è funzione di $S$ ....quindi

$S=Sigma_x log(x+1)$ è sufficiente per $theta$....anzi è sufficiente, minimale e completo, visto che il modello appartiene alla Famiglia Esponenziale.

Ora, per applicare il Lemma di Lehmann Scheffé, occorre anche vedere se lo stimatore proposto (funzione dello stimatore CSS) è anche non distorto o, nel caso, se lo si può correggere....

$mathbb{E}[n/(Sigma_x log(x+1))]$

Per calcolare la media dello stimatore, la prima cosa da fare è cercare di capirne la distirbuzione, o la distribuzione di una sua funzione. Iniziamo quindi a cercare la distribuzione di $Y=log(X+1)$

Facile...usiamo una tecnica a scelta, ad esempio il metodo della Funzione di Ripartizione ed otteniamo subito

$F_(Y)(y)=mathbb{P}[Y<=y]=mathbb{P}[log(X+1)<=y]=mathbb{P}[X<=e^y -1]=F_X(e^y -1)=1-(e^y-1+1)^(-theta)=1-e^(-theta y)$

FANTASTICO!! $Y=log(X+1)$ si distrbuisce come un'esponenziale negativa di parametro $theta$....problema praticamente risolto

eh sì, perché a questo punto è chiaro che $Z=Sigma_x log(x+1)$ si distribuisce come una $"Gamma"(n;theta)$...$1/Z$ si distribuisce come una Gamma Inversa e quindi subito otteniamo

$mathbb{E}[hat(theta)]=mathbb{E}[n/(Sigma_x log(x+1))]=mathbb{E} [n/Z]=n theta/(n-1)$

e quindi lo stimatore non distorto, funzione di uno stimatore sufficiente e completo è proprio

$(n-1)/n hat(theta)_(ML)=(n-1)/(Sigma_x log(x+1))$

che è quindi l'UMVUE di $theta$

So far so good.....i problemi però sono sempre alle porte...supponiamo infatti di essere in presenza di un modello "non regolare" ; un esempio classico (e sinceramente l'unico caso che si riscontra nei corsi base di inferenza) è quando il dominio dipende dal parametro....come accade nel seguente

Esempio 4:

Estraiamo il solito campione casuale di ampiezza $n$ dalla distribuzione con densità

$f_X(x|theta)=3x^2/(theta^3)$; $0<x<theta$

Determiniamo innanzitutto lo stimatore di massima verosimiglianza2 per $theta$

$L(theta)=(3^nPi_i X_i^2)/(theta^(3n)$; $theta>x_((n))$

dove con $x_((n))$ indico l'ennesima statistica d'ordine del campione.

Guardando la funzione di verosimiglianza si vede immediatamente che è strettamente decrescente rispetto a $theta$ e quindi lo stimatore di max verosimiglianza è proprio $hat(theta)_(MV)=x_((n))$

tale stimatore, per quanto osservato nell'esempio 3, è anche lo stimatore sufficiente del modello, ma possiamo anche verificarlo con il teorema di fattorizzazione

$Pi_i f(x_i|theta)=3^n Pi_i X_i^2xx1/theta^3mathbb{1}_((x_((n));+oo))(theta)=h(ul(x))xxg[T(ul(x)), theta]$

con $T=x_((n))$

Ora però arrivano i problemi...dato che il modello non è regolare, non abbiamo alcuna garanzia che lo stimatore trovato sia, oltre che sufficiente, anche completo.

La completezza è una delle proprietà più difficili da provare e, al di fuori di alcuni casi scolastici, diventa veramente arduo provarlo...si devono usare artifizi e ragionamenti per nulla semplici...magari se ho tempo scriverò una guida anche per la prova della completezza....

Mettiamoci al lavoro: per provare la completezza, la prima cosa da fare è caratterizzare la distibuzione dello stimatore $T=x_((n))$. Come sappiamo dalla teoria, la funzione di ripartizione del max di $n$ variabili iid è il prodotto delle funzioni di ripartizione e quindi

$F_X(x)=int_0^(x)(3t^2)/theta^3 dt=x^3/theta^3$

da cui subito

$F_(max)(t)=t^(3n)/theta^(3n)$

derivando otteniamo anche la densità del massimo

$f_(max)(t)=(3n t^(3n-1))/(theta^(3n))mathbb{1}_((0;theta))(t)$

Per provarne la completezza dobbiamo rifarci alla definizione:

$T(ul(x))$ è completo se $AA theta$

$mathbb{E}_theta[g(T(ul(x)))]=0 rarr mathbb{P}_theta[g(T)=0]=1$

Nel nostro caso abbiamo

$mathbb{E}_theta[g(T(ul(x)))]=0$

$int_(0)^(theta)g(t)(3nt^(3n-1))/theta^(3n)dt=0$

$1/theta^(3n)int_(0)^(theta)g(t)3nt^(3n-1)dt=0$

deriviamo rispetto a $theta$ ottenendo

$(3n)/theta*g(theta)=0$ che evidentemente implica anche $g(T)=0$ , $AA theta$

quindi lo stimatore sufficiente è anche completo ($T=x_((n))$ è CSS)

Beh siamo a buon punto...ora non ci resta che trovare uno stimatore (funzione di $x_((n))$) che sia non distorto per $theta$

Calcoliamo quindi

$mathbb{E}[x_((n))]=int_0^(theta)z (3n z^(3n-1))/(theta^(3n)) dz=...=(3n)/(3n+1) theta$

che è distorto ma con una distorsione facilmente eliminabile:

$T^(*)=(3n+1)/(3n) x_((n))$ è

1) non distorto

2) funzione di una CSS

3) E' UMVUE

:)



TERZO METODO

Questa volta, invece di "cercare" fra i nostri stimatori uno che soddisfi i requisiti richiesti, costruiamo l'UMVUE partendo da alcuni importanti risultati. Primo fra tutti quello di Rao Blackwell
L'idea principale è la seguente: se abbiamo due stimatori $T_1$ e $T_2$ entrambi non distorti ma uno basato su una Statistica sufficiente $S$ e l'altro no, allora si dimostra che la varianza dello stimatore basato sulla Statistica sufficiente è sicuramente non maggiore della varianza dell'altro. Se poi la Statistica $S$, oltre che sufficiente è anche completa allora

$mathbb{E}[T|S]$ è UMVUE

Metodo operativo:

1) si cerca uno stimatore non distorto, il più semplice e banale possibile, tanto uno vale l'altro; l'importante è che il suo valore atteso coincida con il parametro

2) si determina la distribuzione condizionata $mathbb{P}[T|S]$

3) se ne calcola il valore atteso che sarà il nostro UMVUE, in virtù dei risultati combinati di Rao - Blackwell & Lehmann - Scheffé

Esempio 5: Estraiamo un campione casuale $ (X_1,...,X_n)$ da una Popolazione Bernulliana

$f(x)=theta^x(1-theta)^(1-x)$, $x=0,1$

Già sappiamo dall'Esempio 1 precedente che l'UMVUE di $theta$ è la media campionaria. Vediamo ora di costruire l'UMVUE utilizzando i risultati combinati Rao - Blackwell & Lehmann -Scheffé

Lo stimatore non distorto più semplice che si possa immaginare è $ T=X_1$, ovvero prendiamo come stimatore la prima osservazione del campione, qualunque essa sia.

La distribuzione di T è ovviamente la seguente

$T={{: ( 0 , 1 ),( (1-theta) , theta) :}$

di media $mathbb{E}[T]=theta$


Come stimatore CSS prendiamo la Statistica canonica $S=Sigma_i X_i$

Determiniamo ora la distribuzione condizionata di $(X_1|Sigma_i X_i)$

$mathbb{P}[X_1=0|Sigma_i X_i=s]=(mathbb{P}[X_1=0;Sigma_i X_i=s])/(mathbb{P}[Sigma_i X_i=s])=(mathbb{P}[X_1=0]mathbb{P}[Sigma_i X_i=s|X_1=0])/(mathbb{P}[Sigma_i X_i=s])=$

$=( (1-theta)((n-1),(s))theta^s (1-theta)^(n-1-s))/(((n),(s))theta^s (1-theta)^(n-s))=(((n-1),(s)))/(((n),(s)))=(n-s)/n=1-bar(X)$


$mathbb{P}[X_1=1|Sigma_i X_i=s]=(mathbb{P}[X_1=1;Sigma_i X_i=s])/(mathbb{P}[Sigma_i X_i=s])=(mathbb{P}[X_1=1]mathbb{P}[Sigma_i X_i=s|X_1=1])/(mathbb{P}[Sigma_i X_i=s])=$

$=( theta((n-1),(s-1))theta^(s-1) (1-theta)^(n-s))/(((n),(s))theta^s (1-theta)^(n-s))=(((n-1),(s-1)))/(((n),(s)))=s/n=bar(X)$

In definitiva, la distribuzione dello stimatore condizionata ad S è la seguente

$(T|S)={{: ( 0 , 1 ),( (1-bar(X)) , bar(X) ) :}$

di media

$mathbb{E}[T|S]=1xxbar(X)+0xx(1-bar(X))=bar(X)$

come volevasi dimostrare....

Esempio 6

Esempio 7: Estraiamo un campione casuale $(X_1,...X_n)$ da una popolazione discreta distribuita come una geometrica sul supporto ${0,1,2,3,...}$ quindi con funzione di probabilità

$mathbb{P}[X=x]=theta(1-theta)^x$

Cerchiamo anche qui l'UMVUE di $theta$

Per costruire lo stimatore ottimo scegliamo, come sempre, uno stimatore non distorto per $theta$ che sia il più semplice possibile: $T=mathbb{1}_({0})(x_1)$

Indichiamo con $F=f$ i fallimenti e con $S=s$ i successi. Ovviamente la statistica canonica di classe esponenziale (CSS) è la somma dei fallimenti ottenuti, ergo $F=Sigma_i X_i$

$mathbb{E}[T|F]=mathbb{P}[T=1|F=f]=mathbb{P}[X_1=0|F=f]=(mathbb{P}[X_1=0]mathbb{P}[F=f|X_1=0])/(mathbb{P}[F=f])=$

$=(theta((f+s-2),(f))theta^(s-1)(1-theta)^f)/(((f+s-1),(f))theta^s(1-theta)^f)=(((f+s-2),(f)))/(((f+s-1),(f)))=(s-1)/(f+s-1)$



La presente guida non riporta nulla di nuovo o di originale ma, secondo me, espone in modo organizzato argomenti spesso esposti in modo sparpagliato. Ho tentato anche di inserire diversi esercizi trovati qua e là (alcuni anche postati da utenti del forum e che ho risolto).
Sperando che questo lavoro possa essere di aiuto a chiunque stia affrontando l'argomento, auguro buona lettura.

Aggiungo alcuni link di topic utili:


click

click

click

Note

  1. e tutte le funzioni lineari dello stimatore stesso
  2. ricordo che lo stimatore di max verosimiglianza corrisponde al $"ArgSup_(theta in Theta) L(theta)$ e non al $"ArgMax"$ come talvolta si legge anche su testi molto diffusi
tommik
Moderatore
Moderatore
 
Messaggio: 4865 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago

Torna a Statistica e probabilità

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite