Catena uguaglianze su operatore media

[Dino 92]

Salve,
mentre studiavo statistica predittiva, mi son imbattuto nella seguente catena di uguaglianze.
Dette:

$ Y=f(X)+\epsilon $
$ hat(Y) = hat(f)(X) $

dove:

- $ hat(Y) $ è la stima della risposta $ Y $
- $ X $ è il vettore dei predittori
- $ hat(f) $ è la stima della funzione $ f $ che lega $ X $ a $ Y $
- $ \epsilon $ è l'errore casuale, per cui vale $E(\epsilon) = 0$

ho la seguente catena di uguaglianze:
$ E(Y-\hat(Y))^2 = E[f(X) + \epsilon - hat(f)(X)]^2 = [f(X) - \hat(f)(X)]^2 + Var(\epsilon) $

Non ho ben compreso l'ultimo passaggio, cioè quale tipo di operazioni si eseguano per arrivare all'ultimo membro della catena di uguaglianze.

Grazie per il vostro aiuto.

[tommik]

basta svolgere il quadrato del binomio

$mathbb{E}[(f-hat(f))+epsilon]^2$

e considerare le ipotesi che hai scritto tu stesso, ovvero

$mathbb{E}(epsilon)=0$

e quindi anche $mathbb{E}(epsilon^2)=V(epsilon)$, essendo appunto per definizione

$V(epsilon)=mathbb{E}(epsilon^2)-mathbb{E}^2(epsilon)$

[Dino 92]

Grazie Tommik. Mi chiedo tuttavia come mai "scompaia" l'operatore di media nell'ultimo passaggio. Infatti svolgendo i miei calcoli, ho il seguente risultato:

$ \E[(f-\hatf) + \epsilon]^2 = E[(f-\hatf)^2 + 2(f-\hatf)epsilon+\epsilon^2] = E(f-\hatf)^2 + E(\epsilon^2) = E(f-\hatf)^2 + V(\epsilon) $

Ovviamente varrebbe

$E(f-\hatf) = f-\hatf hArr f-\hatf$ è una quantità sempre costante al variare di $x \in X$. Ma chi ci garantisce ciò?

[tommik]

Sì i tuoi conti sono giusti.

$E[Y-hat(Y)]^2=E[f-hat(f)]^2+V(epsilon)$

Tale quantità rappresenta la variabilità residua del modello.

Se nella soluzione ha tralasciato il valore atteso è un refuso

Invece viene $E(f-hat(f))=0$ perché se $hat(f)$ è una buona stima si ha che $E(hat(f))=f$

EDIT: tanto per fare un esempio più concreto, consideriamo un modello lineare classico (in forma matriciale) dove

$y=Xbeta+epsilon$

Tu stai calcolando

$mathbb{E}[y-hat(y)]=mathbb{E}[hat(epsilon)'hat(epsilon)]=mathbb{E}[epsilon'H epsilon]=(n-k)sigma^2$

e quindi

$(hat(epsilon)'hat(epsilon))/(n-k)=hat(sigma)^2$

ovvero $(RSS)/(n-k)$ è uno stimatore corretto di $sigma^2$

[Dino 92]

Sì, dunque è un refuso. Esattamente, Tommik, $E(f-\hatf)$ rappresenta la componente di errore riducibile (eventualmente sino a $0$).
Grazie, un caro saluto

[tommik]

dunque Dino, il post che hai inserito è del tutto decontestualizzato e quindi risulta difficile inquadrare bene il problema.

Ti viene chiesto il calcolo e l'interpretazione di $mathbb{E}[Y-hat(Y)]^2$

Questa quantità rappresenta, sotto l'ipotesi che la stima $hat(f)$ della funzione ignota $f$ sia una stima non distorta, una stima dell'errore che si commette sostituendo $hat(f)$ a $f$.

$E(f-\hatf)$ rappresenta la componente di errore riducibile (eventualmente sino a $0$).

L'errore va sempre considerato al quadrato, e ciò per evitare che errori positivi vadano a compensare errori negativi (una volta sbaglio di $+1$ una volta sbaglio di $-1$, mediamente ho sbagliato di $0$ mentre nella realtà ho sbagliato 2 volte su due....)

Sotto le consuete ipotesi che stiamo utilizzando una stima non distorta¹ è evidente che $mathbb{E}[f-hat(f)]=f-mathbb{E}[hat(f)]=f-f=0$

Se invece la stima fosse distorta allora l'errore stimato verrebbe calcolato con $mathbb{V}[Y-hat(Y)]^2$.

Ciò che ti posso consigliare è inizialmente di sostituire la generica $f(X)$ con una funzione lineare e studiare la Statistica predittiva sulla base di modelli lineari (meglio se multivariati) per i quali trovi una letteratura infinita. Una volta chiaritoti per bene tutte le proprietà e le relazioni note sul modello lineare puoi passare ad uno studio predittivo di carattere più generale, fino anche all'impostazione predittiva Bayesiana (sono di parte ma è l'argomento che mi interessa di più)

Prendi ciò che ti ho detto con le pinze dato che, come ho detto all'inizio, non so bene che genere di argomento tu stia studiando ed a che livello.

saluti

---

Note

1. se partiamo dall'ipotesi che la stima della funzione $f$ è distorta tutta la previsione (che già nei casi a noi più favorevoli è affetta da errore) perde di significato ↑