Stimatore OLS e Matrice Mx

[Umberto93]

Salve a tutti, ho il seguente dubbio:
Dato il modello $Y=X*\beta+\upsilon$
Si stima il modello OLS--> $\hat Y=X*\hat \beta+\hat \upsilon$
e Definita:
La Matrice Mx=$I-Px$
La Matrice Px=$X(X'X)^-1*X$
e ottenendo come conseguenza
$\hat \upsilon=Mx*\upsilon$
DUBBIO: perché non posso ottenere $\upsilon=(Mx)^-1\hat \upsilon$ ?

[tommik]

La Matrice Px=$X(X'X)^-1*X$

se $X$ (come in effetti è) è una matrice rettangolare (tipo $nxxk$) con $n$ generalmente più grande di $k$ quella matrice $Px$ non si può nemmeno calcolare....le matrici non sono compatibili per le loro dimensioni e quindi quel prodotto non si può svolgere

La matrice corretta è questa

$P=X(X'X)^(-1)X'$

...ed inoltre la stima del modello è questa: $hat(y)=Xhat(beta)$. Infatti proprio partendo da tale stima riesci a dedurre che

$hat(v)=y-hat(y)$

Utilizzando la tua relazione invece guarda cosa si ottiene:

Testo nascosto, fai click qui per vederlo

$y=Xbeta+v$

$hat(y)=Xhat(beta)+hat(v)$

$hat(v)=hat(y)-Xhat(beta)$

$hat(v)=Xhat(beta)+hat(v)-Xhat(beta)$

$hat(v)=hat(v)$

cioè una identità del tutto inutile


Inoltre, in genere, si scrivono i vettori in minuscolo e le matrici in maiuscolo....tu hai scritto $Y$ maiuscolo ma è ovviamente un vettore....

o no?? (mi sa che hai un po' di confusione in testa...)

Per quanto riguarda la relazione che lega l'errore con l'errore stimato beh....è una relazione che di per sè è inutilizzabile....ma è molto utile per un motivo specifico....quale?

Ovviamente non si può "calcolare" un errore....è un vettore di variabili casuali....semmai lo si può stimare, sottto opportune ipotesi oppure si può calcolarne la distribuzione di probabilità ecc ecc

[tommik]

Mi scuso per l'errore della maiuscola e del trasposto (me li sono persi per strada ).
Sono d'accordo che concettualmente $\upsilon$ non sia calcolabile, tuttavia non mi è chiaro perché non sia fattibile dal punto di vista matematico, cosa mi impedisce di ricavare $\upsilon$ se ho a disposizione $Mx$ e $\hat\upsilon$?
L'unica cosa a cui sono riuscito a pensare è che essendo $\upsilon$ una variabile casuale (come giustamente suggerisci) avrà dei parametri e una distribuzione che la caratterizzano e che quindi l'operazione che ho ipotizzato sopra non avrà una soluzione unica...

PS: se nella tua domanda ti riferisci alla relazione di ortogonalità tra residui OLS e valori predetti ne sono a conoscenza

[tommik]

Mi sembra importante fare una doverosa osservazione, dato che l'utente sembra avere dubbi di base che vanno rimossi in modo radicale.

Abbiamo una popolazione $X$ che si distribuisce in modo gaussiano $X~N(v;1)$

Calcolare $v$

La richiesta è assolutamente senza alcun senso. Il parametro (oppure la variabile aleatoria, se ragioniamo in termini bayesiani) è un qualcosa di aleatorio che NESSUNO potrà mai conoscere o calcolare.

Ad esempio $X$ potrebbe essere la VERA misura del diametro di una moneta da 1 euro. Nessuno sarà mai in grado di conoscere la VERA misura di quel diametro....lo si potrà misurare e, sotto opportune ipotesi, farne delle stime $hat(v)$ (anche molto precise) ma sempre stime e comunque sempre stime in media....tale diametro non sarà nemmeno costante nel tempo e nello spazio, varierà al variare della temperatura e varierà con l'uso della moneta; magari con un accurato strumento di un laboratorio del CERN si scopre che la moneta non è nemmeno perfettamente circolare e che le zigrinature sul bordo sono molto irregolari....ecc ecc

$v$ quindi può essere un parametro o una variabile aleatoria ignoto / ignota su cui si avanzano determinate ipotesi.

La relazione¹ $hat(epsilon )=[I-H]epsilon $, appunto per la presenza di $epsilon $ che è solo una variabile aleatoria su cui si avanzano determinate ipotesi², non permette nemmeno di calcolare $hat(epsilon)$ cioè non permette nemmeno di "stimare" l'errore. È però utilissima per stimare $sigma^2$. Infatti³:

$mathbb(E) [hat(epsilon)'hat(epsilon)] =mathbb(E)[epsilon'(I-H)(I-H)epsilon] = mathbb(E)[epsilon'(I-H)epsilon]=(n-k)sigma^2$

e quindi

$hat(sigma)^2=(hat(epsilon)'hat(epsilon))/(n-k)$

è uno stimatore non distorto per $sigma^2$

Sono stato un po' prolisso ma ho cercato di riassumere in un messaggio tutta una serie di risultati che potrai trovare ben spiegati sui libri

---

Note

1. questa è la notazione più comune ↑
2. tipicamente le seguenti ipotesi di base
   
   1) $mathbb(E)[epsilon]=0$
   
   2) $mathbb(E)[epsilon epsilon']=sigma^2 I_n$ ↑
3. avendo preventivamente imposto anche che nel modello $X$ sia di rango pieno, ovvero che $"rango"(X)=k$ ↑

[Umberto93]

Vi ringrazio immensamente per le vostre risposte, ne approfitto per chiarire ulteriormente il mio dubbio:
Premetto che concettualmente so che la cosa non può farsi, volevo però capirlo anche matematicamente;
in effetti noi lavoriamo su un campione da cui otteniamo $\hat\beta$, perciò abbiamo solo le realizzazioni campionarie della variabile casuale $y$.

1) Per quello che ho capito io so che sia $\epsilon$ che $\hat\epsilon$ sono V.C.
Noi abbiamo detto che

Così come PX, anche MX è una matrice di proiezione ortogonale, la
prima sullo spazio generato dalle colonne di X, la seconda sul suo complemento ortogonale. E una matrice di
proiezione non è invertibile!

Ora io so che $MX$ non è invertibile perché di rango $n*n$, mentre $X$ risulta di rango pieno per $k$ e per
noi risulta $k<=n$.
So perfettamente quanto sia stupido ed insensato ottenere un $k=n$, ma concedetemi per un
secondo il ragionamento, se io usassi un simile $k$ a quel punto:

1.1) $MX$ sarebbe invertibile?

1.2) Se $MX$ è invertibile ed io conoscessi perfettamente la distribuzione di $\epsilon$ potrei
ricavare quella di $\hat\epsilon$ sfruttando la relazione $\hat\epsilon=MX^-1*\epsilon$?


2) Non ci avevo mai pensato prima, ma avendo ricavato che

Inciso: la varianza dell'errore è per ipotesi $σ2I$, quella dei residui è invece $(I−PX)σ2$, a conferma che errore e residuo hanno distribuzioni diverse.

ciò implica che la varianza di $\hat\epsilon>=\epsilon?$


3) Potrei avere un rimando ad un libro di testo o link che spighi il fatto che:

3.1)

Inciso: la varianza dell'errore è per ipotesi $σ2I$, quella
dei residui è invece $(I−PX)σ2$, a conferma che errore e residuo hanno distribuzioni diverse.

3.2) Le matrici di proiezione non sono invertibili.

Mi piacerebbe colmare la mia lacuna

[Umberto93]

Grazie Sergio, sei stato davvero chiarissimo, mi permetto solo di esprimere la mia ultima incertezza:
Nel corso di algebra mi hanno insegnato che $X$ è invertibile se e solo se è di rango massimo pari a $k$, questo implica che $(X'*X)^-1$ sia invertibile in quanto è una matrice $k*k$, giusto?
Ora io capisco che $MX$ non sia invertibile in quanto matrice $n*n$, tuttavia come faccio a capire che non sia invertibile nel caso in cui $n=k$?
se non fosse invertibile in questo caso, implicherebbe che non sia invertibile nemmeno X, che potrebbe risultare comunque invertibile.
In breve come faccio ad accorgermene matematicamente?