varianza, minimi quadrati, max verosimiglianza

[Owner.]

Ciao a tutti.
Dovrei rispondere a una domanda che mi chiede di discutere sull'analisi della varianza per sistemi lineari. Poi di dimostrare che la stima ai minimi quadrati è uguale alla stima a massima verosimiglianza nel caso di errore gaussiano.
Siccome il materiale che ho a disposizione è poco chiaro, avreste qualcosa da consigliarmi per ricavare queste informazioni?
Grazie

[Bokonon]

http://www.ce.unipr.it/people/medici/ge ... ode46.html

[tommik]

Dovrei rispondere a una domanda: dimostrare che la stima ai minimi quadrati è uguale alla stima a massima verosimiglianza nel caso di errore gaussiano.

Partendo da un modello lineare classico (in forma matriciale)

$y=Xbeta +epsilon $

Sotto le consuete ipotesi e senza impegnarci ulteriormente sulla distribuzione dei residui, per calcolare lo stimatore del vettore dei parametri col metodo dei minimi quadrati minimizziamo la seguente funzione

$min_(beta)[(y-Xbeta)'(y-Xbeta)]$

Se invece assumiamo anche la normalità dei residui e calcoliamo la verosimiglianza vediamo subito che la logverosimiglianza, a meno di costanti additive, viene

$logL(beta)=-1/(2sigma^2)(y-Xbeta)'(y-Xbeta)$

Come vedi le due funzioni sono una l'opposto dell'altra e quindi è evidente che il punto di minimo (argmin) dell'una corrisponde al punto di massimo (argmax) dell'altra; ciò dimostra quanto richiesto anche senza gli ulteriori passaggi per arrivare agli stimatori. Infatti la richiesta è di dimostrare che i due stimatori coincidono mentre non viene richiesto il loro calcolo esplicito.

Questa dimostrazione l'ho fatta io e quindi l'ho postata così come mi è venuta. Per il resto trovi tutto su qualsiasi testo di Statistica