Owner. ha scritto:Dovrei rispondere a una domanda: dimostrare che la stima ai minimi quadrati è uguale alla stima a massima verosimiglianza nel caso di errore gaussiano.
Partendo da un modello lineare classico (in forma matriciale)
$y=Xbeta +epsilon $
Sotto le consuete ipotesi e senza impegnarci ulteriormente sulla distribuzione dei residui, per calcolare lo stimatore del vettore dei parametri col metodo dei minimi quadrati minimizziamo la seguente funzione
$min_(beta)[(y-Xbeta)'(y-Xbeta)]$
Se invece assumiamo anche la normalità dei residui e calcoliamo la verosimiglianza vediamo subito che la logverosimiglianza, a meno di costanti additive, viene
$logL(beta)=-1/(2sigma^2)(y-Xbeta)'(y-Xbeta)$
Come vedi le due funzioni sono una l'opposto dell'altra e quindi è evidente che il punto di minimo (argmin) dell'una corrisponde al punto di massimo (argmax) dell'altra; ciò dimostra quanto richiesto anche senza gli ulteriori passaggi per arrivare agli stimatori. Infatti la richiesta è di dimostrare che i due stimatori coincidono mentre non viene richiesto il loro calcolo esplicito.
Questa dimostrazione l'ho fatta io e quindi l'ho postata così come mi è venuta. Per il resto trovi tutto su qualsiasi testo di Statistica