Stimatore OLS e distribuzione asintotica

[Umberto93]

Salve a tutti pongo il mio dubbio in merito alla distribuzione asintotica di uno stimatore OLS, sperando che qualcuno possa aiutarmi:

Dato un modello definito come

$Y_i=\beta_0 + \beta_1X_i + \upsilon_i$

dove
$\beta_0$ è l'intercetta
$\beta_1$ è la pendenza
$\upsilon_i$ è la componente d'errore

date le seguenti assunzioni

1) La distribuzione della componente d'errore condizionata a $X_i$ ha media nulla

2) $(X_i,Y_i), i=1,..,n$ sono i.i.d.

3) Gli outlier sono improbabili

Applicando ora il metodo OLS avremo

$\beta_1\hat$ = $\sum$ $[(X_i-\bar{X})*(Y_i-\bar{Y})]$ $/\sum(X_i-\bar{X})$ = $[S_(xy)]/(S^2)_x$

$\beta_0\hat$= $\bar{Y}-\beta_1\bar{X}$

segue ora la distribuzione campionaria dello stimatore OLS per grandi campioni:
scritto $\beta_1\hat$ = $\beta_1$ $+ 1/n\sum$ $[(X_i-\bar{X})*\upsilon_i]$$/(1/n)\sum$ $[(X_i-\bar{X})^2]$
La dimostrazione in cui mi sono imbattuto: mostra che la componente della seconda parte, la quale si somma al $\beta_1$ , è riconducibile ad una specie di media e quindi per il teorema del limite centrale si distribuisce come una normale; mentre la parte al denominatore è riconducibile asintoticamente alla varianza di X in popolazione.
Il mio problema è che volendo nella scrittura originale del $\beta_1$ anche la componente al denominatore è riconducibile alla covarianza tra X e Y in popolazione, quindi mi sembrerebbe possibile dimostrare un eventuale distribuzione asintotica coincidente con una dirac (data dal rapporto dei due valori in popolazione).
Perchè ciò non avviene ed in base a cosa si decide di trattare la componente al numeratore come tendente ad una normale mentre la parte al denominatore come tendete ad un valore in popolazione?

[markowitz]

segue ora la distribuzione campionaria dello stimatore OLS per grandi campioni:
scritto $ \beta_1\hat $ = $ \beta_1 $ $ + 1/n\sum $ $ [(X_i-\bar{X})*\upsilon_i] $$ /(1/n)\sum $ $ [(X_i-\bar{X})^2] $
La dimostrazione in cui mi sono imbattuto: mostra che la componente della seconda parte, la quale si somma al $ \beta_1 $ , è riconducibile ad una specie di media e quindi per il teorema del limite centrale si distribuisce come una normale; mentre la parte al denominatore è riconducibile asintoticamente alla varianza di X in popolazione.
Il mio problema è che volendo nella scrittura originale del $ \beta_1 $ anche la componente al denominatore è riconducibile alla covarianza tra X e Y in popolazione, quindi mi sembrerebbe possibile dimostrare un eventuale distribuzione asintotica coincidente con una dirac (data dal rapporto dei due valori in popolazione).
Perchè ciò non avviene ed in base a cosa si decide di trattare la componente al numeratore come tendente ad una normale mentre la parte al denominatore come tendete ad un valore in popolazione?

Mi sa che stai facendo un po di confusione. Seguimi.
Quella che hai scritto non è la distribuzione campionaria di $\hat{beta_1}$ ma è proprio lui, è proprio lo stimatore. Il secondo addendo a destra dell'uguale si annula (aspettativa o plim) grazie alla prima ipotesi che hai posto. Quindi lo stimatore è non distorto (aspettativa) e/o consistente (plim) a seconda di alcuni tecnicismi. Siccome parli di teoria asintotica vuoi dimostrare la consistenza.
Dopodichè troverai lo stimatore della varianza di $\hat{beta_1}$.
Allora indipendentemente dalla distribuzione dell'errore e/o delle variabili in gioco ottieni, grazie all'ipotesi 3, che la distribuzione di $\hat{beta_1}$ è Normale con la media e la varianza di cui sopra.

[Umberto93]

Innanzitutto grazie della risposta:
Intendevo dire che riscritto lo stimatore in quel modo (comunque valido rispetto alla scrittura classica di cui sopra), è facilmente dimostrabile che la parte al numeratore è considerabile come una media e quindi applicare il teorema del limite centrale per ottenere una distribuzione normale.
Considerando la parte al denominatore asintoticamente coincidente con la varianza in popolazione e il $\beta_1$ trattato come costante è facile ricondurci ad una distribuzione normale complessiva.
Questo mi è chiaro, il mio problema è che partendo dalla scrittura originale dello stimatore (quella a varianza e covarianze) abbiamo due quantità asintoticamente coincidenti con la varianza e la covarianza in popolazione:
Essendo il Teorema del Limite Centrale una convergenza in distribuzione, esso è meno forte di una convergenza in probabilità; quindi cosa mi impedisce di affermare che lo stimatore converga ad una Dirac e in base a cosa decido di trattare come media (e quindi assegnandole una distribuzione normale asintotica) la parte al numeratore rispetto a quella al denominatore?
Ad esempio trovo più intuitivamente corretto considerare questo stimatore un rapporto tra due specie di medie e quindi in termini asintotici il rapporto di due distribuzioni normali.

[markowitz]

Innanzitutto grazie della risposta:

Di niente.

Non sono sicuro di aver inteso il tuo ragionamento

Intendevo dire che riscritto lo stimatore in quel modo (comunque valido rispetto alla scrittura classica di cui sopra), è facilmente dimostrabile che la parte al numeratore è considerabile come una media e quindi applicare il teorema del limite centrale per ottenere una distribuzione normale.

ad esempio qui non ti ho capito.

In ogni caso ti faccio notare che

il mio problema è che partendo dalla scrittura originale dello stimatore (quella a varianza e covarianze) abbiamo due quantità asintoticamente coincidenti con la varianza e la covarianza in popolazione:
Essendo il Teorema del Limite Centrale una convergenza in distribuzione, esso è meno forte di una convergenza in probabilità; quindi cosa mi impedisce di affermare che lo stimatore converga ad una Dirac e in base a cosa decido di trattare come media (e quindi assegnandole una distribuzione normale asintotica) la parte al numeratore rispetto a quella al denominatore?
Ad esempio trovo più intuitivamente corretto considerare questo stimatore un rapporto tra due specie di medie e quindi in termini asintotici il rapporto di due distribuzioni normali.

Innanzitutto, sicuramente non esistono passaggi arbitrari.
Poi se davvero fosse lecito considerare il rapporto sopra come un rapporto tra normali ... saremmo abbastanza nei guai con la convergenza perchè avremmo, sotto indipendenza, una Cauchy. Senza indipendenza saremmo comunque in una situazione molto complicata.
Peraltro non può essere questo il caso perchè a denominatore ai una somma di quadrati che sicuramente non si distribuisce normalmente ma, forse, come una chi-quadro.

Peraltro a questo livello è proprio la convergenza in probabilità quella che devi usare e non quella in distribuzione. Infatti così come le varianza e covarianza di cui parli convergono (in probabilità) ai rispettivi valori di popolazione, lo stesso vale per il parametro di regressione (immaginavo fosse ciò che cercavi) e, ad esempio, anche per il coefficiente di correlazione.
Non c'è nessuna strana "mistura di convergenze" che devi considerare.
Spero di essere stato utile.

[Umberto93]

Ciò che intendo dire è questo, lo stimatore
$\beta_1\hat$ = $\sum$ $[(X_i-\bar{X})*(Y_i-\bar{Y})]$ $/\sum(X_i-\bar{X})$ = $[S_(xy)]/(S^2)_x$
viene riscritto come
$\beta_1\hat$ = $\beta_1$ $+ 1/n\sum$ $[(X_i-\bar{X})*\upsilon_i]$$/(1/n)\sum$ $[(X_i-\bar{X})^2]$
a cui segue la dimostrazione di questo link: pagina 37-38-39
https://www.sas.upenn.edu/~fdiebold/Tea ... slides.pdf
in tale dimostrazione viene usato il TEOREMA DEL LIMITE CENTRALE che è una convergenza in distribuzione!
fin qui tutto chiaro (almeno lo era)
concentriamoci ora sulla seguente parte
$\beta_1\hat$=$[S_(xy)]/(S^2)_x$
se guardiamo la parte al denominatore e scriviamo al posto di $\sum(X_i-\bar{X})^2$ --> $\sum(v)$ e moltiplichiamo per $n/n$ abbiamo due quantità riconducibili ad una media e quindi possiamo applicare il T.L.C. deducendo che hanno una distribuzione normale, da qui nascono i miei dubbi.
Perché decido di ricondurre ad una normale e quindi ad una convergenza in distribuzione solo una parte dello stimatore (quella al numeratore opportunamente riscritta), mentre entrambe le parti potrebberò essere tali?

[momo1]

Dal link che hai postato mi sembra di capire che ti interessi il contesto econometrico. Solitamente in questa branca della Statistica si fanno due assunzione in una regressione lineare del tipo $y_i = \beta x_i^{\top} + \epsilon_i$:

Il predittore $x_i$ è una variabile casuale

Il termine di errore $\epsilon_i$, condizionatamente al predittore $x_i$, ha media nulla e varianza costante $E(v_i | x_i) = 0 \quad V(v_i | x_i) = \sigma^2 \forall i$

Di conseguenza qualsiasi ragionamento probabilistico non viene fatto su $\beta$ ma su $\beta | x_i$. Non so se la tua confusione derivi da questo passaggio.

In generale il fatto di considerare l'esplicativa come una variabile casuale è prerogativa dell'econometria, dove solitamente ci si limita ad osservare dei fenomeni, mentre in contesti sperimentali¹ normalmente si assume che il predittore sia controllato dallo sperimentatore e quindi non abbia natura aleatoria.

---

Note

1. pensa ad esempio, a uno studio sull'efficacia di un farmaco su pazienti selezionati per fasce di età, peso ecc.. ↑

[markowitz]

A pag 37 (cap 4) ti dice che $\hat{beta}_1$ converge in probabilità a $\beta_1$, questa è la cosa più importante in quelle pagine.

A pag 38 effettivamente si parla di CLT e si fa vedere che la distribuzione dello stimatore converge ad una normale ... ma non è molto importante perchè è una normale degenere ... la varianza decresce con $n$ ... quindi alla fine convergi in probabilità.
I passaggi su cui ti stai interrogando sono secondari anche perchè l'utilizzo del TLC in quel punto è del tutto inessenziale (*). E' invece essenziale il cenno al CLT a pag 41.

Tuttavia mi sembra che tu ti riferisca, sempre pag 37, a come passa dalla prima riga a quella evidenziata in azzurro (col TLC). In quel punto effettivamente è stato applicato il TLC al nominatore piuttosto che al denominatore. In sostanza ti ha solo dato un suggerimento di perchè il TLC si può applicare, poi a preso la varianza della quantità evidenziata nella prima riga ed ha applicato i risultati di pag 34 (media) e 36 (varianza) relativi a tale quantità.

Peraltro anche quello che dice momo_1 è importante. Dalle slide 34-36 si capisce che si sta proprio sfruttando il condizionamento quindi $\sigma^2 (x)$ è trattata come una costante. Per questo lavori col nominatore.
Tuttavia, ragionando in termini asintotici, la convergenza penso valga anche senza condizionamento, in sostanza avresti, al limite, $0$ diviso qualcosa di positivo e finito; ma devo verificare.

(*)lo Stock and Watson, in generale, è un'ottimo manuale ma, a mio parere, non per gli aspetti tecnici.
Sono abbastanza sicuro delle cose che ho scritto ma, in ogni caso, non fare riferimento alle mie indicazioni ma al tuo Prof.