Stima Lineare con VA iid uniformi

[Gost91]

Non riesco a risolvere il secondo punto del seguente

Problema Siano$Y_i, X, V_i$ VA scalari $\forall i=1,2,..., p$, definite come segue:

- $X\~ \mathcal{N}(\bar{x}, \sigma_x^2)$, i.e. $X$ è Gaussiana di valore atteso $\bar{x}$ e varianza $\sigma_x^2$;
- $V_i \~ \mathcal{U} ([-\delta, \delta]) \quad \forall i=1,2,..., p$, i.e. tutte le VA $V_i$ sono uniformemente distribuite sull'intervallo $[-\delta, \delta]$;
- $V_i,...,V_p$ sono indipendenti l'una dall'altra;
- $V_i \bot X \quad \forall i=1,2,..., p$, i.e. tutte le VA $V_i$ sono incorrelate a $X$;
- $Y_i = X + V_i \quad \forall i=1,2,..., p$.

Per il seguente modello lineare
$$Y\triangleq CX+V $$
dove
$$Y\triangleq\begin{bmatrix}
Y_1 \\
\vdots \\
Y_p
\end{bmatrix} \quad V\triangleq\begin{bmatrix}
V_1 \\
\vdots \\
V_p
\end{bmatrix} \qquad
C\triangleq\begin{bmatrix}
1 \\
\vdots \\
1
\end{bmatrix}\in\mathbb{R}^p$$

provare, sotto l'ipotesi $\sigma_x^2\to\infty$ (nessuna informazioni a priori), che

1. la stima MMSE $\hat{x}_\text{MMSE}$ di $X$ basata su $Y$ è
$$\hat{x}_\text{MMSE}=\frac{y_+-y_-}{2}$$
dove $y_+=\max_{1\leq i \leq p}Y_i$ e $y_- =\min_{1\leq i \leq p}Y_i$;
2. l'MSE $\hat{\sigma}_x^2$ della precedente stima è
$$\hat{\sigma}_x^2=\frac{6\sigma_V^2}{(p+1)(p+2)}$$
dove $\sigma_V^2=\delta^2/3$

Soluzione proposta del punto 2 Per definizione, l'MSE in questione è
$$\begin{align*}\hat{\sigma}_x^2 &=\lim_{\sigma_x^2\to\infty}\int_\mathbb{R}(x-\hat{x}_\text{MMSE})^2 f_{X|Y}(x|y)\text{ d}x \\
&=\int_\mathbb{R}\left(x-\frac{y_+-y_-}{2}\right)^2 \lim_{\sigma_x^2\to\infty} f_{X|Y}(x|y)\text{ d}x\end{align*}$$

quindi il problema consiste in due passi: trovare la distribuzione condizionata $f_{X|Y}(\cdot)$ per poi calcolare il precedente integrale. Per il primo passo si può richiamare dalla teoria della probabilità il seguente risultato valido per i modelli lineari
$$f_{X|Y}(x|y)=\frac{f_V(y-Cx)f_X(x)}{\int_\mathbb{R}f_V(y-Cx)f_X(x)\text{ d}x}$$
dove $f_V(\cdot)$ e $f_X(\cdot)$ sono rispettivamente le PDF di $V$ e $X$.
L'espressione esplicita di $f_X(\cdot)$ è chiara
$$f_X(x)\propto \exp\left[-\frac{(x-\bar{x})^2}{2\sigma_x^2}\right]$$
mentre per $f_X(\cdot)$ si può osservare, per la mutua indipendenza delle $V_i$, che
$$f_V(v)=\prod_{i=1}^p f_{V_i}(v_i)=\prod_{i=1}^p \frac{1}{2\delta}[1(v_i+\delta)-1(v_i-\delta)]$$
dove $1(v_i)$ è la funzione a gradino di Heaviside sull'asse reale. Segue immediatamente
$$f_V(y-Cx)=\prod_{i=1}^p f_{V_i}(y_i-x)=\prod_{i=1}^p \frac{1}{2\delta}[1(y_i-x+\delta)-1(y_i-x-\delta)]$$
La distribuzione condizionale assume la seguente forma
$$f_{X|Y}(x|y)=\frac{\prod_{i=1}^p[1(y_i-x+\delta)-1(y_i-x-\delta)]\exp\left[-\frac{(x-\bar{x})^2}{2\sigma_x^2}\right]}{\int_\mathbb{R}\prod_{i=1}^p [1(y_i-x+\delta)-1(y_i-x-\delta)]\exp\left[-\frac{(x-\bar{x})^2}{2\sigma_x^2}\right]\text{ d}x}$$
quindi, prendendo il limite, si ottiene
$$\lim_{\sigma_x^2\to\infty}f_{X|Y}(x|y)=\frac{\prod_{i=1}^p[1(y_i-x+\delta)-1(y_i-x-\delta)]}{\int_\mathbb{R}\prod_{i=1}^p [1(y_i-x+\delta)-1(y_i-x-\delta)]\text{ d}x}$$
osservando che la produttoria non è nulla (è unitaria) solo sull'intersezione dei supporti delle PDF $f_{V_i}(\cdot)$, si può scrivere
$$\begin{align*}\lim_{\sigma_x^2\to\infty}f_{X|Y}(x|y)&=\frac{\prod_{i=1}^p[1(y_i-x+\delta)-1(y_i-x-\delta)]}{\int_{y_+-\delta}^{y_-+\delta}\text{ d}x} \\
&=\frac{1}{y_--y_++2\delta}\prod_{i=1}^p[1(y_i-x+\delta)-1(y_i-x-\delta)]\end{align*}$$
Ora il secondo passo. Si ha
$$\begin{align*}\hat{\sigma}_x^2 &=\int_\mathbb{R}\left(x-\frac{y_+-y_-}{2}\right)^2 \lim_{\sigma_x^2\to\infty} f_{X|Y}(x|y)\text{ d}x \\
&=\frac{1}{y_--y_++2\delta}\int_\mathbb{R}\left(x-\frac{y_+-y_-}{2}\right)^2 \prod_{i=1}^p[1(y_i-x+\delta)-1(y_i-x-\delta)]\text{ d}x\\
&=\frac{1}{y_--y_++2\delta}\int_{y_+-\delta}^{y_-+\delta}\left(x-\frac{y_+-y_-}{2}\right)^2 \text{ d}x\end{align*} $$
in conclusione, qualsiasi sia il valore dell'integrazione, si trova che il risultato è indipendente da $p$, quindi il mio sviluppo non è corretto.

[tommik]

Io farei così:

Partiamo dall'osservare che, essendo $Y_i=X+V_i$ allora

$(y_(+)-y_(-))/2=(v_(+)-v_(-))/2$

Già da qui si vede che i parametri dello stimatore saranno solo in funzione di quelli delle uniformi (e torna con il risultato da dimostrare). Ora, utilizzando le statistiche d'ordine, possiamo scrivere lo stimatore come

$(v_((p))-v_((1)))/2$

Utilizzando i risultati noti sulle distribuzioni delle statistiche d'ordine¹ possiamo anche calcolare subito la distribuzione congiunta del minimo e del massimo (che per comodità di notazione li chiamo $a$ e $b$, rispettivamente)

$f_(AB)(a,b)=(p(p-1))/(2delta)^p (b-a)^(p-2)I_((a;delta))(b)$

ora, nota la densità congiunta del minimo e massimo, si può calcolare tutta la distribuzione dello stimatore, ovvero la distribuzione di

$Z=(B-A)/2$

che, con qualche calcolo, viene

$F_Z(z)={{: ( 0 , ;z<0 ),( (z/delta)^p+(pz^(p-1)(delta-z))/delta^p , ;0<=z<delta ),( 1 , ;z>=delta ) :}$

questo non solo risponde al quesito ma anche molto di più, avendo dato la distribuzione esatta dello stimatore.

Derivando ottieni la densità. Ad esempio, con $delta=2$ e $p=5$:




ciao

---

Note

1. per ulteriori dettagli su tale risultato puoi guardare questo topic ↑

[Gost91]

Come sempre ti ringrazio per il prezioso aiuto. Purtroppo è la prima volta che sento nominare le statistiche d'ordine, conosci qualche riferimento su cui poter dare un'occhiata alla teoria? Ho un dubbio (uno dei tanti )

$f_(AB)(a,b)=(p(p-1))/(2delta)^p (b-a)^(p-2)I_((a;delta))(b)$

Cosa intendi di preciso per $I_((a;delta))$? La funzione caratteristica del'intervallo $[a-\delta, a+\delta]$?
Ad ogni modo, grazie ai tuoi suggerimenti, sono riuscito a fare qualche passo in avanti.

In accordo a quanto scritto nella nona slide di questo documento, dovrebbe valere

$$f_{AB}(a,b)=\begin{cases} p(p-1)f_A(a)f_B(b)[F_B(b)-F_A(a)]^{p-2} & \text{se } a<b \\ 0 & \text{altrove}\end{cases}$$

quindi, tenendo conto del fatto che sia $A$ che $B$ sono uniformi su $[-\delta, \delta]$, si dovrebbe avere

$$f_{AB}(a,b)=\begin{cases} \frac{p(p-1)}{(2\delta)^p}(b-a)^{p-2} & \text{se } (a,b)\in T_\delta \\ 0 & \text{altrove}\end{cases}$$

dove per comodità ho definito il supporto

$$T_\delta=\{(a,b)\in \mathbb{R}^2: a<b, |a|<\delta, |b|<\delta\}$$

quindi, detto $D(t)=\{(a,b)\in\mathbb{R}^2:Z\leq t\}={(a,b)\in\mathbb{R}^2:B\leq A+2t}$, a questo punto la CDF di $Z$ dovrebbe essere

$$\begin{align*}F_Z (t) =\mathbb{P}({Z\leq t}) &=\int_{D(t)} f_{A,B}(a,b)\text{ d}a\text {d}b \\
&=\frac{p(p-1)}{(2\delta)^p} \int_{D(t) \cap T_\delta} (b-a)^{p-2}\text{ d}a\text {d}b
\end{align*}$$

Dopodiché Il procedimento da seguire è chiaro. L'approccio è molto promettente, ora guardo di sviluppare i calcoli per vedere se mi trovo con il tuo risultato e con il risultato da dimostrare.


BTW ho provato a riguardarmi un'altra volta il mio sviluppo, non riuscendo ancora a capire dove stia il bug concettuale che porta al risultato sbagliato. Il procedimento è semplicissimo, si basa solo ed esclusivamente sul principio che

$$\text{MSE}[\hat{X}_\text{MMSE}]=\text{Var}[\hat{X}_\text{MMSE}]=\text{Var}[\mathbb{E}[X|Y]]=\int_\mathbb{R} (x-\hat{x}_\text{MMSE})^2 f_{X|Y}(x|y)\text dx$$

se l'errore non è nel principio allora deve essere nei calcoli, ma anche ricontrollando mi sembrano corretti.
Mi sapresti dare una mano a capire dove sbaglio?

ciao e grazie ancora per l'aiuto

[tommik]

purtroppo più di così non ti so aiutare, del resto ti ho dato tutta la densità dello stimatore, non mi pare ci sia altro da fare. Avendo la densità hai tutte le informazioni e non solo un valore di sintesi come richiesto dalla traccia.

Per usare un altra strada ci dovrei pensare ma sinceramente non ne ho voglia (tra l'altro sono in vacanza).

Quel link che hai postato è davvero ottimo...io ho fatto tutti i conti a mano e lì sono già tutti belli e pronti (ho già salvato la dispensa fra le mie preferite )

La funzione indicatrice che ho usato

$I_((a;delta))(b)$ indica semplicemente $b>a$, ovvero massimo > minimo come ovvio. Se non ti piace non considerarla, è solo una funzione indicatrice, si può tralasciare inserendo la condizione $b>a$

[Gost91]

Purtroppo più di così non ti so aiutare, del resto ti ho dato tutta la densità dello stimatore, non mi pare ci sia altro da fare. Avendo la densità hai tutte le informazioni e non solo un valore di sintesi come richiesto dalla traccia.

Per usare un altra strada ci dovrei pensare ma sinceramente non ne ho voglia (tra l'altro sono in vacanza).

Non c'è alcun dubbio che, andando ben oltre le richieste, hai risolto brillantemente il problema. Tenendo conto del problema che posi tempo fa, sono già due i favori che ti devo, spero in qualche modo di sdebitarmi in futuro.
Più che altro ora sto cercando di capire dove sta l'errore nel mio procedimento, perché evidentemente c'è qualcosa della teoria che mi sta sfuggendo. Per il momento sto pensando che in realtà nella formula

$$\text{MSE}[\hat{X}_\text{MMSE}]=\int_\mathbb{R} (x-\hat{x}_\text{MMSE})^2 f_{X|Y}(x|y)\text dx$$

non si debba sostituire l'espressione analitica della stima (e.g. $\hat{x}_\text{MMSE}=(y_{+}-y_-):2$ in questo caso), bensì il suo valore atteso al variare delle osservazioni, i.e.

$$\hat{x}_\text{MMSE}=\mathbb{E}[\hat{X}_\text{MMSE}(Y)]=\int_\mathbb{R} \hat{X}_\text{MMSE}(y) f_Y(y) \text{ d}y$$

comunque prima di approfondire la faccenda cerco di completare l'esercizio seguendo i tuoi consigli. Con la distribuzione dello stimatore mi trovo con il tuo risultato, ma con il risultato finale ancora non mi ci trovo...

Riporto il mio sviluppo. Per prima cosa c'è da calcolare la CDF di $Z$, quindi da calcolare il sopracitato integrale doppio.
Chiaramente $F_Z(t)=0$ per $t<0$ e $F_Z(t)=1$ per $t\geq\delta$. Nel caso rimanente si deve sviluppare l'integrale analiticamente, a tal proposito riporto la seguente immagine per chiarire la parametrizzazione del dominio di integrazione



$$\begin{align*}F_Z (t)
&=\frac{p(p-1)}{(2\delta)^p}\left[\int_{-\delta}^{-\delta+2t}\int_{-\delta}^{+b}(b-a)^{p-2}\text d{a}\text{d}b+\int_{-\delta+2t}^{+\delta}\int_{b-2t}^{+b}(b-a)^{p-2}\text d{a}\text{d}b\right] \\
&=\frac{p}{(2\delta)^p}\left[\int_{-\delta}^{-\delta+2t}(b+\delta)^{p-1}\text{d}b+\int_{-\delta+2t}^{+\delta}(2t)^{p-1}\text{d}b\right] \\
&=\frac{p}{(2\delta)^p}\left[\frac{(2t)^p}{p}+(2t)^{p-1}(2\delta-2t)\right] \\
&=\frac{1-p}{\delta^p}t^p+\frac{p}{\delta^{p-1}}t^{p-1}
\end{align*}$$

quindi la PDF di $Z$ vale

$$f_Z(t)=\begin{cases} \frac{1-p}{\delta^p}pt^{p-1}+\frac{p}{\delta^{p-1}}(p-1)t^{p-2} & \text{se } 0\leq t < \delta \\ 0 & \text{altrove}\end{cases}$$

quini per calcolare la varianza di $Z$ utilizzo la formula $\text{Var}[Z]=\mathbb{E}[Z^2]-(\mathbb{E}[Z])^2$, dove
$$\mathbb{E}[Z]=\int_{\mathbb{R}} t f_Z (t)\text{ d}t \qquad \mathbb{E}[Z^2]=\int_{\mathbb{R}} t^2 f_Z (t)\text{ d}t$$
Sviluppando i calcoli trovo

$$\begin{align*} \mathbb{E}[Z] &= \int_{0}^\delta \frac{1-p}{\delta^p}pt^{p}+\frac{p}{\delta^{p-1}}(p-1)t^{p-1} \text{ d}t \\
& = \frac{p(1-p)}{\delta^p}\frac{\delta^{p+1}}{p+1}+\frac{p(p-1)}{\delta^{p-1}}\frac{\delta^p}{p} \\
&=\frac{p-1}{p+1}\delta
\end{align*}$$

$$\begin{align*} \mathbb{E}[Z^2] &= \int_{0}^\delta \frac{1-p}{\delta^p}pt^{p+1}+\frac{p}{\delta^{p-1}}(p-1)t^{p} \text{ d}t \\
& = \frac{p(1-p)}{\delta^p}\frac{\delta^{p+2}}{p+2}+\frac{p(p-1)}{\delta^{p-1}}\frac{\delta^{p+1}}{p+1} \\
&=\frac{p(p-1)}{(p+1)(p+2)}\delta^2
\end{align*}$$

quindi concludo che

$$\begin{align*} \text{Var}[Z] &=\frac{p(p-1)}{(p+1)(p+2)}\delta^2 -\left(\frac{p-1}{p+1}\delta\right)^2 \\
&=\frac{2(p-1)}{(p+1)^2(p+2)}\delta^2
\end{align*}$$

Un saluto e buone vacanza.

[lapo95]

Ciao, riapro questa discussione per chiedere se qualcuno (in particolare a ghost91) fosse riuscito a dimostrare il problema... ne sarei infinitamente grato