Matrice di covarianza

[carlo96]

Buon giorno Dato un vettore di variabili aleatorie, come si dimostra che la matrice di covarianza è definita positiva? In oltre è definita positiva o potrebbe anche essere semidefinita positiva?
Grazie a chiunque risponda

[ghira]

https://stats.stackexchange.com/questio ... e-definite

[carlo96]

Ti ringrazio per il link, ma non ho capito, cioè forse credo che dicono che sia semidefinita, ma non ne capisco comq il motivo

[sellacollesella]

Per quanto semplici sono dimostrazioni che richiedono una discreta conoscenza di Algebra Lineare.
Provo a riproporle qui aggiungendo / togliendo qualche pezzo, ma grosso modo non cambia nulla.

Per un campione di vettori reali \(\mathbf{x}_i = \begin{bmatrix} x_{i1} & x_{i2} & \dots & x_{im} \end{bmatrix}^\top\) con \(i = 1,\,2,\,\dots,\,n\) si definiscono:

• il vettore reale \(m \times 1\) media campionaria: \[
  \bar{\mathbf{x}} := \frac{1}{n}\sum_{i=1}^n \mathbf{x}_i\,;
  \]
• la matrice reale \(m \times m\) covarianza campionaria: \[
  Q := \frac{1}{n-1}\sum_{i=1}^n \left(\mathbf{x}_i-\bar{\mathbf{x}}\right)\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top.
  \]

Dato che: \[
Q^\top = \frac{1}{n-1}\sum_{i=1}^n \left(\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top\right)^\top = \frac{1}{n-1}\sum_{i=1}^n \left(\mathbf{x}_i-\bar{\mathbf{x}}\right)\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top = Q
\] si evince che \(Q\) è una matrice simmetrica.


Dato che: \[
\mathbf{y}^\top Q \,\mathbf{y}
= \frac{1}{n-1}\sum_{i=1}^n \mathbf{y}^\top\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top\,\mathbf{y}
= \frac{1}{n-1}\sum_{i=1}^n \left(\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top\,\mathbf{y}\right)^2 \ge 0 \quad \quad \forall \, \mathbf{y} \in \mathbb{R}^m
\] si evince che \(Q\) è una matrice semidefinita positiva.


In particolare, si ha: \[
\mathbf{y}^\top Q \,\mathbf{y} = 0
\quad \quad \forall \, \mathbf{y} \in \mathbb{R}^m
\quad \quad \Leftrightarrow \quad \quad
\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top\,\mathbf{y} = 0
\quad \quad \forall \, i \in [1,n].
\] Quindi, supponendo che \(\{\mathbf{x}_1-\bar{\mathbf{x}},\,\dots,\,\mathbf{x}_n-\bar{\mathbf{x}}\}\) sia un sistema di generatori di \(\mathbb{R}^m\), si ha: \[
\mathbf{y} = \sum_{i=1}^n \alpha_i\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)
\quad \quad \text{con} \; \alpha_1,\,\dots,\,\alpha_n \in \mathbb{R}
\] ma notando che: \[
\mathbf{y}^\top\mathbf{y} = \sum_{i=1}^n \alpha_i\left(\mathbf{x}_i-\bar{\mathbf{x}}\right)^\top\mathbf{y} = 0
\quad \quad \Leftrightarrow \quad \quad
\mathbf{y} = \mathbf{0}
\] questo è un assurdo e pertanto: \[
\begin{aligned}
& \mathbf{y}^\top Q \,\mathbf{y} = 0
\quad \quad \forall \, \mathbf{y} \in \mathbb{R}^m
\quad \quad \Leftrightarrow \quad \quad
\text{rank}\begin{bmatrix}\mathbf{x}_1-\bar{\mathbf{x}} & \dots & \mathbf{x}_n-\bar{\mathbf{x}}\end{bmatrix} < m; \\
& \mathbf{y}^\top Q \,\mathbf{y} > 0
\quad \quad \forall \, \mathbf{y} \in \mathbb{R}^m
\quad \quad \Leftrightarrow \quad \quad
\text{rank}\begin{bmatrix}\mathbf{x}_1-\bar{\mathbf{x}} & \dots & \mathbf{x}_n-\bar{\mathbf{x}}\end{bmatrix} = m.
\end{aligned}
\]

[carlo96]

Ciao ti ringrazio per la risposta
Non c'è un modo più semplice per dimostrarlo considerando la covarianza tra 2 variabili aleatorie e non la media e la covarianza campionaria? Perché
questa dimostrazione mi sembra molto complessa se fatta con le statistiche campionarie.
In ogni caso se è semidefinita positiva vuol dire che esiste almeno un
vettore diverso dal vettore nullo tale che moltiplicato a sinistra e a destra per la matrice di covarianza ottengo uno scalare uguale a zero?

[sellacollesella]

Ti ringrazio per la risposta.

Prego!

Dimostrarlo considerando la covarianza tra due variabili aleatorie?

Comunque si ponga il problema tornerei a riproporti i passaggi algebrici di cui sopra.
Aspetta qualche esperto, che magari tira fuori dal cilindro qualcosa di più semplice.

Se è semidefinita positiva vuol dire ... ?

Se \(Q\) è una matrice \(m \times m\) reale e simmetrica, allora valgono le seguenti definizioni:

• \(Q\) è definita positiva se e solo se \(\mathbf{v}^\top Q\,\mathbf{v} > 0\) per ogni scelta di \(\mathbf{v} \in \mathbb{R}^m\backslash\{\mathbf{0}\}\);
  
  
• \(Q\) è definita negativa se e solo se \(\mathbf{v}^\top Q\,\mathbf{v} < 0\) per ogni scelta di \(\mathbf{v} \in \mathbb{R}^m\backslash\{\mathbf{0}\}\);
  
  
• \(Q\) è semidefinita positiva se e solo se \(\mathbf{v}^\top Q\,\mathbf{v} \ge 0\) per ogni scelta di \(\mathbf{v} \in \mathbb{R}^m\);
  
  
• \(Q\) è semidefinita negativa se e solo se \(\mathbf{v}^\top Q\,\mathbf{v} \le 0\) per ogni scelta di \(\mathbf{v} \in \mathbb{R}^m\).

Se \(Q\) è né semidefinita positiva, né semidefinita negativa si dice che \(Q\) è indefinita.

Alcuni semplici esempi:

• matrice definita positiva: \[
  \begin{bmatrix}
  v_1 & v_2
  \end{bmatrix}
  \begin{bmatrix}
  1 & 0 \\
  0 & 1 \\
  \end{bmatrix}
  \begin{bmatrix}
  v_1 \\
  v_2 \\
  \end{bmatrix} = v_1^2+v_2^2 > 0
  \quad \quad \forall\,v_1,v_2 \in \mathbb{R}\backslash\{0\};
  \]
• matrice semidefinita positiva: \[
  \begin{bmatrix}
  v_1 & v_2
  \end{bmatrix}
  \begin{bmatrix}
  1 & 0 \\
  0 & 0 \\
  \end{bmatrix}
  \begin{bmatrix}
  v_1 \\
  v_2 \\
  \end{bmatrix} = v_1^2 \ge 0
  \quad \quad \forall\,v_1,v_2 \in \mathbb{R};
  \]
• matrice indefinita: \[
  \begin{bmatrix}
  v_1 & v_2
  \end{bmatrix}
  \begin{bmatrix}
  1 & 0 \\
  0 & -1 \\
  \end{bmatrix}
  \begin{bmatrix}
  v_1 \\
  v_2 \\
  \end{bmatrix} = v_1^2-v_2^2 \ge \; \text{or} \; \le 0.
  \]

[carlo96]

Grazie mille
La dimostrazione che ho trovato al link https://www.matematicamente.it/forum/ma ... 79391.html

sembra più facile, ma purtroppo non capisco proprio l ultimo passaggio, cioè dall ultimo passaggio a me sembra che sia definita positiva poiché lo scalare è nullo solo se il vettore v che è moltiplicato a sinistra e a destra è nullo

[sellacollesella]

sembra più facile

Hanno solo nascosto sotto il tappeto alcuni dettagli, altrimenti non vedo alcuna differenza algebrica.

non capisco proprio l'ultimo passaggio

Dal momento che hanno dimostrato l'uguaglianza: \[
u\Sigma u^T = E\left[\left(u\left(X-\mu\right)\right)^2\right]
\] allora: \[
\left(u\left(X-\mu\right)\right)^2 \ge 0
\quad \quad \Rightarrow \quad \quad
u\Sigma u^T \ge 0\,.
\] Volendo riciclare un esempio di cui sopra: \[
\begin{bmatrix} 0 & 1 \end{bmatrix}
\begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}
\begin{bmatrix} 0 \\ 1 \end{bmatrix} = 0
\] dove abbiamo ottenuto \(0\) con un vettore non nullo, cosa che non può accadere se definita positiva.

[carlo96]

Ti ringrazio
Quello che non capisco è
quali sono le condizioni per avere lo scalare nullo con un vettore $ u $ diverso dal vettore nullo, perché a me sembra che lo scalare è nullo solo se $ u $ è nullo.
Se invece la variabile $ X $ assume valore pari alla sua media allora $ X $ non è una variabile aleatoria . È questo il motivo principale per il quale secondo me la matrice di covarianza deve essere definita positiva. L esempio della matrice che hai fatto non può essere una matrice di covarianza perché non può esistere una variabile aleatoria con varianza nulla perché altrimenti non sarebbe una variabile aleatoria

[sellacollesella]

quali sono le condizioni per avere lo scalare nullo con un vettore $ u $ diverso dal vettore nullo

Sono quelle scritte alla fine della dimostrazione di cui sopra.

L esempio della matrice che hai fatto non può essere una matrice di covarianza

Qualsiasi matrice reale semidefinita positiva è di convarianza, come qui dimostrato.

secondo me la matrice di covarianza deve essere definita positiva

No, come qui e qui ribadito da più docenti.

non può esistere una variabile aleatoria con varianza nulla

No, come qui discusso tra altri docenti.

Che poi si tratti di casi singolari e quindi non piacciano ci sta, ma non si possono escludere.