Coerenza, probabilità oggettiva o soggettiva

Messaggioda tommik » 17/04/2019, 09:37

Dopo alcuni scambi in privato con un collega moderatore, ho riflettuto un po' su questa questione (ripresa anche da alcuni testi ma, in genere, trattata in modo superficiale o comunque non ben spiegata)

Supponiamo di avere il seguente problema:

abbiamo un'urna contenente un certo numero di palline Bianche e Nere indistinguibili al tatto. Vogliamo stimare la % di palline Bianche.


Per raggiungere il nostro scopo il ricercatore sta pensando come strutturare l'esperimento e gli vengono subito due idee:

$epsilon_1$ - Campionamento diretto: si estraggono $n$ palline con reimmissione dall'urna e si contano ($k$) quante palline bianche abbiamo estratto

$epsilon_2$ - Campionamento inverso: si estraggono con reimmissione un numero di palline $n$ variabile finché non ne osserviamo $k$ bianche, con $k$ fissato.

Con l'esperimento $epsilon_1$ possiamo utilizzare la seguente distribuzione (una bernulliana)

$p(x|theta)=theta^x(1-theta)^(1-x)mathbb{1}_({0;1})(x)$


dove $0<theta<1$ rappresenta la percentuale ignota di palline bianche.

Per costruire lo stimatore ottimale in senso "oggettivo", secondo la teoria classica e senza "farci suggestionare dalle nostre informazioni personali" utilizziamo il teorema di Rao-Blackwell insieme al lemma di Lehmann-Scheffé e calcoliamo come stimatore ottimale la seguente quantità

$hat(theta)=mathbb{E}[T|S]$


dove $T$ è uno stimatore non distorto di $theta$ mentre $S$ è lo stimatore sufficiente e completo del modello. Per ragioni arcinote, $S=Sigma_i X_i$

Come stimatore non distorto scelgo il più semplice, ovvero $T=X_1$ (la prima pallina estratta, dove indico 1 se è bianca oppure zero se è nera) e quindi

$mathbb{E}[T|S]=(mathbb{P}[X_1=1]mathbb{P}[Sigma_iX_i=k|X_1=1])/(mathbb{P}[Sigma_iX_i=k])=(thetamathbb{P}[sum_(i=2)^(n)X_i=k-1])/(((n),(k))theta^k(1-theta)^(n-k))=$

$=(((n-1),(k-1))theta^k(1-theta)^(n-k))/(((n),(k))theta^k(1-theta)^(n-k))=k/n$

...e quindi concludiamo che il miglior stimatore per sapere quante palline bianche abbiamo nell'urna è contare quante ne escono sulle $n$ estratte e farne la percentuale (risposta anche molto intuitiva ma supportata dalla teoria)

Ora vediamo cosa accade con l'esperimento numero 2

A questo punto, il modello che possiamo utilizzare è il seguente (geometrico)

$p(x|theta)=(1-theta)^(x-1)thetamathbb{1}_({1;2;3;...})(x)$


Anche qui lo stimatore sufficiente e completo è sempre la solita statistica canonica di classe esponenziale: $S=Sigma_iX_i$ mentre lo stimatore non distorto più semplice che possiamo trovare è questo $T=mathbb{1}_({1})(X_1)$

e quindi calcoliamo lo stimatore ottimo (nello stesso senso dello stimatore precedente)

$mathbb{E}[T|S]=(theta((n-2),(k-2))theta^(k-1)(1-theta)^(n-k))/(((n-1),(k-1))theta^k(1-theta)^(n-k))=(k-1)/(n-1)$

che però è sensibilmente diverso dal primo stimatore ottenuto.

Ora supponiamo che nel primo esperimento su 10 estrazioni abbiamo osservato 4 palline bianche e nell'esperimento 2 siano state necessarie altrettante 10 estrazioni prima di trovare 4 palline bianche. Il risultato sperimentale sarebbe identico ma le stime ottenute sensibilmente diverse:

$hat(theta)_(epsilon_1)=4/10$

$hat(theta)_(epsilon_2)=3/9$

In conclusione, possiamo dire che "l'oggettività" evocata dalla Statistica classica non esiste. Infatti con lo stesso risultato sperimentale abbiamo ottenuto due diverse stime di $theta$ basandoci sempre su stimatori ottimali. Tale circostanza è dovuta al fatto che la ricerca di stimatori ottimali è basata sul modo con cui viene organizzato lo spazio campionario (cioè l'insieme dei possibili risultati dell'esperimento) e questo dipende ovviamente dal ricercatore.
Vale la pena anche di osservare che la maggior parte delle tecniche della Statistica Classica no rispettano il principio di verosimiglianza secondo il quale due esperimenti $(epsilon_1,z_1)$ e $(epsilon_2,z_2)$ danno lo stesso contributo informativo se le corrispondenti funzioni di verosimglianza sono induttivamente equivalenti (ossia le funzioni di verosimiglianza differiscono al più per una costante moltiplicativa o per una costante additiva nel caso di funzioni di log-verosimiglianza).

Quello che fa la statistica bayesiana è proprio superare questa oggettività dell'inferenza ragionando in termini di "coerenza", ovvero dando "soggettivamente" una valutazione di probabilità ad un determinato evento purché tale valutazione rispetti un principio fondamentale:

Una valutazione di probabilità sugli eventi $E_1,E_2,...,E_n$ è coerente se nessuna combinazione di scommesse consente di realizzare un guadagno non negativo in ognuno dei casi possibili, cioè in corrispondenza di ognuno dei valori logici fissati di $E_1,E_2,...,E_n$ , e positivo in almeno uno di essi


In altri termini, non deve essere possibile, scegliendo una opportuna combinazione degli importi $S_1,S_2,...,S_n$, assicurarsi un guadagno comunque gli eventi si svolgano.
tommik
Moderatore
Moderatore
 
Messaggio: 4731 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago

Re: Coerenza, probabilità oggettiva o soggettiva

Messaggioda markowitz » 18/04/2019, 11:51

Qualche tempo fa avevo cercato di approfondire la questione: probabilità soggettiva vs probabilità oggettiva, e sono finito in un campo minato.
E' una questione che ha radici lontane e che coinvolge anche il problema dell'inferenza statistica: classica vs bayesiana.

Il problema che segnali è collegabile alla rappresentazione del tipo bayesiano:

$p(theta|x) prop p(x|theta) p(theta)$

dove $p(theta|x)$ è la posterior distribution, $p(x|theta)$ la likelhood function e $p(theta)$ la prior distribution.
Le opinioni soggettive dovrebbero essere contenute solo in $p(theta)$ ma in realtà anche $p(x|theta)=L(theta|x)$ è sotto la responsabilità del ricercatore. Quello che scrivi sopra palesa questa circostanza, si tratta proprio di due funzioni di verosimiglianza diverse. La diversità tra le due non può che portare a conclusioni non identiche anche limitandosi all'inferenza classica/oggettiva, che è basata solo su $L(theta|x)$.
Se non esiste un modo oggettivo di scegliere $L(theta|x)$ (e/o un modo oggettivo di condurre l'esperimento), l'oggettività della probabilità, almeno in inferenza, non può essere sostenuta o almeno non in senso stretto. Il primo a scrivere di questo penso sia stato de Finetti.

Nota però che un'argomento forte a favore dell'approccio classico all'inferenza è offerto da un argomento di convergenza asintotica tra le inferenze, che è valida sotto condizioni molto generali.
Il tipo di convergenza di cui parlo mira rendere ininfluenti le prior ma ha lo stesso effetto sulle likelhood.

Nell'esempio sopra la convergenza di cui parlo si intravede facilmente. Se nell'$epsilon_1$ si fa tendere $n$ ad infinito e nell'$epsilon_2$ si fatendere $k$ ad infinito ... le differenze che hai evidenziato svaniscono.
markowitz
Senior Member
Senior Member
 
Messaggio: 616 di 1034
Iscritto il: 14/02/2010, 21:50

Re: Coerenza, probabilità oggettiva o soggettiva

Messaggioda tommik » 18/04/2019, 12:53

Io sono di formazione Bayesiana e lo scopo principale di questo topic (in risposta ad alcuni PM con un utente del forum) era mettere in evidenza proprio la possibilità di un ragionamento induttivo coerente utilizzando il teorema di Bayes.

Questo in quanto, come mostrato nell'esempio precedente, molto spesso il pilastro dell' oggettività della Statistica Classica si dimostra una oggettività solo apparente.

Ragionando in termini bayesiani, invece, in entrambi gli esperimenti, a parità di evidenza sperimentale (4 successi su 10 prove nel primo e 10 prove per avere 4 successi nel secondo), si ottiene sempre la stessa posterior

$p(theta|ul(x)) prop p(theta)theta^4(1-theta)^6$


volendo utilizzare una prior coniugata al modello, in entrambi i casi otteniamo la stessa posterior Beta.

In altri termini, i due esperimenti sono induttivamente equivalenti in senso Bayesiano e ciò accade sempre e non solo in termini asintotici, come hai osservato nel caso Classico
tommik
Moderatore
Moderatore
 
Messaggio: 4735 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago


Torna a Statistica e probabilità

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite