Inferenza Classica e Inferenza Bayesiana

Messaggioda anonymous_b7df6f » 03/04/2020, 17:09

Buonasera,

Avrei due domande per voi...
Sto cercando di capire l'inferenza Bayesiana e di crearmi una sorta di "to-do list" per essa.
Per l'inferenza classica, ad esempio, se voglio determinare un parametro, seguirò i seguenti passi:



$text(Inferenza classica):$

1) A priori assumo il fatto che il fenomeno che sta accadendo abbia una certa distribuzione di probabilità (ad esempio bernoulliana).
Definisco
- l'insieme dei valori che la variabile aleatoria $X$ può assumere,
- l'insieme dei valori che il parametro $vartheta$ può assumere,
- la funzione di probabilità $f$;

2) definisco il campione aleatorio formato da $n$ variabili aleatorie = ${X_1, ... , X_n}$;

3) definisco le statistiche campionarie, prima fra tutte la media campionaria;




Ho due domande per voi:

$text(domanda 1) :$ Aggiungereste dei punti a questa mia "to-do list" per l'inferenza classica?

$text(domanda 2):$ Sareste in grado di fare una "to-do list" per l'inferenza bayesiana? Io proprio non ci riesco, sono stra-confusa, non riesco a capire e fare ordine.
anonymous_b7df6f
Junior Member
Junior Member
 
Messaggio: 84 di 490
Iscritto il: 30/12/2019, 22:29

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda tommik » 03/04/2020, 17:17

risposta 1: inferenza Classica parametrica....c'è anche quella non parametrica

rispost 2: ma provato a leggere un po' ciò che scriviamo sul forum?

...ed i tutorial che ho scritto con tanta fatica ed in evidenza sempre nella prima pagina del forum? (ne ho messo uno per l'inferenza classica ed uno per quella bayesiana)


Il punto principale nella statistica bayesiana è che il parametro è dotato di densità...quindi il problema termina una volta determinata la sua distribuzione finale....oppure una sintesi di essa.

to-do list

1) definire il modello statistico
2) definire una distribuzione a priori per il parametro (diciamo coniugata, alla Jeffreys o altro)
3) identificare la sua posterior (moltiplicando la prior per la verosimiglianza), dopo aver osservato i dati
4) procedere alla stima o prova delle ipotesi come indicato nei numerosi esempi dei link

se (ma solo se) sei interessato dopo cena ti posto un esercizio e te lo risolvo...per favore non farmi perdere tempo
tommik
Moderatore
Moderatore
 
Messaggio: 5356 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda anonymous_b7df6f » 03/04/2020, 17:33

tommik ha scritto:...

rispost 2: ma provato a leggere un po' ciò che scriviamo sul forum?


Ops! Questo non l'avevo proprio visto. Mi ero soffermata sul nome del post e pensavo che i punti per me importanti non venissero trattati. Controllo subito.

tommik ha scritto:...

...ed i tutorial che ho scritto con tanta fatica ed in evidenza sempre nella prima pagina del forum? (ne ho messo uno per l'inferenza classica ed uno per quella bayesiana)


Per capire ciò che vi è scritto qui dovrei prima aver studiato la Verifica delle Ipotesi secondo te?
Non ci siamo ancora arrivati con il programma. Te lo chiedo perché se è necessario studiare la la Verifica delle Ipotesi mi studio questo argomento in maniera autonoma e poi leggo il tutorial comprendendo meglio.
anonymous_b7df6f
Junior Member
Junior Member
 
Messaggio: 85 di 490
Iscritto il: 30/12/2019, 22:29

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda tommik » 03/04/2020, 20:16

facciamo così

inizia a leggere questa dispensina

E' molto basilare, avrei anche qualche cosa da ridire su come è stata scritta ma ha il grande pregio di essere davvero elementare e ti fa entrare subito nella logica bayesiana.... è una lettura che puoi fare in un'ora....

qui invece trovi un interessante esercizio sulla stima bayesiana dei parametri di una gaussiana; topic postato da un utente che ho risolto...ma non si è più fatto vivo...mah la gente è strana.

In questi anni ne ho risolti una decina postati da vari utenti, basta usare la funzione "cerca". Questo me lo ricordavo perché è piuttosto recente ed interessante.


Per la prova delle ipotesi aspettiamo di arrivarci :wink:

Ecco un esercizio appena inventato apposta per te....

La seguente tabella analizza gli individui infettati da coronavirus in un piccolo paese nelle ultime 6 settimane

Settimane da oggi0-11-22-33-44-55-6
infettati1666241


Ci proponiamo di stimare il numero medio di individui infettati la settimana e la stima che ci sia almeno un infettato la prossima settimana....il tutto in modo Bayesiano.


Vediamo come costruire la "to do list" (ovviamente la maggior parte di questi passaggi ti verranno forniti come dati del problema)

1) definire il modello statistico
Dato che man mano che ci si distanzia da oggi gli infettati sono sempre meno, possiamo formulare l'ipotesi che il modello statistico sottostante segua una legge di poisson, $X~Po(theta)$

2) definire la distribuzione a priori del parametro

La prior contiene le informazioni sul parametro che abbiamo in base alla nostra conoscenza del problema e prima di aver osservato i dati. E' un dato soggettivo, che viene stabilito dal ricercatore. Ci sono diversi metodi standard per definire una prior, utilizziamo una prior coniugata col modello, ovvero una distribuzione Gamma. Per semplificare un po' i conti supponiamo che la prior sia una esponenziale negativa di media 5 (l'esponenziale è anch'essa una gamma)

3) identificare la posterior
Questo è il passaggio che dovrai fare sempre tu....moltiplichi la prior e la verosimiglianza e cerchi di vedere se il risultato segue una legge nota...ovviamnete nella moltiplicazione puoi tralasciare tutte le quantità che non dipendono più da $theta$ perché fanno parte della costante di normalizzazione.

Quindi:

$p(theta|ul(x)) prop e^(-theta/5)theta^(Sigmax)e^(-n theta)=theta^[(1+35)-1]e^(-6.2 theta)$

vediamo subito che la posterior è una Gamma, e precisamente, una $"Gamma"(36;6.2)$

4) la stima bayesiana

Una stima puntuale bayesiana (attenzione una stima eh...non l'unica possibile) è la media a posteriori e quindi possiamo stimare il numero medio di infettati la settimana così

$mathbb{E}[theta|ul(x)]=alpha/beta=36/(6.2)=5.806$

Ora veniamo al quesito più "bayesiano", ovvero la stima che $X>=1$

Dato che il modello è poissoniano, la probabilità cercata è

$mathbb{P}[X>=1]=1-mathbb{P}[X=0]=1-e^(-theta)$

anche qui si può usare come stima la media a posteriori, quindi

$e^(-hat(theta))=int e^(-theta) (6.2)^36/(Gamma(36))theta^(35)e^(-6.2theta)d theta=$

$=(6.2)^36/(7.2)^36 underbrace( int_0^(+oo)(7.2)^36/(Gamma(36))theta^(35)e^(-7.2 theta)d theta )_(=1)=(6.2)^36/(7.2)^36 =0.0046$


Quindi la stima puntuale bayesiana richiesta è

$1-0.0046=0.9954$

ecco questo è un esercizio standard sulla stima puntuale.

Meilleures Salutations
tommik
Moderatore
Moderatore
 
Messaggio: 5357 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda anonymous_b7df6f » 03/04/2020, 22:00

tommik, che dire...sei una dispensa vivente!
grazie di cuore, adesso è tutto più chiaro.
anonymous_b7df6f
Junior Member
Junior Member
 
Messaggio: 86 di 490
Iscritto il: 30/12/2019, 22:29

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda anonymous_b7df6f » 03/04/2020, 22:32

tommik ha scritto:qui invece trovi un interessante esercizio sulla stima bayesiana dei parametri di una gaussiana; topic postato da un utente che ho risolto...ma non si è più fatto vivo...mah la gente è strana.

In questi anni ne ho risolti una decina postati da vari utenti, basta usare la funzione "cerca". Questo me lo ricordavo perché è piuttosto recente ed interessante.


Magari ha rinunciato a capire :-D

Potresti spiegarmi solo un'ultima cosa? In questo caso chi è la verosimiglianza per cui moltiplica la prior?
anonymous_b7df6f
Junior Member
Junior Member
 
Messaggio: 87 di 490
Iscritto il: 30/12/2019, 22:29

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda tommik » 03/04/2020, 22:44

anonymous_be0efb ha scritto:
Potresti spiegarmi solo un'ultima cosa? In questo caso chi è la verosimiglianza per cui moltiplica la prior?


il prodotto delle densità del modello, come sempre

$Pi_x p(x|ul(theta))$

i conti sembrano complicati ma in realtà sono piuttosto semplici...soprattutto se (come in questo caso) hai già anche le soluzioni a cui devi arrivare :wink:

però prima di arrivare a questo modello devi fare un po' di pratica...stima della media di una gaussiana con varianza nota ecc ecc

...avrai comunque un libro di testo no? le mie indicazioni sono dei suggerimenti di massima, poi devi fare riferimento al tuo programma ed al tuo libro di testo....

(del resto la domanda era di avere una "to do list" non un corso accelerato di Statistica Bayesiana)
tommik
Moderatore
Moderatore
 
Messaggio: 5358 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda anonymous_b7df6f » 03/04/2020, 22:56

tommik ha scritto:
anonymous_be0efb ha scritto:
Potresti spiegarmi solo un'ultima cosa? In questo caso chi è la verosimiglianza per cui moltiplica la prior?


il prodotto delle densità del modello, come sempre

$Pi_x p(x|ul(theta))$

i conti sembrano complicati ma in realtà sono piuttosto semplici...soprattutto se (come in questo caso) hai già anche le soluzioni a cui devi arrivare :wink:

però prima di arrivare a questo modello devi fare un po' di pratica...stima della media di una gaussiana con varianza nota ecc ecc

...avrai comunque un libro di testo no? le mie indicazioni sono dei suggerimenti di massima, poi devi fare riferimento al tuo programma ed al tuo libro di testo....


Purtroppo il mio libro di testo è utilissimo e chiarissimo, ma quando si tratta di stimatori bayesiani sembra arabo. Non so perché. Forse sono io.
Ad esempio la funzione verosomiglianza viene chiamata in un altro modo, ma questa è la cosa minore.

Comunque se come funzione prior scelgo una funzione $f(theta)$

poi potrò scrivere:

$f(theta|x) = f(x|theta)/(g(x)) f(theta)$


presumo che la verosomiglianza sia $f(x|theta)$.

E $g(x)$ chi sarebbe?
anonymous_b7df6f
Junior Member
Junior Member
 
Messaggio: 88 di 490
Iscritto il: 30/12/2019, 22:29

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda tommik » 03/04/2020, 23:00

$g(x)$ non dipende più dal parametro....quindi diventa parte della costante di normalizzazione.

Però mi sa che la dispensina che ti ho fornito non l'hai letta bene....proviamo a fare un piccolo riassunto

Qui ho fatto semplicemente copia-incolla dell'introduzione al mio tutorial sulla prova di ipotesi in senso bayesiano (quello che trovi in alto nella pagina, sempre in evidenza con la lampadina)

La tua $g(x)$ è quell'integrale al denominatore del teorema di bayes:

I tipici problemi che si presentano in Statistica sono quelli della stima e di prova delle ipotesi. Secondo un autorevole professore di fama internazionale (e mio relatore di laurea): "la distribuzione finale esaurisce il problema dell'inferenza statistica in termini bayesiani".

La distribuzione finale (a posteriori, o Posterior) si calcola utilizzando il teorema di Bayes:

$pi(theta|ul(x))=(pi(theta)p(ul(x)|theta))/(int_(Theta)pi(theta)p(ul(x)|theta) d theta)$


dato che il denominatore è integrato è un numero e quindi, più semplicemente, definiamo

$pi(theta|ul(x)) proppi(theta)p(ul(x)|theta)$


dove $pi(theta)$ è la distribuzione iniziale (Prior) mentre $p(ul(x)|theta)$ è la verosimiglianza ottenuta dall'osservazione dei dati sperimentali, dato il parametro.

Tuttavia esistono situazioni in cui è utile ricercare una conveniente sintesi della distribuzione finale. La ricerca di questa sintesi avviene spesso mediante il ricorso alla Teoria delle Decisioni.




anonymous_be0efb ha scritto:Ad esempio la funzione verosomiglianza viene chiamata in un altro modo, ma questa è la cosa minore.


....e come la chiama?

^^^^^^^^^^^^^^^^^
Consigli pratici


$pi(theta|ul(x))=(pi(theta)p(ul(x)|theta))/(int_(Theta)pi(theta)p(ul(x)|theta) d theta)$


dove la tua $g(x)$ è questo integrale:

$int_(Theta)pi(theta)p(ul(x)|theta) d theta=g(x)$

tale integrale può essere complicato da calcolare ma tu non te ne devi curare.

1) moltiplichi la prior per la verosimiglianza (likelihood, in inglese)

2) "guardi" il prodotto e devi cercare di capire che distribuzione hai di fronte....avrai il nucleo di una distribuzione, una volta identificata che distribuzione è ci moltiplichi l'opportuna costante moltiplicativa.

Ci vuole un po' di pratica.

riprendiamo l'esempio del lancio della moneta della dispensina.

Lanciamo la moneta 6 volte ottenendo 4 teste. Non abbiamo alcuna informazione a priori sul parametro e quindi diciamo che la prior è uniforme in $(0;1)$ ovvero $pi(theta)=1$

a questo punto la posterior coincide1 con la verosimiglianza (verosimiglianza osservata), ovvero

$pi(theta|ul(x)) prop theta^4(1-theta)^2$

che distribuzione è? Ovviamente è una beta...

$"Beta"(a,b)=(Gamma(a+b))/(Gamma(a)Gamma(b))theta^(a-1)(1-theta)^(b-1)$

^^^^^^^^^^^^^^^^^
Infine qui altri esempi già risolti sul forum

1

2

3

4

ora hai parecchio materiale su cui lavorare...

si vede subito, guardando la verosimiglianza che la posterior è dunque una $"Beta"(5;3)$

Note

  1. coincide è un brutto termine, meglio sarebbe "è induttivamente equivalente"
tommik
Moderatore
Moderatore
 
Messaggio: 5359 di 11278
Iscritto il: 23/04/2015, 13:13
Località: Cassano Magnago

Re: Inferenza Classica e Inferenza Bayesiana

Messaggioda anonymous_b7df6f » 04/04/2020, 16:14

Più studio, più mi rendo conto di quanto c'avevo capito poco....
C'è tanto lavoro da fare!!!
Grazie ancora tommik
anonymous_b7df6f
Junior Member
Junior Member
 
Messaggio: 89 di 490
Iscritto il: 30/12/2019, 22:29


Torna a Statistica e probabilità

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite