Miglior comportamento nei test a crocette

[ReggaetonDj]

Ciao ho un dubbio da proporvi. Stavo studiando le dinamiche degli starusati test a crocette.

Il problema è questo. Abbiamo di fronte a noi $n$ domande a crocette, ognuna delle quali propone $r$possibili risposte, ma una sola è quella corretta. Non so assolutamente di cosa parlino (o quasi), l’unica è tirare ad indovinare, per cui avremo:
$P(\text{risposta corretta})= 1/r$
$P(\text{risposta sbagliata})= 1- 1/r $

N.B.: ho parlato di un test formato da $n$ domande da sparare a caso. Con $n$ ci si può riferire indifferentemente a tutte le domande che ci sono in un test o, se siamo stati abbastanza bravi da rispondere già a qualche quesito del compito, solamente ai quesiti residui.

Il problema che mi pongo è: come massimizzare la probabilità di eguagliare (o superare) una soglia di punteggio, tipicamente la sufficienza.

Tipicamente i punteggi delle risposte che daremo seguono uno schema del genere:

• risposta corretta -> 1 punto (si potrebbe anche generalizzare, ma è irrilevante)
• Risposta non data -> 0
• Risposta sbagliata -> $\pi_s$

Il minore o uguale indica che ad ogni risposta sbagliata può essere associato o un punteggio nullo (nei casi migliori), o un punteggio negativo che contribuirà ad abbassare il voto. La somma algebrica dei punteggi di ogni domanda determina il voto finale.

La relazione che lega i punteggi è: $\pi_s \leq 0<1$ e, se il test è ben costruito, è fatto in maniera tale che il valore atteso del punteggio di ogni domanda sia $0$, questo per cercare di bilanciare l'effetto tirare ad indovinare.

Il problema è questo, se io ho $n$ domande a cui non so rispondere dalle quali devo ricavare almeno $\sigma$ punti quante delle $n$ domande mi converrebbe sparare a caso?
Il nostro test a crocette è una serie di prove indipendenti che possono avere solo due esiti: successo (con $p=1/r$) fallimento. Si tratta quindi di un processo di Bernoulli.

Ho fatto qualche simulazione (facendo anche variare il peso della penalità si risposta sbagliata). Ho notato che spesso si devono tirare a caso tutte o quasi le $n$ domande per massimizzare la probabilità di raggiungere i $\sigma$ punti. Non ho trovato tuttavia una generalizzazione di tale formula che definisse una "best practice" in forma chiusa.

Secondo voi c'è modo di generalizzare un risultato?

Ciao

[kobeilprofeta]

Consideriamo:
-risposta esatta +1 (probabilità=$1/r$)
-risposta non data 0
-risposta esatta -x (p=$1-1/r$)
-il numero $m$ rappresenta il minimo punteggio da raggiungere
-su $n$ domande si deve avere $n>m$.
-$y$ il punteggio totale e $E(y)$ il suo valore atteso.
-$k$ il numero di domande a cui voglio rispondere
Ora ci sono sostanzialmente tre casi: valore atteso per domanda ($E(y_i)$)minore, uguale o maggiore di zero.
Se $E(y_i)>0$ allora io risponderei a tutte le $n$ domande. $k=n$
Se $E(y_i)<0$ risponderei esattamente a $m$ domande (sperando di indovinarle tutte ). $k=m$.
Se invece $E(y_i)=E(y)=0$ rispondo minimo a $m$ domande (perchè chiaramente devo fare almeno $m$ punti) ma nulla mi vieta di rispondere anche a qualcuna in più. Quindi $m<=k<=n$.

[ReggaetonDj]

Ciao! Il mio problema è proprio determinare univocamente $k$

Sto cercando qual è il numero di risposte ottimale a cui rispondere per massimizzare la probabilità di raggiungere il voto desiderato.

io avevo iniziato così:

Il punteggio finale del nostro quiz sarà calcolato dal numero di risposte giuste $c$ per il relativo punteggio sommato algebricamente con le penalità legate al numero di risposte sbagliate $s$.

Per cui $Y = c + s\pi_s $ (quello che io chiamo $\pi_s$ è quello che tu chiamavi $-x$)

Per passare il test si deve ottenere un voto maggiore o uguale ad una soglia $\sigma$ (che per ipotesi sarà $0,6n$, il classico "sei") ponendo $Y \geq \sigma$ si ottiene:

$c^\star \geq \lceil (σ-n\pi_s)/(1-\pi_s )\rceil$

che rappresenta il minimo numero di risposte corrette da azzeccare per passare il test (approssimato all’intero successivo).

Come ti dicevo, il nostro test a crocette è una serie di prove indipendenti che possono avere solo due esiti: successo $(p=1/r)$ o fallimento. Si tratta quindi di un processo di Bernoulli. La v.c. $C$ indica il numero di risposte corrette.

Per sapere con che probabilità posso passare il test basta calcolare:
$P(C \geq c^\star) =1-P(C \leq c^\star-1)=1-F_C (c^\star-1;n,p)$
Dove $F_C (c^\star-1;n,p)$ è la funzione di distribuzione cumulative binomiale con $c^\star \geq 1$.

Più è pesante la penalità per le risposte sbagliate $\pi_s$, maggiore sarà il numero di risposte corrette $c^\star$, necessarie a raggiungere l’agognata sufficienza $\sigma$ e minore sarà la probabilità di riuscirci.

Ho fatto alcune simulazioni al computer ed ho visto che, in alcuni casi, la probabilità di raggiungere il voto desiderato viene massimizzata rispondendo alla maggior parte delle domande...ma non a tutte! (se non ho sbagliato i conti) si tratta di piccole differenze di probabilità, ma sembra una cosa interessante.

Stavo cercando di calcolare $k$ in forma chiusa, ma non mi sembra una questione banale :/

[kobeilprofeta]

Non capisco cosa ti serve che non ti ho scritto. Se tu sai
- quante possibili risposte ci sono per domanda ($r$)
- quanti punti guadagni se indovini ($p$)
- quanti punti perdi se sbagli ($x$)
puoi calcolare $E(y_i)$ come $p/r-x*(1-1/r)$ e usare il metodo che ho scritto sopra.

[kobeilprofeta]

Se credi di non aver capito scrivi qua un esempio di test scrivenso tutti i dati (quante domande non sai, quanti punti devi fare, quante possibili risposte, etc...).

[ReggaetonDj]

Ciao! Innanzitutto grazie ancora per il supporto : ) provo a riproporti la questione perché credo di essermi spiegato veramente male.
Come ti dicevo il mio problema è proprio quello di determinare $k$, il numero di domande che devo sparare a caso, calcolandolo in forma chiusa senza dover calcolare tutti i casi. Facciamo un esempio.
Supponiamo di avere $n = 20$ domande da $r =4$ alternative l’una. La penalità è $x = 1/3$, la probabilità di azzeccare è $p=1/4$ e voglio ottenere un punteggio finale maggiore o uguale a $\sigma = 10$.
Per ogni domanda possiamo decidere se rispondere o lasciare in bianco. Rappresentiamo con $b$ il numero di risposte che decido di lasciare in bianco, alla fine del test otterrò $c$ risposte corrette ed $s$ risposte sbagliate ($c + s = k$ e $n = c + s + b$)
Come mi facevi notare tu, $k$ dovrà essere compreso tra $10$ e $20$. A seconda del valore di $k$, posso calcolare $c^\star \leq k$ che rappresenta il numero minimo di risposte corrette che mi serve per ottenere le sufficienza. Se non sbaglio dovrebbe valere:
$c^\star = \lceil (\sigma –bx +nx )/(1+x )\rceil$
Ora proviamo a calcolare tutti i possibili scenari, facendo variare $k$ e calcolando qual è la probabilità di ottenere un numero di successi maggiore o uguale a quello che ci farebbe ottenere la sufficienza. Ecco i dati:

• $b$ ciao

Codice:

b    k     c*   s   1-F(c*−1;k,p)

10   10   10   0   9,54E-07
 9   11   11   0   2,38E-07
 8   12   11   1   2,21E-06
 7   13   11   2   1,11E-05
 6   14   11   3   3,98E-05
 5   15   12   3   1,24E-05
 4   16   12   4   3,81E-05
 3   17   12   5   9,99E-05
 2   18   12   6   2,31E-04   < Caso ottimale, k = 18
 1   19   13   6   8,35E-05
 0   20   13   7   1,84E-04


Se non ho sbagliato i conti, si scopre che il caso che massimizza le probabilità di raggiungere la sufficienze ($10$ punti) è quello con $k=18$. La cosa più conveniente, in questo caso, sarebbe lasciare in bianco $2$ risposte e sparare le altre.

Ma come avrei potuto ricavare il valore di $k$ ottimale a priori, in forma chiusa?

[ReggaetonDj]

Boh, più ci penso e meno ne vengo a capo :/