Entropia di Shannon

[dacc]

Buongiorno a tutti, sono nuovo del forum quindi colgo l'occasione per salutarvi.

Mi sono iscritto al forum principalmente perché a settembre ho un esame di statistica e sono un po' in difficoltà dato che oltre a non essere un genio, il libro assegnatoci dal professore è incomprensibile per chi si approccia per la prima volta alla materia.

Sto studiando in questo momento gli indici di mutabilità delle variabili qualitative e mi sono imbattuto nell'entropia di Shannon. Ho provato più volte a leggere il libro e fare ricerche online (anche su questo forum) ma non ho trovato niente che mi potesse aiutare.

Il massimo che sono riuscito a capire è la formula per calcolarla che non riesco ancora a scrivere qua (devo leggere la guida per scrivere le formule, scusate).

Vi chiederei di spiegarmela nel modo più semplice possibile e soprattutto non riesco a capire da dove tira fuori il logaritmo.

Grazie mille!

Testo di riferimento: "Statistica", terza edizione, R. Guseo,CEDAM

[onlyReferee]

Ciao dacc e benvenuto (dato che è il tuo primo messaggio)
Io da informatico l'entropia l'ho studiata quest'anno (limitatamente al caso discreto nel corso di teoria dell'informazione) come misura del contenuto di informativo di un fenomeno (ossia quanto è alto l'"effetto sorpresa" che si ha al manifestarsi dello stesso).
In fisica si può approssimativamente parlare di entropia come misura di disordine di un sistema...
Esistono pertanto, come puoi intuire, varie definizioni di entropia in base all'ambito di applicazione. Al massimo se vuoi posso fornirti una dispensa dove è spiegata bene l'entropia di Shannon e viene descritto in maniera abbastanza semplice e chiara come viene ricavata ed i criteri che stanno alla base della scelta di tale funzione.
Fammi sapere in caso.

[dacc]

Grazie mille per la risposta! Comunque se non è un problema sarei contento di dare un'occhiata alla dispensa, specialmete se è spiegata in maniera semplice.