Come (nasce)...Come si massimizza l'indice di entropia?

Messaggioda esteta_edonista » 18/06/2008, 18:25

Ciao a tutti...Vorrei sapere come nasce l'indice di entropia Hx utilizzato per l'Analisi di variabili categoriali...MA SOPRATTUTTO mi piacerebbe tanto sapere i passaggi per la massimizzazione vincolata di tale indice s.a. della sommatoria di tutte le frequenze relative.

(Scusate se ve lo chiedo ma sono fatto così...Se non conosco la dimostrazione delle formule, esse non mi entrano nel cervello...Non so il perché.)



Ps:


quando cerco di massimizzare la funzione mi viene 1 perché "fj" è costante moltiplicativa, mentre ln(fj) derivato va ad "1/fj"...

Tuttavia ciò mi pare assurdo perchè il libro dice che il massimo esiste ed è fj=1/K

Aspetto con molta ansia eventuali chiarimenti...A presto :!:
Ultima modifica di esteta_edonista il 19/06/2008, 11:20, modificato 1 volta in totale.
esteta_edonista
Junior Member
Junior Member
 
Messaggio: 23 di 309
Iscritto il: 22/11/2007, 23:41
Località: Arezzo

Messaggioda Steven » 18/06/2008, 20:01

Ciao,
ti chiedo di modificare il titolo, seguendo quanto dice il nostro regolamento

3.4 Soprattutto sono da evitare titoli e testo in grassetto o in maiuscolo

Grazie per la comprensione.
Steven
Cannot live without
Cannot live without
 
Messaggio: 2246 di 5708
Iscritto il: 12/11/2006, 14:47

Messaggioda esteta_edonista » 19/06/2008, 11:19

ok scusami...
"Mi hanno chiamato folle, ma non mi è ancora chiaro se la follia sia o meno il grado più elevato dell'intelletto(E.A.P)"
esteta_edonista
Junior Member
Junior Member
 
Messaggio: 24 di 309
Iscritto il: 22/11/2007, 23:41
Località: Arezzo

Messaggioda luca.barletta » 19/06/2008, 11:30

di solito si usano i moltiplicatori di Lagrange
Frivolous Theorem of Arithmetic:
Almost all natural numbers are very, very, very large.
Avatar utente
luca.barletta
Moderatore globale
Moderatore globale
 
Messaggio: 3447 di 4341
Iscritto il: 21/10/2002, 20:09

Messaggioda esteta_edonista » 19/06/2008, 15:37

Emm ecco la funzione indice di entropia è la seguente ed è ad una sola variabile e serve per misurare il livello di etereogenità di una distribuzione di frequenza relativa a variabili categoriali, e risulta ovvio che il protocollo più omogeneo si ottiene quando tutte le osservazioni assumono la stessa categoria mentre quello più eterogeneo si ottiene quando esistono k categorie con la stessa frequenza 1/k(parole riprese dalle dispense). Ecco dunque l'indice di entropia:

Hx=-$\sum_{j=1}^kfjlnfj

...TUttavia la funzione è vincolata dalla sommatoria delle frequenze. In simboli il problema diviene:



Diviene un problema di massimo vincolato

max (-$\sum_{j=1}^kfjlnfj)
f1,f2,...,fk



s.a $\sum_{j=1}^kfj=1




...Ho provato a rifarla...E ho superato pure gli errori di distrazione...Arrivato in fondo... Succede che per trovare il punto stazionario di Hx, (derivandola una volta rispetto ad fj ed eguagliandola a 0):

-$\sum_{j=1}^k(lnfj+1)= 0



quindi:

$\sum_{j=1}^kln(fj)= -k

per la proprietà dei logaritmi:

ln($\prod_{j=1}^k(fj))= -k

ne consegue che:

$\prod_{j=1}^k(fj) = e(^(-k)) = 1/e^k

allora fj= (1/e^k)/(f1*f2***fk$!=$fj)

il che è decisamente diverso dal risultato che ripropongono le dispense che ho ( fj=1/k)


PS: il moltiplicatore di Lagrange va usato solo per le funzioni a 2 variabili o più credo, ma non ne sono certo...Si può utilizzare per le funzioni ad una variabile?
esteta_edonista
Junior Member
Junior Member
 
Messaggio: 25 di 309
Iscritto il: 22/11/2007, 23:41
Località: Arezzo

Messaggioda Fioravante Patrone » 19/06/2008, 17:27

Qui le variabili sono k.
E l'approccio standard e' usare i moltiplicatori di Lagrange.

Comunque questo e' un esercizio standard sia sull'entropia che sui moltiplicatori di Lagrange, per cui se cerchi in rete penso che troverai tutto gia' bell'e fatto.
Avatar utente
Fioravante Patrone
Cannot live without
Cannot live without
 
Messaggio: 3623 di 10808
Iscritto il: 09/06/2006, 19:18
Località: Temporaneamente a Novi Ligure ;-)

Messaggioda esteta_edonista » 19/06/2008, 17:36

Si è vero! Che errore stupido ho fatto (nuova). Sono più variabili, ed è impossibile massimizzare una funzione senza la lagrangiana, se è a più variabili...Adesso ci provo.
esteta_edonista
Junior Member
Junior Member
 
Messaggio: 26 di 309
Iscritto il: 22/11/2007, 23:41
Località: Arezzo

Messaggioda esteta_edonista » 19/06/2008, 17:48

oddio non ci posso credere....Per ripassare i moltiplicatori di lagrange ho trovato un esempio similissimo al mio...VAI PROBLEMA RISOLTO!


http://it.wikipedia.org/wiki/Metodo_dei ... i_Lagrange
"Mi hanno chiamato folle, ma non mi è ancora chiaro se la follia sia o meno il grado più elevato dell'intelletto(E.A.P)"
esteta_edonista
Junior Member
Junior Member
 
Messaggio: 27 di 309
Iscritto il: 22/11/2007, 23:41
Località: Arezzo

Messaggioda esteta_edonista » 19/06/2008, 18:25

ok, calma ho esultato troppo presto....


Dunque io non so come fa wikipedia a fare i passaggi così spediti: al terzo passaggio come è possibile che abbia fatto un'unica derivata come se ne valesse contemporanemante k??? SI PUO' FARE QUESTA COSA? scusate io ho derivato la lagrangiana rispetto ad f1, f2 e ad fk... e viene sempre un sistema così:

ln(f1)=e^($\lambda$-1)=lnf2=...=ln(fk).

Ma qual'è il quel valore di landa che mi permette di ottenere f1=f2=...=fk= 1/k.

Dunque risolvendo l'equazione mi ricavo lambda, cioè:

λ = 1-lnk

verrebbe lnf1=lnf2=...=lnfj=....lnfk= e^((1-lnk)-1)= 1/(e^lnf1)= 1/(e^lnf2)=...= 1/(e^lnfj)=....= 1/(e^lnfk)

e ora per ritrovarmi il valore di fj , devo risolvere l'equazione col metodo grafico. Giusto?

1/(e^lnfj)=ln(fj)

AIUTOOOO.... Vanno bene questi passaggi?


PS: ho fatto un pò di Edit, perchè col passare delle prove, mi sto rendendo conto degli errori che faccio....
Ultima modifica di esteta_edonista il 20/06/2008, 12:10, modificato 1 volta in totale.
esteta_edonista
Junior Member
Junior Member
 
Messaggio: 28 di 309
Iscritto il: 22/11/2007, 23:41
Località: Arezzo


Torna a Statistica e probabilità

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite