"ho sentito parlare di entropia di informazione: da quanto ho appreso si parla di entropia quando su di un canale si comunicano informazioni, le quali sono composte da una serie di simboli che hanno diversa probabilit=E0 di essere adoperati. L'entropia permetterebbe di stringere la banda necessaria alla trasmissione, sebbene non io non riesca a capire in che modo. Supponiamo infatti che le informazioni da trasmettere possano assumere i valori 1-2-3-4-5-6-7-8, ma che il valore 1 abbia probabilit=E0 di uscire 0,25; il valore 2 0,15; il valore 3 0,10; il valore 4 0,10; il valore 5 0,20; il valore 6 0,10; i valori 7 ed 8 0,05. In che modo si pu=F2 diminuire la banda, dato che comunque i bit da trasmettere sono sempre tre (logaritmo base 2 di 8). Qualcuno mi potrebbe illuminare?"
entropia di informazione?
Nov 24, 2005
4 Replies
tazzastazzas ha scritto:
Mai sentito parlare di codifica a lunghezza variabile e codice di Huffmann?? Prova a leggere qui.
formatting link
Se poi vuoi qualche altro chiarimento chiedi pure! Mjk
"tazzastazzas" ha scritto nel messaggio news: snipped-for-privacy@g44g2000cwa.googlegroups.com... "ho sentito parlare di entropia di informazione: da quanto ho appreso si parla di entropia quando su di un canale si comunicano informazioni, le quali sono composte da una serie di simboli che hanno diversa probabilità di essere adoperati. L'entropia permetterebbe di stringere la banda necessaria alla trasmissione, sebbene non io non riesca a capire in che modo. Supponiamo infatti che le informazioni da trasmettere possano assumere i valori 1-2-3-4-5-6-7-8, ma che il valore 1 abbia probabilità di uscire 0,25; il valore 2 0,15; il valore 3 0,10; il valore 4 0,10; il valore 5 0,20; il valore 6 0,10; i valori 7 ed 8 0,05. In che modo si può diminuire la banda, dato che comunque i bit da trasmettere sono sempre tre (logaritmo base 2 di 8). Qualcuno mi potrebbe illuminare?"
Pensa di avere 4 simboli (0, 1, 2, 3), normalmente devi usare 2 bit per ogni simbolo. Ora, supponiamo che il 2 abbia probabilità 0,91 e gli altri 0,03. Se codifico in questo modo (tra virgolette la codifica binaria): 2 = '0', 0 = '10', 1 = '110', 3 = '111', ottengo una media di bit per simbolo pari a:
1 * 0,91 + 2*0,03 + 3*0,03 + 3*0,03 = 1,15 (se è giusto il conto... ^^) Ora, rispetto alla media di 2 bit per simbolo che avevo all'inizio, 1,15 è più bassa. Se fai i conti con le entropie dei due codici, vedi che cambia l'entropia, con la nuova codifica. Quindi a parità di simboli trasmessi, uso meno banda. Spero di essere stato abbastanza chiaro.
Redentore
Giusto. Volevo fare solo una piccola precisazione. Quello che hai detto vale per l'entropia di 1 ordine. In realta' bisogna considerare anche le entropie di ordine superiore. Potresti benissimo avere che i simoli 0, 1, 2 e 3 abbiamo tutti la probabilita' del 25%, quindi entropia di ordine 1 massima, ma entropie di ordine superiore non massimizzate. Ad esempio dopo il simbolo 0 le probabilita' di veder apparire i simboli sono del
0.03, 0.05, 0.9 e 0.02. Quindi si e' praticamente certi che dopo lo 0 viene il 2. Questo e' quello che sta alla base dell'algoritmo LZW.Ciao Scola
"nicola scolari" ha scritto nel messaggio news:43872762$ snipped-for-privacy@epflnews.epfl.ch...
Io la lezione uno, tu la lezione due. Ora l'amico sa tutto sull'entropia. :)))
Redentore
Join the Discussion
Have something to add? Share your thoughts — no account required.
Didn't find your answer?
Ask the community — no account required