entropia di informazione?

tazzastazzas ha scritto:

Mai sentito parlare di codifica a lunghezza variabile e codice di Huffmann?? Prova a leggere qui.

Se poi vuoi qualche altro chiarimento chiedi pure! Mjk

"tazzastazzas" ha scritto nel messaggio news: snipped-for-privacy@g44g2000cwa.googlegroups.com... "ho sentito parlare di entropia di informazione: da quanto ho appreso si parla di entropia quando su di un canale si comunicano informazioni, le quali sono composte da una serie di simboli che hanno diversa probabilità di essere adoperati. L'entropia permetterebbe di stringere la banda necessaria alla trasmissione, sebbene non io non riesca a capire in che modo. Supponiamo infatti che le informazioni da trasmettere possano assumere i valori 1-2-3-4-5-6-7-8, ma che il valore 1 abbia probabilità di uscire 0,25; il valore 2 0,15; il valore 3 0,10; il valore 4 0,10; il valore 5 0,20; il valore 6 0,10; i valori 7 ed 8 0,05. In che modo si può diminuire la banda, dato che comunque i bit da trasmettere sono sempre tre (logaritmo base 2 di 8). Qualcuno mi potrebbe illuminare?"

Pensa di avere 4 simboli (0, 1, 2, 3), normalmente devi usare 2 bit per ogni simbolo. Ora, supponiamo che il 2 abbia probabilità 0,91 e gli altri 0,03. Se codifico in questo modo (tra virgolette la codifica binaria): 2 = '0', 0 = '10', 1 = '110', 3 = '111', ottengo una media di bit per simbolo pari a:

1 * 0,91 + 2*0,03 + 3*0,03 + 3*0,03 = 1,15 (se è giusto il conto... ^^) Ora, rispetto alla media di 2 bit per simbolo che avevo all'inizio, 1,15 è più bassa. Se fai i conti con le entropie dei due codici, vedi che cambia l'entropia, con la nuova codifica. Quindi a parità di simboli trasmessi, uso meno banda. Spero di essere stato abbastanza chiaro.

--
  Redentore

Giusto. Volevo fare solo una piccola precisazione. Quello che hai detto vale per l'entropia di 1 ordine. In realta' bisogna considerare anche le entropie di ordine superiore. Potresti benissimo avere che i simoli 0, 1, 2 e 3 abbiamo tutti la probabilita' del 25%, quindi entropia di ordine 1 massima, ma entropie di ordine superiore non massimizzate. Ad esempio dopo il simbolo 0 le probabilita' di veder apparire i simboli sono del

0.03, 0.05, 0.9 e 0.02. Quindi si e' praticamente certi che dopo lo 0 viene il 2. Questo e' quello che sta alla base dell'algoritmo LZW.

Ciao Scola

"nicola scolari" ha scritto nel messaggio news:43872762$ snipped-for-privacy@epflnews.epfl.ch...

Io la lezione uno, tu la lezione due. Ora l'amico sa tutto sull'entropia. :)))

--
  Redentore