By prof. Camuso
Misura del grado di incertezza
(medio) dei messaggi emessi da
una sorgente
By prof. Camuso
Dobbiamo prima definire il
logaritmo in base 2
di un numero
By prof. Camuso
Dobbiamo prima definire il
logaritmo in base 2
di un numero N, N>0
log2N è l’esponente da dare alla
base 2 per ottenere quel numero
By prof. Camuso
log20 = ???
IMPOSSIBILE!
By prof. Camuso
log21 = ???
0, infatti 20=1
By prof. Camuso
log22 = ???
1, infatti 21=2
By prof. Camuso
log28 = ???
3, infatti 23=8
By prof. Camuso
log219 = ???
4,25 infatti 24,25=19
Ma sulla calcolatrice non c’è il
logaritmo in base 2… come si fa?
By prof. Camuso
Sulla calcolatrice trovate infatti
un log e un ln;
ln ve lo condono
perché è impossibile capire …
By prof. Camuso
ma log, facendo qualche
prova ci si può arrivare!
By prof. Camuso
By prof. Camuso
Che esponente bisogna dare al 7
per ottenere 125 ???
By prof. Camuso
By prof. Camuso
Immaginiamo che tutti i possibili
mesaggi che possono essere
emessi da una sorgente siano
rappresentati dall’insieme
ϗ = {x1, x2, x3, …, xn}.
(dado) ϗ = {1, 2, 3, 4, 5, 6}
By prof. Camuso
Chiamiamo X la variabile che
rappresenta il verificarsi
di uno degli eventi
(dado) ϗ = {1, 2, 3, 4, 5, 6}
X=3 significa che è uscito il 3
By prof. Camuso
By prof. Camuso
Definiamo (Hartley) poi Entropia
della variabile X su un insieme
discreto e con eventi equiprobabili
H(X) = log2N
H(X) indica il numero minimo di
bit necessari a codificare tutti i
possibili stati (messaggi)
By prof. Camuso
L’Entropia misura il grado di
incertezza medio dei messaggi
emessi da una sorgente.
Quindi rappresenta una stima del
numero medio di bit necessari a
codificare un messaggio proveniente
da quella sorgente (è dimostrato
che di meglio non si può fare)
By prof. Camuso
E se la moneta è truccata ?
E se il dado è truccato?
E se non tutte le lettere in
un testo hanno la stessa
probabilità di essere usate ?
By prof. Camuso
E se alcuni valori rilevati da un
sensore hanno più probabilità di
verificarsi di altri ?
E se scopro che in una immagine un
pixel si ripete molto più di altri?
By prof. Camuso
By prof. Camuso
By prof. Camuso
By prof. Camuso
OTTIMALE
(dimezzamento
incertezza)
NON OTTIMALE
Messaggio
Valor 0 = risposta no
e del 1 = risposta sì
dado
Messaggio
0 = risposta no
1 = risposta sì
1
2
3
4
5
6
D1
D2
D3
D1
D2
D3
D4
D5
D6
0
0
0
1
1
1
0
0
1
0
0
1
0
1
1
0
0
0
0
0
1
0
0
0
0
1
0
0
0
1
0
0
1
0
1
0
1
(3+3+2+3+3+2)/6 = 2,66bit
By prof. Camuso
(1+2+3+4+5+6)/6 = 3,5bit
By prof. Camuso
By prof. Camuso
Codici INTERNI
(complemento a 2, IEEE 754 ecc.)
Codici ESTERNI
(ASCII, BCD, Hamming e molti altri)
By prof. Camuso