Definizione intuitiva di informazione
Definizione quantitativa, misurabile
By prof. Camuso
Senza, è impossibile affrontare in
modo rigoroso temi quali
l’elaborazione e la trasmissione
delle informazioni
By prof. Camuso
Trasmissione di messaggi
da una sorgente S ad una destinatario D
Rumore=fattori interni
Disturbo=fattori esterni
By prof. Camuso
Rumore
+
Disturbo
Teoria dell’Informazione
Branca della matematica applicata che si
prefigge di definire una unità di misura
dell’informazione e di approfondire le
tecniche di rappresentazione (codifica) dei
dati anche in relazione alle problematiche
poste dalla loro trasmissione.
By prof. Camuso
Esempio 1
elaboratore (sorgente), hard disk (destinatario),
interfaccia e cavo SATA (canale trasmissivo).
Questo quando si registra qualche
cosa sull’hard disk.
Quando si legge ovviamente sorgente e
destinatario si invertono
By prof. Camuso
rumore e disturbo ?
Esempio 2
il vostro cellulare e la torretta
radio della compagnia telefonica
cellulare e torretta sono alternativamente la
sorgente e la destinazione il canale è l’etere
(facciamo finta che non ci sia l’aria …)
By prof. Camuso
rumore e disturbo ?
Esempio 3
due pc che si scambiano dati
usando la rete locale
di nuovo, i due pc sono sia sorgente che
destinazione; il canale può essere un cavo in
rame (rete cablata) o l’etere (rete wireless)
By prof. Camuso
rumore e disturbo ?
Dati due messaggi, quale ha il maggior
contenuto informativo?
Quello più grande?
Eppure un documento ‘zippato’
intuitivamente contiene la stessa
quantità di informazione dell’originale…
By prof. Camuso
Qual è la capacità massima di un canale
(massimo numero di simboli trasmissibili
in un secondo = banda passante)?
E’ possibile accorgersi degli errori? Si
possono correggere? A che ‘prezzo’?
By prof. Camuso
Informazione e probabilità degli eventi
interpretazione matematica
dell’informazione legata alla probabilità del
verificarsi di uno stato di un sistema tra
tutti i possibili stati in cui può trovarsi.
Maggiore è l’incertezza sullo stato e maggiore è
l’informazione associata ad un messaggio che
chiarisca quale sia questo stato
By prof. Camuso
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità
ha ogni stato di verificarsi?
By prof. Camuso
2 stati possibili
(il terzo lo possiamo considerare trascurabile)
ciascuno ha 1/2 = 0,5 = 50%
di probabilità di verificarsi
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità
ha ogni stato di verificarsi?
By prof. Camuso
6 stati possibili
ciascuno ha 1/6 = 0,16 = 16%
di probabilità di verificarsi
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità
ha ogni stato di verificarsi?
By prof. Camuso
36 stati possibili
ciascuno ha 1/36 = 0,03 = 3%
di probabilità di verificarsi
By prof. Camuso
Maggior numero di stati
equiprobabili della sorgente
=
più informazione in un
messaggio da essa emesso
By prof. Camuso
l’approssimativo …
il precisino …
QUANTI stati possibili?
Che percentuale di probabilità
ha ogni stato di verificarsi?
By prof. Camuso
1440 stati possibili
ciascuno ha 1/1440 = 0,0007 = 0,07%
di probabilità di verificarsi
By prof. Camuso
QUANTI stati possibili?
Che percentuale di probabilità
ha ogni stato di verificarsi?
By prof. Camuso
86400 stati possibili
ciascuno ha 1/86400 = 0,00001 = 0,001%
di probabilità di verificarsi
By prof. Camuso
Quindi un messaggio che chiarisca lo stato del
sistema ‘orologio del precisino’ ha un contenuto
d’informazione notevolmente superiore perché
‘toglie’ maggiore incertezza
By prof. Camuso
By prof. Camuso
Eventi non equiprobabili: come calcolare il contenuto
informativo medio dei messaggi emessi dalla sorgente
‘sistema solare’ in riferimento all’evento sorgere del sole?
+ stati
=
minore probabilità (maggiore incertezza)
=
maggiore informazione
=
codifica più lunga
By prof. Camuso
Il prezzo per un contenuto informativo
maggiore è una codifica più lunga dei
messaggi emessi dalla sorgente
Questo indipendentemente dall’alfabeto dei
simboli usati e dalla codifica adottata
By prof. Camuso
La relazione tra probabilità di un evento e
contenuto informativo non definisce però
un’unità di misura vera e propria.
La teoria dell’informazione riconduce
l’informazione a una sequenza di scelte
binarie sì/no, vero/falso, 1/0
By prof. Camuso
Volendo un’informazione da una persona e
potendo questa rispondere solo sì o no,
con che strategia dovrei porre le
domande?
Esempio: gioco in cui i due partecipanti
pensano ad un numero da 1 a 10000.
Poi …
By prof. Camuso
Soluzione: quella che ad ogni risposta
dimezza l’incertezza.
Quindi con il gioco di prima …
By prof. Camuso
Applichiamolo al lancio di un dado.
6
4o5o6
>5?
5
4o5
>4?
>3?
4
3
1o2o3
>2?
2
1o2
>1?
1
Domanda 1
Domanda 2
Domanda 3
3 bit (max; ma anche 2)
By prof. Camuso
OTTIMALE
(dimezzamento
incertezza)
NON OTTIMALE
Messaggio
Valor 0 = risposta no
e del 1 = risposta sì
dado
Messaggio
0 = risposta no
1 = risposta sì
1
2
3
4
5
6
D1
D2
D3
D1
D2
D3
D4
D5
D6
0
0
0
1
1
1
0
0
1
0
0
1
0
1
1
0
0
0
0
0
1
0
0
0
0
1
0
0
0
1
0
0
1
0
1
By prof. Camuso
0
1
Con il sistema di numerazione binario
lo stato di ogni risposta viene memorizzato
usando un bit (0 od 1).
Più risposte in successione corrispondono
semplicemente a sequenze di 1 e 0 sempre
in successione.
By prof. Camuso
Quanti bit per codificare un orario?
1) Si calcolano prima quanti stati possibili ci sono
2) Si stima la potenza del 2 >= numero stati
By prof. Camuso
Strategia 1
Codificando separatamente ore minuti secondi
24 ore:
servono 5 bit 25 = 32>=24
60 minuti: servono 6 bit 26 = 64>=60
60 secondi:servono 6 bit 26 = 64>=60
In tutto: 5+6+6 = 17bit
By prof. Camuso
Strategia 2
Codificando l’orario come uno degli 86400 secondi
servono ancora 17 bit 217 = 131072 >= 86400
Ci sono casi in cui la strategia di codifica fornisce
prestazioni diverse.
By prof. Camuso
Sul pianeta XYZ ci sono 24 hh di 24 min di 24 sec
Strategia 1
Codificando l’orario ore, minuti, secondi
24 ore:
servono 5 bit 25 = 32>=24
24 minuti: servono 5 bit 25 = 32>=24
24 secondi:servono 5 bit 25 = 32>=24
In tutto: 5+5+5 = 15bit
By prof. Camuso
Sul pianeta XYZ ci sono 24 di 24 minuti di 24 secondi
Strategia 2
Codificando l’orario come uno degli 13824 secondi
servono 14 (uno in meno!) bit 214 = 16384 >= 13824
By prof. Camuso
Che macchina hai visto passare?
1
Fiat
2
Kia
3
Ferrari
4
Citroen
1
Universal
2
Testa Rossa
3
…
1
500
2
600
3
650
…
…
1
utilitaria
1
7000
38
3000
2
city
2
7200
3
berlina
3
8000
4
sportiva
…
…
107
1000000
By prof. Camuso
Che macchina hai visto passare?
By prof. Camuso
Marca
20 caratteri
Modello
50 caratteri
Cilindrata
4 caratteri
Tipo
20 caratteri
Costo
8 caratteri
Un messaggio testuale
Se lo si invia un carattere alla volta
ASCII 256 simboli (stati possibili)
8 bit infatti 28 = 256
UNICODE migliaia di simboli
16 bit 216 = 65536
By prof. Camuso
Un messaggio testuale
Se lo si invia usando un dizionario di parole
note sia alla sorgente che al destinatario:
il numero di possibili stati è pari al numero di
parole. Ad ogni parola viene assegnato un
codice.
La sorgente impiega però tempo a cercare il
codice a partire dalla parola da trasmettere.
Il destinario usa tempo per cercare la parola
a partire dal codice ricevuto.
By prof. Camuso
Una immagine
Se la si invia un sub pixel (RGB) alla volta
256 stati (le intensità di un colore)
8 bit infatti 28 = 256
By prof. Camuso
Una immagine
Se la si invia un pixel alla volta
2563 stati = 16777216
24 bit infatti 224 = 16777216
By prof. Camuso
Una immagine con dizionario
Se la si invia usando un dizionario di
immagini. Ipotizziamo una risoluzione
1000x1000 e 256 livelli per ogni colore
base (true color)
By prof. Camuso
Una immagine con dizionario
1000x1000 = 1000000 pixel * 2563 =
16777216000000 stati!
44 bit infatti 244 = 17592186044416
UN MOMENTO… SOLO 44bit ???
By prof. Camuso
Un video
Semplice generalizzazione del caso
immagine.
By prof. Camuso
Un suono
Caso interessante:
la sorgente è
analogica,
non discreta.
By prof. Camuso
By prof. Camuso
By prof. Camuso
By prof. Camuso
By prof. Camuso