SCENARIO APPLICATIVO
1
 Recenti sviluppi sulle comunicazioni wireless hanno favorito la
nascita di nuove tipologie di applicazioni multimediali
 Esempi sono la TV digitale terrestre, servizi multimediali per
dispositivi mobili e sistemi di video sorveglianza……
 H263, MPEG 2/4
 CIF / QCIF
 4 Kbps – 128 Kbps
Video Jet VCS
www.mobilab.unina.it
RemoteVu Guardian
Vanguard
 3 Fps – 30 Fps
[email protected]
SCENARIO APPLICATIVO
2
Multicast Session
Video Transmitter
Multicast Session
Video Receiver
www.mobilab.unina.it
Video Receiver
[email protected]
Video Receiver
PROBLEMA
3
 Problema: Le variazioni delle condizioni di rete producono dei ritardi
nei pkt che si manifestano in degradazioni della qualità video percepita
Un modello classico per il monitoraggio della qualità percepita:
Caratteristiche di tale architettura
 feedback per ridurre l’output bit
rate dell’encoder sorgente

Confronto di quality feature del
video in ricezione e trasmissione
Limiti di tale architettura per trasmissioni MULTICAST

Il sender gestisce n canali di feedback

Overhead per il sender (Confronto delle quality feature di n video in ricezione con quelle in
trasmissione)
www.mobilab.unina.it
[email protected]
OBIETTIVO
4
Obiettivo:
 Avere un monitor della qualità percepita che sia quanto più semplice e
quanto meno invasivo possibile
Come definito dall ITU-T (working group SG 12):
La qualità di un servizio multimediale, dalla
prospettiva dell’utente, è definita da tre parmetri
(NP):
Delay (d)
Delay variation (dv)
Information loss (il)
Negli ultimi anni si sono affermate metriche della
qualità percepita del video
Oggettive
Soggettive
Acquisition
Device
Relazione tra i singoli parametri di rete e le
metriche di qualità percepita
Dipendenza tra i parametri di rete in funzione della
qualità percepita
Unico indice che sula base dei 3 parametri di rete
rifletta la qualità percepita
www.mobilab.unina.it
Sender
Receiver
Acquisition
Presentation
USER
Encode
Decode
Detector
System
Trasmission
Reception
Network
[email protected]
FAILURE DETECTOR
5
Progetto del MobiLAB Group per il meccanismo di failure detection
basato sulle distribuzioni temporali dei parametri di rete
Failure Detector
Meter
tdsi(n)
eD(n)
tdvsi(n)
eDV(n)
tilsi(n)
Error
Detector
eIL(n)
….
….
….
….
….
….
….
….
….
www.mobilab.unina.it
f
ilspec
dvspec
dspec
Application Requirements
dspec dvspec ilspec
Error
Filtering
Filtering Parameters
? QUESTIONS:
 Fissata la qualità percepita, le
soglie sono fisse o variabili?
Le
3 soglie saranno tra loro
dipendenti o indipendenti?
Error Detector:
 L’error Detector rileva un errore
quando il sistema sta fornendo
una qualità del servizio al di
sotto di quella nominale

L’Error Detector fornisce
3 valori booleani in uscita:
eD(n)= tdsi(n) > dspec
eDV(n)= tdvsi(n) > dvspec
eIL(n)= tILsi(n) > ilspec
[email protected]
TESTBED
Testbed:
Il testbed permette di mettere in
relazione i parametri di rete con la
qualità percepita dall’utente
6
Session multicast
Session multicast
192.168.229.48
143.225.229.231
143.225.229.204
3Com
Receiver - Savesession
192.168.229.232
Sender
Router Multicast
Sender:
Invia la session Multicast
Meter:
Misura i parametri di rete relativi
alla sessione Multicast
Receiver:
Salva la sessione Multicast
NIST Net:
Emulatore di rete WAN
www.mobilab.unina.it
Sul Router Multicast
gira
NIST Net
Session multicast
143.225.229.234
Misuratore di parametri di rete
Scelte Implementative:
 Codec H263
Protocollo di trasmissioneRTP/RTCP
Framework JMF 2.1.1 (Java Media Framework)
[email protected]
M-BONE
7
Session multicast
Session multicast
.:: NIST Net è un emulatore di
rete WAN:
Alimentiamo NIST NET con i
valori dei parametri misurati per
una Multicast BackBone
Receiver - SaveSession
Sender
M – Bone
.:: Uky – Ga Tech
I dati a nostra disposizione
riguardano flussi RTP e sono:
Delay medio
Sigma medio del delay
%iloss
www.mobilab.unina.it
Session multicast
Misuratore di parametri di rete
.:: Variazione dei parametri
di rete
.:: Valutazione della qualità
percepita
[email protected]
VQM
8
VQM
è una metrica di qualità del video
oggettiva sviluppata dalla NTIA/ITS .
video “originale” e quello “elaborato”
rappresentano i dati di ingresso ad un
algoritmo che ne calcola la distorsione
Il
0.2
0
Video Quality Metric
VQM
fornisce valori vicini a quelli ottenibili
con metriche soggettive.
www.mobilab.unina.it
.:: VQM
VQM fornisce un punteggio che varia tra 0 e 1.

0: video originale uguale al video elaborato

1: massima distorsione:
Video elaborato molto diverso dal video
originale
[email protected]
1
USO DEL TESTBED
VQM
9
VQM Score
Video Originale
Video Processed
Ad ogni secondo
di filmato viene
generato un
punteggio di VQM
ed una terna di
parametri NP
Session multicast
Session multicast
Receiver - Savesession
Sender
Session multicast
www.mobilab.unina.it
Misuratore di parametri di rete
delay
jitter
%pkt loss
….
….
….
….
….
….
….
….
….
[email protected]
CAMPAGNA SPERIMENTALE
.:: Obiettivi dei test
.: Fissata la soglia di VQM a 0,6
.: Individuare le terne dei parametri di
rete consentiti
.: Ricavare la mutua dipendenza tra i
tre parametri
.: Aggregare i 3 parametri in un
unico
indice
che
sia
espressione della qualità percepita
www.mobilab.unina.it
10
.:: Campagna sperimentale
Mean
Delay
Standard Deviation
Delay
linear
correlation of
pkt-to-pkt delay
Mean
Packet
loss %
Linear
correlation
of pkt pkt
% pkt loss
1–16
1–5
0.1 – 0.9
–
–
–
–
–
1–5
0.1 – 0.9
1 –16
1–5
0.1 – 0.9
1–5
0.1 – 0.9
Mean
Delay
Standard Deviation
Delay
linear
correlation of
pkt-to-pkt delay
Buffer dimension (ms)
1
50
0.51
67 (1frame), 210 (3frame)
350 (5frame)
[email protected]
RISULTATI SPERIMENTALI
11
.:: la rete non perde pacchetti
.:: VQM (Delay)
All’aumentare del jitter medio lo score
VQM cresce più o meno rapidamente
in funzione dei valori di delay
.:: Il buffer in ricezione è di 240 ms (~4 frame)
VQM(Delay)
0,8
VQM
0,7
0,6
% pkt loss = 0
0,5
jitter medio = 12 ms
dSPEC
0,4
0,3
% pkt loss = 0
0,2
jitter medio = 8,7 ms
0,1
0
7
9
11
13
15
17
JitterSPEC %pkt lSPEC
12,7
12
0
18
8,7
0
….
….
….
19
Delay (ms)
VQM(Delay)
www.mobilab.unina.it
VQM(Delay)
Poli. (VQM(Delay))
Poli. (VQM(Delay))
[email protected]
RISULTATI SPERIMENTALI
12
.:: la rete non perde pacchetti
.:: VQM (Jitter)
…analogamente, all’aumentare del
delay medio la curva di VQM subisce
una traslazione
.:: Il buffer in ricezione è di 240 ms (~4 frame)
VQM(jitter)
0,75
0,7
% pkt loss = 0
0,65
delay medio = 5
VQM
0,6
0,55
dSPEC
JitterSPEC %pkt lSPEC
0,5
0,45
10
13
0
5
33
0
….
….
….
% pkt loss = 0
0,4
delay medio = 10
0,35
0,3
5
10
15
20
25
30
35
Jitter (ms)
VQM(jitter)
www.mobilab.unina.it
VQM(jitter)
Poli. (VQM(jitter))
Poli. (VQM(jitter))
[email protected]
RISULTATI SPERIMENTALI
13
.:: la rete perde pacchetti
.:: VQM (%packet loss)
All’aumentare del delay medio lo
score VQM cresce più rapidamente
.:: Il buffer in ricezione è di 240 ms (~4 frame)
VQM(%loss)
0,8
0,7
delay medio = 10 ms
0,6
jitter medio = 11 ms
VQM
0,5
dSPEC
0,4
0,3
10
11
2,5
delay medio = 4 ms
4
11,3
4
jitter medio = 11,3 ms
….
….
….
0,2
0,1
0
0
1
2
3
4
5
JitterSPEC %pkt lSPEC
6
%loss
VQM(%loss)
www.mobilab.unina.it
VQM(%loss)
Poli. (VQM(%loss))
Poli. (VQM(%loss))
[email protected]
RISULTATI SPERIMENTALI
.:: VQM (%packet loss)
Per la stessa variazione del delay
all’aumentare del jitter medio lo score
VQM si trova mediamente a valori più
alti
14
.:: la rete perde pacchetti
.:: Il buffer in ricezione è di 240 ms (~4 frame)
VQM(%loss)
0,8
delay medio = 8 ms
0,7
jitter medio = 19 ms
0,6
VQM
0,5
0,4
dSPEC
JitterSPEC %pkt lSPEC
0,3
8
19
3,5
delay medio = 4 ms
4
11,3
4
jitter medio = 11,3 ms
….
….
….
0,2
0,1
0
0
1
2
3
4
5
6
%loss
VQM(%loss)
www.mobilab.unina.it
VQM(%loss)
Poli. (VQM(%loss))
Poli. (VQM(%loss))
[email protected]
RISULTATI SPERIMENTALI
15
.:: Oss: Un ruolo fondamentale è quello del buffer in ricezione
.:: Incidenza del buffer sul packet loss
.:: Incidenza del buffer sulla qualità percepita
VQM(Buffer[ms])
0,9
0,54
0,8
0,53
0,7
0,52
0,6
0,51
VQM
%loss
%loss(Buffer[ms])
0,5
0,4
0,5
0,49
0,3
0,48
0,2
0,47
0,1
0,46
0
0,45
0
50
100
150
200
250
300
350
400
0
Buffer[ms]
%loss(Buffer[ms])
50
100
150
200
250
Buffer[ms]
VQM(Buffer[ms])
.:: NOTA : In quest’ analisi non abbiamo inserito perdite di rete
www.mobilab.unina.it
[email protected]
300
350
400
CONCLUSIONI E PROBLEMA
16
1.
Fissato lo score VQM i 3 parametri non sono tra di loro indipendenti
2.
E’ possibile costruire un monitor della qualità percepita che sia basato sui parametri di rete
3.
La grandezza del buffer incide notevolmente sulla qualità percepita
Problema :
Come aggregare i 3 parametri in un unico indice che sia espressione della qualità
percepita
?
Delay
Delay
Variation
Indice di
qualità
percepita
Una possibile Soluzione :
OWA
(Ordered Weighted Averaging )
Inf. Loss
www.mobilab.unina.it
[email protected]
INDICE SINTETICO
Correlazione tra INDICE OWA
e VQM SCORE:
17
Corelazione indice OWA e VQM Score
0,8
Pearson correlation: 0,98
0,7
0,6
delay
d variation
%pkt l
[8 – 10]ms [8 – 16]ms [0 – 2,3]
Al di fuori del suddetto intervallo
Valori molto bassi degli
indicatori di correlazione
VQM SCORE
Spearman correlation: 0,99
0,5
0,4
0,3
0,2
0,1
0
0,45
0,5
0,55
0,6
0,7
Indice OWA
indice OWA
www.mobilab.unina.it
0,65
Lineare (indice OWA)
[email protected]
0,75
0,8
CONCLUSIONI E SVILUPPI FUTURI
18
L’indice di aggregazione OWA basato sui parametri di rete ha
mostrato ottimi risultati per essendo limitato ad un preciso
intervallo di variabilità dei parametri
SVILUPPI FUTURI
.:: Costruzione di un meccanismo di
Recovery adatto per il MULTICAST
.:: Costruzione di un meccanismo di Fault
Forecasting basandosi
sull’andamento delle curve studiate
.:: Prendere in considerazioni nuovi indici
e effettuare uno studio comparativo
www.mobilab.unina.it
[email protected]