Compresion de Video

Tema 6: Codificación y compresión
de vídeo.
1. Introducción. Bibliografía
[FLU95] Understanding networked
2. Características del multimedia
vídeo. [GIB98] Digital Compression for

Multimedia
z 2.1 Captura de vídeo analógico. [TSU99] Introduction to video coding
standards for multimedia communication
z 22
2.2 Digitalización.
Di it li ió
[H.264] Overview of the H.264 / AVC Video
z 2.3 Codificación. Coding Standard
z 2.4 Tipos de vídeo (según su calidad). [MPEG4] MPEG-4 Overview
z 25
2.5 Parámetros específicos de red
red. [HiJa94] Compressing still and moving
images with wavelets
3. Compresión de vídeo.
z 3.1 Redundancia temporal.
z 3.2 Estimación de movimiento.
z 3.3 Estándares: MPEG y H.261.
4 Conclusiones.
4. Conclusiones
Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

C 2007/2008
a - Master IC 1. Introducción
Una secuencia de vídeo es una sucesión de imágenes que producen

sensación de movimiento.
os Multimedia
El proceso completo de transmisión de vídeo con compresión

consiste en:
z Adquisición del vídeo a transmitir.
transmitir
misión de Dato
Captura analógica de la secuencia de imágenes.

Digitalización del vídeo.
z (Re)codificación
(R ) difi ió y subsampling
b li ded las
l muestras.
t
Transm
Típicamente se pasa de RGB a YCbCr

Subsampling de la crominancia (de 4:4:4 a 4:2:0 ó 4:2:2)
z Compresión del vídeo.
z Transmisión progresiva del vídeo comprimido (a ser posible usando
protocolos con soporte multimedia)
2
de vídeo.
1. Introducción.
2. Características del vídeo.
z 2.1 Captura de vídeo
í analógico.
ó
z 2.2 Digitalización.
z 2.3 Codificación (de RGB a YCbCr con subsampling).
z 24
2.4 Tipos de vídeo (según su calidad)
calidad).
z 2.5 Parámetros específicos de red.
z 3
3.1
1 Redundancia temporal.
temporal
z 3.2 Estimación de movimiento: algoritmos.
4 Conclusiones.
4. Conclusiones

C 2007/2008
a - Master IC 2.1 Captura de vídeo analógico I
Las imágenes (dos dimensiones) son convertidas en una señal

g
analógica.
os Multimedia
z Se capturan las imágenes a intervalos regulares.

z Cada imagen (cuadro o frame) es barrida calculando la intensidad de
cada p
punto (B&W).
( )
misión de Dato
Para reproducir la imagen se realiza el proceso inverso.

Transm
Líneas de Líneas de barrido mostradas

barrido
1
Placa de 3
barrido
a 5
7
9
Lentes t
483
4
C 2007/2008
a - Master IC 2.1 Captura de vídeo analógico II
La captura (y reproducción) de imágenes en color es muy similar a

la de blanco y negro.
z En
E este
t caso se utilizan
tili tres
t h
haces de
d barrido
b id (RGB).
(RGB)
os Multimedia
z Conversión RGB a YUV (compatibilidad con señales B&W).

misión de Dato
Y: Luminancia (intensidad).
Placa de U y V: Diferencias de color.
Filtros barrido
a El ojo humano es más sensible a
Transm
R
Lentes la intensidad (brillo) que a la
G a t información de color (sub-
a
sampling).
B t
Divisor
t TV Color
R
Y+C Demod. G CRT
Y Conv. B
R U
Cámara G C
B V
TV B&W
Codificador Modulador Y+C Y
Filtro CRT
5
C 2007/2008
a - Master IC 2.1 Captura de vídeo analógico III
Parámetros de barrido:
z Relación
e ac ó de aspecto (a (ancho:alto):
c o a to) 4:3
3
os Multimedia
z Existen distintos estándares:

NTSC (Usa y Japón): 525 líneas, 30 frames/s
PAL/SECAM (Resto): 625 líneas,
líneas 25 frames/s.
frames/s
misión de Dato
z Algunas líneas (superiores e inferiores) no son visibles.

z Durante el retorno vertical, se puede insertar información adicional
Transm
(teletexto).
Barrido entrelazado y progresivo.

progresivo
z Entrelazado.
Cada cuadro se representa con dos campos sucesivos (uno con las
lí
líneas impares y otro con llas pares)) (60 c/s
/ ó 50
0 c/s).
/ )
6
C 2007/2008
a - Master IC 2.1 Captura de vídeo analógico IV
Parpadeo de imagen (flicker)

z Efecto
ecto que apa
aparece
ece cua
cuando
do la
a imagen
age no
o es refrescada
e escada co
con
os Multimedia
suficiente rapidez.
z La retina mantiene una imagen durante un tiempo antes de que
desaparezca.
desaparezca
misión de Dato
z Valor mínimo: 50 imágenes/segundo

Transm
Continuidad de movimiento.
z Viene determinada por el número de cuadros diferentes por
segundo.
segundo
z No se recomienda utilizar menos de 25 cuadros/s.
Ancho de banda de una señal de vídeo analógico: 6 MHz.
7
de vídeo.
1. Introducción.
í analógico.
ó
z 2 4 Tipos de vídeo (según su calidad)
2.4 calidad).
z 3
3.1
1 Redundancia
R d d i temporal.
t l
4 Conclusiones.
4. Conclusiones

C 2007/2008
a - Master IC 2.2 Digitalización I
ITU-R (CCIR-601): Estándar para la digitalización de señales de TV.

z Define los parámetros de muestreo
muestreo, cuantificación
cuantificación, barrido y
os Multimedia
resolución de imagen que se deben tomar para digitalizar una señal

de TV analógica.
misión de Dato
Parámetros de barrido:
z Dos
os formatos
o atos (NTSC
( SC y PAL/SECAM)
/S C )
Transm
525 líneas y 858 muestras/línea - 30 frames/seg.

625 líneas y 864 muestras/línea - 25 frames/seg.
z Las muestras corresponden a la luminancia (Y): Intensidad de luz de
cada pixel (cantidad de blanco).
z Las diferencias de color Cr (U) y Cb (V) se muestrean a la mitad
(429/lí
(429/línea, 432/línea):
432/lí ) Sub-sampling
S b li 4:2:2.
422
9
C 2007/2008
a - Master IC 2.2 Digitalización II
z Cada línea tiene una zona visible (línea activa). Este estándar define
una línea activa de 720 pixels.
os Multimedia
z Se define un número
ú de líneas
í visibles por cuadro:
480 (NTSC), 576 (PAL/SECAM).
Barrido entrelazado:
misión de Dato
z Un cuadro (frame) está formado por dos campos:

El primero con las líneas impares y el segundo con las pares.
Línea
Transm
completa
Tiempo
Línea activa
720 muestreos
Frecuencia de muestreo única.

z 525x858x30* = 625x864x25 = 13,5 MHz.
1
0
C 2007/2008
a - Master IC 2.2 Digitalización III
Codificación y recodificación.
z Cada muestra RGB se codifica con 24 bits/color.
z La conversión de RGB a YCbCr (YUV) se realiza mediante una matriz
os Multimedia
de conversión (aproximada):
Y = 0.3R + 0.6G + 0.1B
U = B - Y (Diferencia de color azul) (equiv
(equiv. Cb
Cb=U/2+128)
U/2+128)
misión de Dato
V = R - Y (Diferencia de color rojo) (equiv. Cr=V/1.6+128)

z Cada uno de los componentes se codifica con 8 bits.
Y (8 bits):
bit ) rango 16-235
16 235
Transm
Cb (8 bits) y Cr (8 bits): rango 16-240
720
720 360
480 480
o 480 o
576 o 576
R 576 Cb
G Y Cr
B
Subsampling 4:2:2
1
1
de vídeo.
1. Introducción.
í analógico.
ó
z 2.4
2 4 Tipos de vídeo (según su calidad)
calidad).
z 3
3.1
1 Redundancia
R d d i temporal.
t l
4 Conclusiones.
4. Conclusiones

3
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: RGB
4
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: YCbCr
5
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: Y Subsampling (I)
6
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: Y Subsampling x2 (II)
7
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: Y Subsampling x4 (III)
8
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: Y Subsampling x8 (IV)
9
1
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: CbCr Subsampling (V)
0
2
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: CbCr Subsampling x2 (VI)
1
2
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: CbCr Subsampling x4 (VII)
2
2
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
2.3 Codificación: CbCr Subsampling x8 (VIII)
de vídeo.
1. Introducción.
z 2.1 Captura de vídeo analógico.
z 2.4 Tipos de vídeo (según su calidad).
3 Compresión de vídeo.
3. vídeo
z 3.3
3 3 Estándares: MPEG y H
H.261.
261
4. Conclusiones.

C 2007/2008
a - Master IC 2.4 Tipos de vídeo (según su calidad) I
La percepción de calidad de una señal de vídeo se basa en tres

parámetros:
z La
L resolución
l ió ded las
l imágenes.
i á
os Multimedia
z La frecuencia de reproducción (cuadros/s.).

z El tipo de barrido (progresivo o entrelazado)
misión de Dato
Televisión de alta definición (HDTV).

Transm
z Existen diferentes variantes acerca HDTV.

1920x1080/60, 1920x1080/30-24, 1280x720/30-24
z Relación de aspecto 16:9
Vídeo digital profesional (studio-quality).

z Estándar ITU-R (CCIR-601) de vídeo digital.
2
4
C 2007/2008
a - Master IC 2.4 Tipos de vídeo (según su calidad) II
Vídeo de difusión (TV broadcast).

z Difusión de señales de televisión analógicas.
os Multimedia
z Estándares NTSC y PAL/SECAM.
Reproductor de Vídeo (VCR-quality

VCR quality).
)
misión de Dato
z Grabación de vídeo analógico (en VHS)

g (la
z Menor resolución de imagen ( mitad de PAL/SECAM).
/ )
Transm
Videoconferencia (Low-speed).
z Tasas
T de
d bits
bit pequeñas
ñ (alrededor
( l d d de d 128 Kbps)
Kb )
z Resolución de imagen 4 veces inferior al vídeo digital.
ITU-TS H.261: Common Intermediate Format ((CIF)) 352x288
z La secuencia de cuadros/s se reduce entre 5 y 10.
2
5
de vídeo.
1. Introducción.
í analógico.
ó
z 24
calidad).
z 3
3.1
1 Redundancia
R d d i temporal.
t l
4 Conclusiones.
4. Conclusiones

C 2007/2008
a - Master IC 2.5 Parámetros específicos de red I
Lo que debe suministrar una red para el envío en tiempo real de

una secuencia de vídeo.
os Multimedia
Tasa de bits.
misión de Dato
Sin comprimir Comprimido

Calidad Estándar
Mbps Mbps
HDTV 1920x1080/60
Transm
Sin comprimir 2000

Comprimido MPEG-2 25 a 34
ITU R di
ITU-R digital
it l TV
Sin comprimir ITU-R 601 166
Comprimido MPEG-2 3a6
TV broadcast MPEG-2 2a4
VCR MPEG-1 1,2
Videoconferencia H.261 0.1
2
7
C 2007/2008
a - Master IC 2.5 Parámetros específicos de red II
Retardo y varianza del retardo.

z Normalmente se envían una secuencia de vídeo sincronizada con el
audio correspondiente.
correspondiente
os Multimedia
La sincronización es muy importante y necesaria desde HDTV hasta

VCR.
En Videoconferencia no es tan importante ya que la imagen no es
misión de Dato
continua (pocos cuadros/s).

z En estos casos, los requerimientos para estos parámetros los
impone el audio (más sensible).
Transm
z Valores indicativos para la varianza del retardo:

HDTV: 50 ms.
Vídeo difusión: 100 ms.
ms
Videconferencia: 400 ms.
2
8
C 2007/2008
a - Master IC 2.5 Parámetros específicos de red III
Tasa de error.
z El vídeo comprimido es más sensible a los errores.
z La degradación de la calidad de vídeo percibida depende:
os Multimedia
BER de la red
Del tipo de error (simple, ráfaga, bloque, etc.)
Donde se produce ese error.
error
misión de Dato
El índice de compresión de vídeo.

z Mecanismos de recuperación ante errores:
Técnicas
Té i de
d protección
t ió de d la
l señal.
ñ l
Transm
– FEC (Forward Correction Codes).

– Marcas de resincronización.
– Reversible VLC.
– Técnicas de paquetización.
Ocultación de errores (error concealment)
– Cuando se pierden bloques o llegan demasiado tarde.
– Técnicas de extrapolación e interpolación de cuadros.
2
9
de vídeo.
1. Introducción.
í analógico.
ó
z 24
calidad).
3. Compresión
p de vídeo.
4. Conclusiones.

C 2007/2008
a - Master IC 3.1 Redundancia temporal.
Se basa en la similitud de cuadros sucesivos en una secuencia de

vídeo.
os Multimedia
z Ej.: Secuencias de plano estático.

Se utilizan técnicas de codificación diferencial o transformada 3D
z Sólo
Sól se codificarán
difi á llas diferencias
dif i entre
t cuadros
d sucesivos
i (DPCM).
(DPCM)
misión de Dato
La reconstrucción de un cuadro puede estar basado en otro(s)

anterior(es).
( )
Transm
Un algoritmo típico de eliminación de redundancia temporal (motion

compensation) es el que emplea MPEG.
3
1
C 2007/2008
a - Master IC Redundancia temporal (MPEG-1)
Cuadros de referencia y cuadros auto-contenidos

z Si F1 lo usamos para construir F2,
F2 se dice que F1 es un cuadro de
os Multimedia
referencia (reference frame).

z Si un cuadro no se construye a partir de ningún otro, se dice que es
t id (intracoded
auto-contenido
t i t d d frame
f )
misión de Dato
Normalmente estos sirven de referencia para otros.

Macrobloques
q (macroblocks)
Transm
z 16x16 pixels (6 bloques de 8x8: 4Y,1U y 1V).
F1 F2 F3
3
2
C 2007/2008
Vectores de movimiento (motion vector)

z Identifican el desplazamiento de un determinado macrobloque
os Multimedia
en el cuadro actual respecto a la posición que tenía en el cuadro

de referencia.
z Los vectores de movimiento se aplican
p cuando se identifica un
misión de Dato
macrobloque existente en el cuadro de referencia (matching

blocks)
Transm
Vector de movimiento
Cuadro de referencia ∆x = -20, ∆y = 0
Macrobloques
idénticos
F1 F2
3
3
C 2007/2008
Búsqueda de macrobloques.
os Multimedia
z Se buscan los macrobloques del cuadro a codificar en el cuadro de

referencia.
z Si se encuentra el mismo macrobloque,
q , sólo se codifica el vector de
misión de Dato
movimiento correspondiente.
z Si no se encuentra exactamente el mismo se elige el más parecido
(macrobloque INTER).
INTER)
Transm
Se codifica el vector de movimiento.

Se calcula el macrobloque error (las diferencias) aplicándole codificación
estilo JPEG (DCT
(DCT, quant,
quant RLE+VLC en zigzag).
zigzag)
z Si no se encuentra ningún bloque similar (mb. INTRA)
Se codifica dicho macrobloque con codificación estilo JPEG.
3
4
C 2007/2008
Tipos de cuadros
z I (Intracoded frames)): Cuadro codificado usando JPEG
os Multimedia
(autocontenido).
z P (Predictive frames): Cuadro basado en las diferencias
respecto a un cuadro de referencia anterior (tipo I)
I).
misión de Dato
z B (Bidirectional frames): Cuadros basados en la interpolación

de un cuadro anterior y otro posterior en la secuencia (tipo I
o P).
P)
Transm
Cuadro de tipo I Cuadro de tipo B Cuadro de tipo P

autocontenido basado en F1 y F3 basado en F1
F1 Macrobloque F2 F3
encontrado!! Macrobloque
encontrado!!
3
5
C 2007/2008
Secuencias de cuadros (Group Of Pictures)

z Los cuadros de tipo I son los menos comprimidos, a continuación
l de
los d tipo
ti P y por último
últi los
l que másá compresión
ió obtiene
bti son los
l
os Multimedia
de tipo B.
z Secuencias típicas:
misión de Dato
¾ IBBBPBBBI
¾ IBBPBBPBBI (PAL)
¾ IBBPBBPBBPBBI (NTSC)
Transm
I B B P B B P B B I
3
6
C 2007/2008
La importancia de los cuadros de tipo I.

z En u un sistema
s ste a de vídeo
deo es habitual
ab tua eel usa
usar los
os co
controles
t o es de a
avance,
a ce,
os Multimedia
retroceso, pausa, etc.

Si queremos detener la secuencia de vídeo, necesitamos encontrar el
último cuadro I para reconstruir el cuadro donde se ha detenido la
misión de Dato
imagen.
z Sirven como puntos de sincronización.
z Se estima que deben aparecer al menos un cuadro I cada 300-400
300 400
Transm
ms.
z Si se está difundiendo una secuencia de vídeo comprimida (TV
b d t videoconferencia,
broadcast, id f i etc)
t )
Permite “engancharse” rápidamente y recuperarse ante la recepción de
algún cuadro dañado.
3
7
de vídeo.
1. Introducción.
í analógico.
ó
z 24
calidad).
z 3.1
3 1 Redundancia temporal.
temporal
4 Conclusiones.
4. Conclusiones

C 2007/2008
a - Master IC 3.2 Estimación de movimiento: Algoritmos.
La parte más costosa de la estimación de movimiento corresponde

a los algoritmos de búsqueda de macrobloques en el cuadro(s) de
referencia.
f i
os Multimedia
Provoca codificación asimétrica

Los algoritmos más conocidos son los siguientes:
misión de Dato
z Búsqueda completa (Full-Search).

z TTS (Three-Step Search)
Transm
z Búsqueda logarítmica.
z Búsqueda en cruz (Cross-Search)
z OTS (One-at-a-Time Search)
z Vecinos más próximos (Nearest Neighbours Search)
z Búsqueda jerárquica.
3
9
C 2007/2008
a - Master IC Estimación de movimiento.
Se define una función de coste que calcula el error entre dos

macrobloques, por ejemplo, SAE (Sum of Absolute Errors)* :
os Multimedia
N −1 M −1
SAE (i, j ) = ∑ ∑ C (i, j ) − R(i, j )
i =0 j =0
misión de Dato
z (i,j) está definido dentro del área de búsqueda

z (NxM) determina las dimensiones del macrobloque.
Transm
z C(i,j) y R(i,j) definen los pixels del macrobloque actual y referencia

respectivamente.
Las coordenadas (i,j) que menor SAE exhiban determinarán el
vector de movimiento del macrobloque actual.
4
0
(*) Más conocido como SAD (Sum of Absolute Differences)
C 2007/2008
a - Master IC Algoritmos: Full Search.
Examina todos los puntos del área de búsqueda (+/- p)
Complejidad computacional por macrobloque:
z Número
Nú ttotal
t ldde posiciones:
i i (2
(2p + 1)2
os Multimedia
z Cada posición (i,j), MxN pixels.

z Cada pixel requiere: 1 resta, 1 suma y 1 valor absoluto.
misión de Dato
O(MB ) = (2 p + 1) 3MN
2
Transm
Complejidad (secuencia IxJ pixels @ F fps)
O(FS ) = O(MB )
IJF
Ejemplo: MN
z Broadcast TV (I=720, J=480, F=30, N=M=16)
z Coste de este algoritmo: 29.89 GOPS (p=15) ó 6.99 GOPS (p=7)
4
1
C 2007/2008
a - Master IC Algoritmos: Three-Step Search.
(-7,-7) (0,-7) (7,-7)

os Multimedia
MV: (7
(7,-3)
3)
1 1 1
3 3 3
misión de Dato
2 2 3 2 3
3 3 3
1. Busca en la posición (0,0)
1 1 2 1 2
2. S=2N-1 (step size)
Transm
3
3. B
Busca 8 posiciones
i i a +/-S
+/ S
2 2 2 píxeles alrededor de (0,0)
4. De las nueva posiciones
1 1 1 elige
g aquella
q con el SAD
menor.
5. S=S/2 y el nuevo origen de
(0,7) (7,7) búsqueda el punto obtenido
((-7,7)
, )
en 4.
4
6. Repetir pasos 3-5 hasta que
Coste: S=1.
(⎡ ⎤)
z Examina 8 log 2 p + 1 puntos
z 1.02 GOPS (p=15) ó 770 MOPS (p=7).
4
2
C 2007/2008
a - Master IC Algoritmos: Búsqueda logarítmica.
(-7,-7) (0,-7) (7,-7)

MV: (5,-3)
os Multimedia
3 4
5 5 5
misión de Dato
1 2 5 3 5 4
1. Busca en la posición (0,0) y establece
5 5 5
S=N (step size)
1 1 1 2
2. Selecciona 4 posiciones a S píxeles
Transm
d l origen
del i en los
l ejes
j X e Y.Y
1 2
3. Calcula la posición que ofrece el
menor SAD, fijándola como el
nuevo origen
g de la búsqueda
q
4. Si esta posición es la central de las 5
seleccionadas S=S/2
(0,7) (7,7) 5. Si S=1 ir al paso 6, sino ir al paso 2.
((-7,7)
, )
6
6. S l i
Selecciona ell origen
i actual
t l y las
l 8
posiciones de alrededor, y calcula
Coste: aquella que minimiza el SAD
z Examina 20 puntos
z 616 MOPS (p=7 y N=2).
4
3
C 2007/2008
a - Master IC Algoritmos: Búsqueda en cruz (Cross Search)
(-7,-7) (0,-7) (7,-7) MV: (-3,-5)

os Multimedia
2 2
1 4 1
1. Establece el origen en la posición
3 3
misión de Dato
(0 0) S
(0,0). S=2 2N-1
N 1 (step
( t size)
i )
2 4 2
2. Selecciona 4 posiciones a +/-S
3 3 píxeles del origen formando una
1 cruz ((X)) y el propio
p p origen.g
Transm
3. Calcula la posición que ofrece el

menor SAE, fijándola como el
nuevo origen de la búsqueda
1 1 4
4. Si (S>1) entonces
t S
S=S/2
S/2 y va all
punto 2. Sino ir al punto 5.
5. Si la mejor posición está en el punto
(0 7)
(0,7) (7 7)
(7,7) superior
p izquierda
q o inferior derecha
( 7 7)
(-7,7) de la X, evaluar 4 puntos más en
Coste: forma de X a una distancia de +/-1
(⎡ p ⎤) + 5 puntos
pixel. Sino hacer lo mismo pero con
z Examina 4 log 2 l 4 puntos
los t distribuidos
di t ib id en “+”.
“+”
z 523 MOPS (p=7).
4
4
C 2007/2008
a - Master IC Algoritmos: OTS (One-at-a-Time Search)
(-7,-7) (0,-7) (7,-7)

MV: ((-4,-3)
, )
os Multimedia
9
misión de Dato
8
7
1. Establece el origen en (0,0).
2. Selecciona el origen y las dos
6
posiciones vecinas en el eje X
5 4 3 2 1 1 1
Transm
3
3. C l l la
Calcula l posición
i ió que menor
6
SAD exhiba. Si es el origen ir
al paso 5.
4. Establece el nuevo origen
g en la
posición que ha ofrecido el
menor SAD. Ir al paso 2.
5. Repetir los pasos 2 al 4
(-7,7) (0 7)
(0,7) (7 7)
(7,7) seleccionando
l i d las
l posiciones
i i
en el sentido vertical (eje Y).
Coste:
z Examina 12 puntos
z 369 MOP.
4
Puede dar lugar a mínimos locales !
5
C 2007/2008
a - Master IC Algoritmos: Vecino más próximo.
(-7,-7) (0,-7) (7,-7) MV: (-3,-4)

os Multimedia
3 2
3 2 1 2 1. Calcula el SAD del (0,0).
misión de Dato
1 1 1 2. Establece el origen de búsqueda a

1 la posición del vector supuesto
(predicted vector)
0 3
3. Selecciona 4 posiciones alrededor
Transm
del origen en forma de “+”.

4. Si el origen de búsqueda (o la
posición 0,0 en la primera
iteración) ofrece el menor SAD
entonces “fin de búsqueda”.
Sino establece el nuevo origen de
(0 7)
(0,7) (7 7)
(7,7) búsqueda en la posición que menor
(-7,7) SAD ha ofrecido.
Coste:
z Examina 12 puntos
z 369 MOP. Propuesto para H.263 y MPEG-4.
4
6
C 2007/2008
a - Master IC Estimación de movimiento: Otras consideraciones.
Estimación de movimiento con fracciones de pixel

z Se basa en realizar la estimación de movimiento con mayor precisión,
ya que a veces el movimiento real no se ajusta a desplazamientos de
os Multimedia
píxel enteros.
z Half-Pixel motion estimation
misión de Dato
S
Se obtiene
bi un imagen
i de
d mayor resolución
l ió interpolando
i l d un punto de
d la
l
imagen entre cada dos píxeles.
A b A b A
Transm
¾ Se incrementan notablemente las

c d c d c prestaciones del algoritmo de
estimación de movimiento a expensas
A b A b A de un mayor coste computacional.
¾ H.263 utiliza está técnica, incluso se
c d c d c
propone utilizar ¼ y 1/8 de píxel para
A b A b A
el estándar H.264
A: Píxeles reales ((Enteros))
b,c,d: Píxeles interpolados. Las flechas
indican la dirección de interpolación.
4
7
C 2007/2008
a - Master IC Estimación de movimiento: Mejoras propuestas.
Vectores de movimiento fuera del cuadro de referencia.

z Para estimar correctamente el movimiento que se produce en los
b d del
bordes d l cuadro.
d
os Multimedia
Tamaño de bloque variable.

z Para realizar estimación de movimiento más precisa.
misión de Dato
z Se utiliza en H.263 (Anexo F) y H.264.

Tamaños: 16x16;8x8;4x4;8x16;16x8....
OBMC ((Overlapped
pp Block Motion Compensation)
p )
Transm
z Objetivo: Suavizar los efectos de “blocking” que aparecen en los

bordes de los macrobloques.
z Incremento significativo
g del coste computacional.
p
H.263 recomiendo utilizar filtros de salida (deblocking filters) que realizan
esta operación a un coste computacional muy inferior.
Modelos de estimación más complejos:
z Region-based, Picture Warping, Mesh-based, Object-based...
4
8
de vídeo.
1. Introducción.
í analógico.
ó
z 24
calidad).
z 3
3.1
1 Redundancia temporal.
temporal
z 3.3 Estándares: MPEG y H.26x.
4 Conclusiones.
4. Conclusiones

C 2007/2008
a - Master IC 3.3 Estándar MPEG.
Conjunto de estándares ISO para la grabación y transmisión digital

de audio y vídeo.
En su evolución se han desarrollado varias versiones del estándar
os Multimedia
MPEG:
z MPEG-1 (ISO 11172) (‘91):
CD-ROM
CD ROM vídeo
íd (1,5
(1 5 Mbps).
Mb )
misión de Dato
z MPEG-2 (ISO 13818) (‘93):

TV Broadcast (4-6 Mbps).
HDTV (25-34
(2 3 Mbps).
b )
Transm
z MPEG-4 (ISO 14496) (‘99):

Originalmente: Videoconferencia (4,8 a 64 Kbps).
Enfoque universal de tratamiento de elementos multimedia.
z MPEG-7 (00-?): Descripción de contenido multimedia
(videodatabases)
z MPEG-21 (01-?): Uso transparente de contenido multimedia entre
redes y usuarios heterogéneos.
5
0
1
5
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
Relación entre los estándares MPEG.
C 2007/2008
a - Master IC MPEG-1.
MPEG-1 (ISO 11172) (‘91)

z MPEG-Vídeo (IS 11172-2)
os Multimedia
z MPEG-Audio (IS 11172-3)

z MPEG-System (IS 11172-1):
Multiplexado y sincronización.
misión de Dato
z MPEG-Conformance Testing (IS 11172-4)

Patrones de prueba, medida de calidad, etc
z MPEG-Software
MPEG S ft C
Coding
di (IS 11172-5)
11172 5)
Transm
Directrices para la codificación de los algoritmos.
Propósito de MPEG-1
z Almacenamiento en CD-ROM de audio (calidad CD) y vídeo (calidad
VCR) sincronizado (1,5
(1 5 Mbps).
Mbps)
5
2
C 2007/2008
a - Master IC MPEG-1
Características de MPEG-1:
z Resolución de imagen: 352x(288 ó 240) (PAL/NTSC).
os Multimedia
z Reducción de color (sub-sampling): 4:2:0.

z Barrido progresivo (no entrelazado).
z Tasa de cuadros: 25/30 (PAL/NTSC).
(PAL/NTSC)
misión de Dato
z Incluye cuadros de tipo D (DC-coded):

Operaciones de avance rápido (Fast Forward).
Transm
z Codificador/decodificador asimétrico.
Tasa
T de
d compresión:
ió 27:1.
27 1 A di
Audio
encoder
Salida
Los codificadores de audio y Reloj System
MPEG-1
Mux.
vídeo
íd trabajan
t b j por separado.d
¾ Utilizan un reloj común para Vídeo
encoder
establecer el tiempo de cada una
de sus capturas (system).
5
3
C 2007/2008
Conjunto de estándares ISO 13818 (‘93).

Propósito:
os Multimedia
z Mejorar la calidad de imagen respecto al anterior sin incrementar

excesivamente la tasa de bits requerida
z Calidad de vídeo profesional (studio
(studio-quality)
quality) y HDTV
misión de Dato
Aplicación:
z Difusión de señales de TV, HDTV, VOD
Transm
La codificación/decodificación es muy similar a la de MPEG-1 salvo

algunas diferencias:
z No se incluyen cuadros de tipo D.
z Permite bloques de 16x8 para vídeo entrelazado.
z Otras mejoras (permite DC de hasta 10 bits, cuantización no lineal,
nuevas tablas
t bl VLC,
VLC escalabilidad
l bilid d SNR y multiresolución)
lti l ió )
5
4
C 2007/2008
Características de MPEG-2.
z Soporta barrido entrelazado y progresivo.
os Multimedia
z Puede trabajar con distintas resoluciones (nivel):

CIF: 352x288/240 (VCR quality) (Compatibilidad MPEG-1)
Principal: 720x576/480 (studio
(studio-quality)
quality)
misión de Dato
High-1440: 1440x1152 (HDTV)

High: 1920x1080 (HDTV)
z Define
D fi varios
i perfiles
fil ded implementación
i l t ió
Transm
Detalles de los algoritmos de compresión y parámetros de imagen,

barrido, etc.
z El multiplexado y sincronización es más general y flexible que MPEG-
1
Se pueden multiplexar/sincronizar varias fuentes de audio, vídeo y datos
(ej.: subtítulos en varios idiomas).
5
5
C 2007/2008
Propósito:
z Diseño de aplicaciones multimedia interactivas distribuidas.
os Multimedia
Aplicación:
z Televisión digital
misión de Dato
Compatibilidad con MPEG-2 (backware compatibility)

z Aplicaciones multimedia interactivas
Transm
El usuario puede interaccionar con los objetos multimedia de la sesión.

z Distribución de información multimedia (tipo WWW)
A través de una red, se permitirá el acceso y distribución a información
multimedia, facilitando su diseño y presentación.
5
6
C 2007/2008
Características:
z Accesibilidad de la información de manera universal y robusta.
os Multimedia
z Alta interactividad con la información multimedia.

Definición de escenarios virtuales compuestos por objetos
independientes (AVOs).
misión de Dato
El usuario puede modificar/configurar el escenario actual.

z Codificación conjunta de datos sintéticos y reales.
z Codificación eficiente de la información.
información
Transm
Mejoras en la compresión y multiplexación de la información.

Codificación de objetos con forma irregular.
5
7
8
5
Transm
misión de Dato
os Multimedia
a - Master IC
C 2007/2008
MPEG-4
C 2007/2008
a - Master IC 3.3 Estándar H.261.
Pertenece al conjunto de estándares H.320 del ITU dedicados a

videoconferencia sobre RDSI.
z H.320:
H 320 DDefinición
fi i ió dde lla familia
f ili ded estándares
á d
os Multimedia
z H.221: Multiplexado, sincronización sobre uno o varios canales

RDSI y empaquetamiento
p q (framming).
( g)
misión de Dato
z H.242/H.230: Establecimiento y control de sesión.

z H.224/H.281: Control remoto de cámaras.
z H.233
H 233 y H
H.234:
234 Cif
Cifrado
d y autenticación
t ti ió de d los
l datos.
d t
Transm
z T.120: Soporte para aplicaciones (transferencia de imágenes,

anotaciones compartidas, etc.)
z G.711, G.72x ...: Algoritmos de compresión de audio
z H.261: Compresión de vídeo (conocido como px64).
5
9
C 2007/2008
a - Master IC Estándar H.261.
Características de H.261:
z Formato de imagen: YCbCr
os Multimedia
CIF: 352x288 (opcional)

QCIF: 176x144 (obligatorio)
z Reducción de color: 4:2:0
misión de Dato
z Tasa de cuadros/seg: como máximo 30 max.
Mecanismo de compresión ó similar a MPEG-1:

Transm
z Para la redundancia temporal se emplean mecanismos similares a

MPEG,, basados en macrobloques
q (16x16).
( )
z H.261 define el concepto de GOB (Group Of Blocks)
1 GOB = 3x11 macrobloques (QCIF: 3 GOBs)
6
0
C 2007/2008
Sólo se definen dos tipos de cuadros: I y P.

z No existen secuencias predefinidas de cuadros.
os Multimedia
z Decisión de codificación I o P para cada cuadro.

Estimación de movimiento (motion estimation):
z Se realiza a nivel de macrobloque
misión de Dato
z Búsqueda restringida en un área de +-15 pixels, usando sólo la

información de luminancia (Y).
Transm
z Resultado de la búsqueda:
Macrobloque del cuadro de anterior que más se parece al actual
Cálculo de las diferencias ((macrobloque
q error).)
Si superan un cierto umbral se codifican (DCT), si no se elimina el
macrobloque error, utilizando sólo el vector de movimiento.
Cuantificación lineal (menos costosa).
costosa)
Se siguen utilizando run-length y Huffman (VLC).
6
1
C 2007/2008
Esquema del formato H.261

H 261
os Multimedia

misión de Dato
PSC TR PType GOB1 GOB2 .... GOBm

Transm
GOB Start Grp# Quant MB1 ... MBn
Addr Type Quant Vector CBP b0 b1 ... b5
DC Run, Valor ... Run, Valor EOB
6
2
C 2007/2008
a - Master IC Otros estándares H.26x.
H.263: Mejora, amplía y sustituye el H.261

z De propósito general (no sólo para videoconf.)
videoconf )
os Multimedia
z Incluye compensación de movimiento de “medio-píxel”

z Soporta cinco resoluciones (SQCIF, QCIF, CIF, 4CIF y 16CIF)
misión de Dato
z Permite estimación de movimiento bidireccional y sin restricción en

el tamaño de la ventana de búsqueda
H.263+:
H 263+: Añade nuevas características a H.263H 263
Transm
z Escalabilidad SNR, espacial y temporal

z Predicción de los valores de los coeficientes de la DCT
H.264: Mejora la eficiencia en codificación
z DCT con enteros y tam. bloque 4x4, compensación de movimiento
con bloques de tamaño variable, etc.
6
3
C 2007/2008
a - Master IC Otros estándares H.26x.
Comparación subjetiva MPEG-4 - H.264

os Multimedia
misión de Dato
Transm
6
4
C 2007/2008
a - Master IC 4. Conclusiones
Las imágenes son captadas por cámaras de vídeo que proporcionan

una señal analógica RGB.
La
L digitalización
di it li ió estátá basada
b d en ell estándar
tá d ITU-R
ITU R
os Multimedia
En función de la calidad de vídeo deseada, existen diversos formatos

de imagen,
g , barrido,, etc.
misión de Dato
Se definen distintos parámetros de red de importancia para el

transporte de vídeo
Algoritmos
Al it de
d compresiónió de
d vídeo
íd
Transm
z Fundamentos: Redundancia temporal

z Algoritmos
g de estimación de movimiento: Alto coste computacional.
p
z Estándares de compresión:
Familia MPEG: 1-2-4
– Diseñados para procesar vídeo digital de calidad (Sector consumo).
Familia ITU: H.261-3-4
– Diseñados para comunicaciones audiovisuales en distintos tipos de redes (RDSI, IP, telefonía,
etc.)
6
5

Compresion de Video

Enviado por

Dados do documento

Descrição original:

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Compresion de Video

Enviado por

Direitos autorais:

Formatos disponíveis

Tema 6: Codificación y compresión

vídeo. [GIB98] Digital Compression for

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

 Una secuencia de vídeo es una sucesión de imágenes que producen

 El proceso completo de transmisión de vídeo con compresión

 Captura analógica de la secuencia de imágenes.

 Típicamente se pasa de RGB a YCbCr

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

 Las imágenes (dos dimensiones) son convertidas en una señal

z Se capturan las imágenes a intervalos regulares.

 Para reproducir la imagen se realiza el proceso inverso.

Líneas de Líneas de barrido mostradas

 La captura (y reproducción) de imágenes en color es muy similar a

z Conversión RGB a YUV (compatibilidad con señales B&W).

z Existen distintos estándares:

z Algunas líneas (superiores e inferiores) no son visibles.

 Barrido entrelazado y progresivo.

 Parpadeo de imagen (flicker)

z Valor mínimo: 50 imágenes/segundo

 Ancho de banda de una señal de vídeo analógico: 6 MHz.

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

 ITU-R (CCIR-601): Estándar para la digitalización de señales de TV.

resolución de imagen que se deben tomar para digitalizar una señal

 525 líneas y 858 muestras/línea - 30 frames/seg.

z Un cuadro (frame) está formado por dos campos:

 Frecuencia de muestreo única.

 V = R - Y (Diferencia de color rojo) (equiv. Cr=V/1.6+128)

 Cb (8 bits) y Cr (8 bits): rango 16-240

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

 La percepción de calidad de una señal de vídeo se basa en tres

z La frecuencia de reproducción (cuadros/s.).

 Televisión de alta definición (HDTV).

z Existen diferentes variantes acerca HDTV.

 Vídeo digital profesional (studio-quality).

 Vídeo de difusión (TV broadcast).

z Estándares NTSC y PAL/SECAM.

 Reproductor de Vídeo (VCR-quality

z Grabación de vídeo analógico (en VHS)

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

 Lo que debe suministrar una red para el envío en tiempo real de

Sin comprimir Comprimido

Sin comprimir 2000

 Retardo y varianza del retardo.

 La sincronización es muy importante y necesaria desde HDTV hasta

continua (pocos cuadros/s).

z Valores indicativos para la varianza del retardo:

 El índice de compresión de vídeo.

– FEC (Forward Correction Codes).

Transmisión de Datos Multimedia – http://www.grc.upv.es/docencia/tdm – Master IC 2007/2008

 Se basa en la similitud de cuadros sucesivos en una secuencia de

z Ej.: Secuencias de plano estático.

 La reconstrucción de un cuadro puede estar basado en otro(s)

 Un algoritmo típico de eliminación de redundancia temporal (motion

 Cuadros de referencia y cuadros auto-contenidos

referencia (reference frame).

 Normalmente estos sirven de referencia para otros.

z 16x16 pixels (6 bloques de 8x8: 4Y,1U y 1V).

 Vectores de movimiento (motion vector)

en el cuadro actual respecto a la posición que tenía en el cuadro

macrobloque existente en el cuadro de referencia (matching

z Se buscan los macrobloques del cuadro a codificar en el cuadro de

 Se codifica el vector de movimiento.

Una secuencia de vídeo es una sucesión de imágenes que producen

El proceso completo de transmisión de vídeo con compresión

Captura analógica de la secuencia de imágenes.

Típicamente se pasa de RGB a YCbCr

Las imágenes (dos dimensiones) son convertidas en una señal

Para reproducir la imagen se realiza el proceso inverso.

La captura (y reproducción) de imágenes en color es muy similar a

Barrido entrelazado y progresivo.

Parpadeo de imagen (flicker)

Ancho de banda de una señal de vídeo analógico: 6 MHz.

ITU-R (CCIR-601): Estándar para la digitalización de señales de TV.

525 líneas y 858 muestras/línea - 30 frames/seg.

Frecuencia de muestreo única.

V = R - Y (Diferencia de color rojo) (equiv. Cr=V/1.6+128)

Cb (8 bits) y Cr (8 bits): rango 16-240

La percepción de calidad de una señal de vídeo se basa en tres

Televisión de alta definición (HDTV).

Vídeo digital profesional (studio-quality).

Vídeo de difusión (TV broadcast).

Reproductor de Vídeo (VCR-quality

Lo que debe suministrar una red para el envío en tiempo real de

Retardo y varianza del retardo.

La sincronización es muy importante y necesaria desde HDTV hasta

El índice de compresión de vídeo.

Se basa en la similitud de cuadros sucesivos en una secuencia de

La reconstrucción de un cuadro puede estar basado en otro(s)

Un algoritmo típico de eliminación de redundancia temporal (motion

Cuadros de referencia y cuadros auto-contenidos

Normalmente estos sirven de referencia para otros.

Vectores de movimiento (motion vector)

Se codifica el vector de movimiento.

Secuencias de cuadros (Group Of Pictures)

La importancia de los cuadros de tipo I.

La parte más costosa de la estimación de movimiento corresponde

Provoca codificación asimétrica

Se define una función de coste que calcula el error entre dos

Complejidad (secuencia IxJ pixels @ F fps)

Estimación de movimiento con fracciones de pixel

Vectores de movimiento fuera del cuadro de referencia.

Tamaño de bloque variable.

Conjunto de estándares ISO para la grabación y transmisión digital

MPEG-1 (ISO 11172) (‘91)

Directrices para la codificación de los algoritmos.

Conjunto de estándares ISO 13818 (‘93).

La codificación/decodificación es muy similar a la de MPEG-1 salvo

High-1440: 1440x1152 (HDTV)

Detalles de los algoritmos de compresión y parámetros de imagen,

Compatibilidad con MPEG-2 (backware compatibility)

El usuario puede interaccionar con los objetos multimedia de la sesión.

El usuario puede modificar/configurar el escenario actual.

Mejoras en la compresión y multiplexación de la información.

Pertenece al conjunto de estándares H.320 del ITU dedicados a

CIF: 352x288 (opcional)

Mecanismo de compresión ó similar a MPEG-1:

Sólo se definen dos tipos de cuadros: I y P.

H.263: Mejora, amplía y sustituye el H.261