ndice

Introduccin ........................................................................................................................................ 1 1) 2) Interactividad basada en contenido.................................................................................... 1 Eficiencia en la codificacin y Acceso Universal:................................................................. 3

El enfoque de video MPEG-4 Toolbox ......................................................................................... 4 Desarrollo de herramientas de video y algoritmos para MPEG-4 Metodologa para el modelo de verificacin ................................................................................................................................. 6 Modelo de verificacin de MPEG-4 Video ...................................................................................... 7 Provisiones para Funcionalidades-Descomposicin en "Planos de Objetos de Video" .............. 8 Codificacin de la Informacin de Figura, Movimiento y Textura para cada VOP. .................. 13 Escalabilidad Temporal y Espacial. ............................................................................................ 18 Resistencia al error y robustez. ................................................................................................. 19 APLICACIONES ............................................................................................................................... 19 Conclusiones ................................................................................................................................. 20

MPEG-4
Introduccin
Hoy en da la sociedad est experimentando una convergencia cada vez mayor en las telecomunicaciones, intercambio de informacin, video digital y servicios de procesos comerciales. Codificacin avanzada de audio, video y datos es la base esencial para explotar la eficiencia del ancho de banda y la presentacin fcil de la informacin codificada. Mientras sus antecesores MPEG-1 y MPEG-2, fueron principalmente de almacenamiento y emisiones basadas en secuencias de tramas audiovisuales, MPEG-4 tiene un enfoque mucho ms amplio. Utilizando un enfoque basado en objetos para describir una escena audiovisual compuesta, combina diferentes herramientas de codificacin no slo para audio y video natural, sino tambin para objetos y grficas sintticas. Los objetos son codificados y transmitidos de manera individual y son compuestos en el sitio del decodificador, dejando que el receptor interacte e influya en la forma en que la escena es presentada. Moving Picture Experts Group (MPEG) dentro de la ISO SG 29 responsable de la codificacin de imgenes en movimiento y video, fue establecida en 1988. En Agosto de 1993, el grupo MPEG lanzo el estndar llamado MPEG-1 para la codificacin de imgenes en movimiento y audio asociado aproximadamente a 1Mb/s. En 1990, MPEG empez la fase de estandarizacin de MPEG-2. Mientras el estndar MPEG-1 fue inicialmente diseado para aplicaciones de CD-ROM, el estndar MPEG-2 aborda sustancialmente mayor calidad para audio y video con tasas de datos entre 2Mb/s y 30Mb/s, enfocndose en los requerimientos para TV digital y aplicaciones HDTV. Anticipndose a la rpida convergencia de las industrias en telecomunicaciones, computacin e industrias de TV/pelculas, el grupo MPEG inicio oficialmente una nueva fase de estandarizacin de MPEG-4 en 1994 con la asignacin de estandarizar algoritmos para codificacin audio-visual en aplicaciones multimedia, permitiendo interactividad, alta compresin, accesibilidad universal y portabilidad para contenidos de audio y video. Las tasas de datos buscadas para el estndar de video eran entre 5-64Kb/s para aplicaciones mviles y arriba de 2Mb/s para aplicaciones TV/pelculas. Siete nuevas (con respecto a los estndares emergentes) claves funcionales para la codificacin de video fueron definidas para soportar MPEG-4. Los requerimientos en resumen se muestran en la tabla I y cubren los principales temas relacionados a la interactividad basada en contenido, compresin y acceso universal. El lanzamiento del estndar estaba propuesto para noviembre de 1998. 1) Interactividad basada en contenido: Adems de las disposiciones para una codificacin eficiente de la secuencia convencional de imgenes, MPEG-4 habilita una representacin codificada de datos de audio y video que puede ser basada en el contenido para permitir el acceso y manipulacin de objetos audio-visuales en el dominio comprimido en un nivel de datos codificados con el propsito de usar y presentarlos de una manera flexible. En particular, las aplicaciones multimedia as como los juegos de ordenador y aplicaciones relacionadas se ven beneficiadas de la mayor interactividad con el contenido audio-visual. El concepto de la funcionalidad de video previsto MPEG-4 "basado en contenido" se describe en la figura 1. Para un ejemplo sencillo de una escena de imagen que contiene

una serie de objetos de video. El intento es para codificar la secuencia de una manera que permita la decodificacin separada, la reconstruccin de los objetos y para permitir la manipulacin de la escena original con operaciones sencillas sobre el flujo de bits. El flujo de bits ser un "objeto en capas" y la forma y la transparencia de cada objeto as como las coordenadas espaciales y los parmetros adicionales que describen un objeto escalado, rotado o parmetros relacionados, se describen en el flujo de bits de cada capa del objeto. El receptor puede o bien reconstruir la secuencia original en su totalidad, mediante la decodificacin de todas las "capas de objetos" y mediante la visualizacin de los objetos en el tamao original y en la ubicacin original, como se muestra en la figura 1(a) o alternativamente, es posible manipular el video por operaciones simples. Por ejemplo, en la figura 1(b), algunos objetos no se decodifican y se utilizan para la reconstruccin, mientras que otros se decodifican y se visualizan usando la escala o la rotacin posterior. Adems, se incluyeron nuevos objetos que no pertenecen a la escena original. Dado que el flujo de bits de la secuencia est organizado en una forma de "objeto en capas", la manipulacin se realiza en el flujo a nivel de bits sin la necesidad de transcodificacin. Est dirigido a proporcionar estas capacidades para ambos objetos audio-visuales tanto para representaciones hbridas de objetos naturales como para objetos sintticos. Se observa que las imgenes MPEG-4, as como secuencias de imgenes son en general consideradas para ser arbitrariamente conformadas en contraste con las definiciones del estndar MPEG-1 y MPEG-2.

Figura 1. El enfoque "basado en contenido" adoptado por el estndar de codificacin MPEG-4 Video permite una decodificacin flexible, representacin y manipulacin de objetos de video en una escena. (a) Original (b) Manipulado.

2) Eficiencia en la codificacin y Acceso Universal: Las disposiciones para mejorar la eficiencia en la codificacin, en particular a tasas de bits muy bajas por debajo de 64 kb/s, sigue siendo una funcionalidad importante en el apoyo de la norma. Otros requisitos importantes para el estndar emergente MPEG-4 fueron dirigidos a los entornos de una red heterognea que pueden preverse para muchas economas emergentes en aplicaciones multimedia MPEG-4, en particular para las comunicaciones inalmbricas y acceso a las bases de datos. Esto introduce los requisitos de tolerancia de los algoritmos de compresin de audio y video con respecto a ambientes ruidosos, diferentes anchos de banda, y diversos grados de recursos de decodificador adems de la energa de la batera. MPEG-4 abord este problema de los entornos propensos a errores y proporcion escalabilidad basada en el contenido para una tasa de bits limitada as como para los recursos del decodificador. La reunin de MPEG en Enero de 1996 fue testigo del lanzamiento de la primera versin del modelo de verificacin de video MPEG-4. Al igual que en el modelo de MPEG-2 de prueba, el modelo de verificacin de video MPEG-4 define un primer algoritmo de "common core" de codificacin de video para el trabajo colaborativo en el grupo de video MPEG-4. Basndose en este algoritmo de ncleo, una serie de "core experiments" en 1998 se definieron con el objetivo de mejorar la eficiencia y la funcionalidad de la primera verificacin de los modelos y para converger iterativamente a travs de varias versiones del modelo de verificacin hacia el final del estndar MPEG-4. Por esta razn, el modelo de verificacin de video MPEG-4 proporcion una importante plataforma para la experimentacin dentro del Grupo de Video y dio alguna indicacin sobre la estructura de la norma final de codificacin MPEG-4. La estandarizacin de MPEG-4 ha permitido desarrollar algoritmos que permiten la codificacin audio-visual que han permitido la interactividad, alta compresin, accesibilidad universal y portabilidad de contenidos de audio y video. Adems de las funcionabilidades basadas en la trama de los estndares MPEG-1 y MPEG-2, el algoritmo de codificacin de video de MPEG-4 soporta acceso y manipulacin de los objetos dentro de las escenas de video.

Requerimientos de Video MPEG-4 Interactividad Basada en Contenido Manipulacin Basada en Contenido y Edicin del Soporte para manipulacin en contenido y edicin Flujo de Bits del flujo de bits sin la necesidad de transcodificar. Capacidad para combinar escenas sintticas u Codificacin hbrida de informacin natural y objetos con escenas naturales u objetos. La sinttica habilidad de componer datos sintticos con video ordinario, permitiendo interactividad. Disposicin de mtodos eficientes para acceder aleatoriamente a ciertas partes, sin lmite de tiempo y con una buena resolucin, un ejemplo Acceso Temporal Aleatorio Mejorado son los cuadros de video o contenido de una imagen formada arbitrariamente a partir de una secuencia de video.

Funcionalidad

Compresin MPEG-4 provee subjetivamente una mejor calidad Eficiencia de Codificacin Mejorada visual a diferentes tasas de bits comparadas con estndares existentes o emergentes. Disposicin de codificar eficientemente mltiples vistas de una escena. Para aplicaciones de video estereoscpico, MPEG-4 tiene la habilidad de Codificacin de Mltiples Flujos de Datos aprovechar la redundancia en mltiples puntos de Simultneos vista de una misma escena, permitiendo implementar soluciones de codificacin que tienen compatibilidad tanto con video normal como con otros tipos sin restricciones de compatibilidad. Acceso Universal Disponer de una robustez ante errores para poder acceder a aplicaciones de una variedad de redes almbricas e inalmbricas y almacenamiento de Robustez en Entornos Propensos a Errores medios. Suficiente robustez de errores debe ser prevista para aplicaciones de bajas tasas de bits bajo condiciones severas (rfagas de errores largos). MPEG-4 debe proporcionar la capacidad de alcanzar escalabilidad en contenido, calidad (resolucin espacial y temporal) y complejidad. En Escalabilidad Basada en Contenido MPEG-4 estas escalabilidades son destinadas especialmente para resultar en ajustes basados en contenidos para la informacin visual.

Tabla I. Requisitos para el estndar MPEG-4 de video.

El enfoque de video MPEG-4 Toolbox

El escenario global de aplicaciones MPEG-4 prev la normalizacin de las "herramientas" y "algoritmos" para el audio natural y video, as como audio y video sinttico de dos dimensiones (2D) o tres dimensiones (3D) para permitir la codificacin hbrida de estos componentes. El grupo MPEG-4 ha adoptado nuevas medidas hacia un estndar abierto, flexible y MPEG-4 extensible mediante la previsin de los rpidos desarrollos previstos en el rea de la tecnologa de uso general programable DSP y las ventajas evidentes con respecto a las implementaciones de software de la norma. En este sentido MPEG-4 es previsto para proporcionar un estndar abierto, permitiendo mecanismos de descarga de herramientas que faltan en el software del decodificador en el receptor. Como consecuencia, el grupo MPEG-4 Video no va a seguir el enfoque convencional tomado por el xito de los estndares MPEG-1 y MPEG-2, que define solamente los algoritmos completos para el audio, video y aspectos de sistemas. En contraste, para MPEG-4 es el intento de estandarizar video "herramientas", un video "herramienta" para ser, por ejemplo, un algoritmo definido completamente, o slo un mdulo de codificacin, un mdulo de compensacin de movimiento, un mdulo de codificacin de textura o tcnicas relacionadas. El "pegamento" que enlazar herramientas de codificacin independientes es el Sistema de Lenguaje de Descripcin MPEG-4 (MSDL) consta de varios elementos clave. En primer lugar, una

definicin de las interfaces entre las herramientas de codificacin, en segundo lugar, un mecanismo para combinar herramientas de codificacin y construir algoritmos y perfiles, y tercero, un mecanismo para descargar nuevas herramientas. Mientras que algunas aplicaciones requieren muy alta eficiencia de compresin, otros requieren alta robustez en entornos propensos a errores o un muy alto grado de interaccin con contenido de audio o video. No existe un nico algoritmo eficiente para cubrir esta amplia gama de requisitos de aplicaciones. MSDL transmite con el flujo de bits de la estructura y las reglas para el decodificador, de esta manera las herramientas deben ser utilizadas en el decodificador con el fin de decodificar y reconstruir audio y video. En una etapa ms avanzada, MSDL permite la descarga de herramientas que no estn disponibles en el decodificador. As, el MPEG-4 MSDL, junto con el enfoque de caja de herramientas de audio y video, proporcionan un marco muy flexible para hacer frente a este problema al permitir que una gran cantidad de diferentes algoritmos sean compatibles con el estndar. El escenario previsto de MPEG-4 en trminos de componentes estandarizados para la codificacin de los datos visuales se resume en la figura 2. Se debe tener en cuenta que la parte visual de MPEG-4 de la "caja de herramientas" contiene herramientas (incluyendo algoritmos totalmente definidos) para codificar tanto entradas visuales naturales (video basado en pxeles) como entradas visuales sintticas (es decir, conjunto de datos del modelo informtico 2-D o 3-D). Las herramientas se pueden combinar de forma flexible en el codificador y decodificador para permitir las codificaciones hbridas naturales y sintticas de los datos visuales. Mismo ser el caso para los datos de audio naturales y sintticos.

Figura 2. Escenario de "herramientas", "algoritmos", y perfiles para el estndar de codificacin MPEG-4

Video. Para el estndar MPEG-4, se normalizaron principalmente herramientas de codificacin de video (es decir, DCT, compensacin de movimiento, etc). Por medio de la MSDL, una seleccin de herramientas se puede combinar de forma flexible para formar un algoritmo. Los perfiles definen subconjuntos de herramientas o algoritmos adecuados para los requisitos de aplicaciones especficas (es decir, de baja complejidad, de bajo retardo, etc).

Desarrollo de herramientas de video y algoritmos para MPEG-4 Metodologa para el modelo de verificacin
A partir de la reunin de Munich en Enero de 1996, el grupo de trabajo de video MPEG continu en una fase de colaboracin con respecto al desarrollo de la norma de codificacin del estndar MPEG-4 Video. Para desarrollar herramientas de colaboracin de video y algoritmos para el estndar final MPEG-4, el grupo MPEG-4 Video adopt la metodologa del modelo de verificacin que ya haba tenido xito en el desarrollo de los estndares MPEG-1 y MPEG-2. El propsito de un modelo de verificacin (VM) dentro de MPEG-4 es describir una codificacin completamente definida y algoritmos de decodificacin "common core" de tal manera que los experimentos de colaboracin realizados por mltiples partes independientes pueden producir resultados idnticos y permiten la conduccin de "Core Experiments" bajo condiciones controladas en un entorno comn. Un VM especifica los formatos de entrada y salida para los datos codificados y el formato del flujo de bits que contiene los datos codificados. Se especifica el algoritmo para la codificacin y decodificacin, incluyendo el soporte para uno o ms funcionalidades. En base a la descripcin de la propuesta del paquete para la fase de normalizacin de MPEG-4, que recoge los requisitos preliminares para el estndar MPEG-4 Video previsto, una variedad de algoritmos fueron desarrollados por empresas en todo el mundo de forma competitiva . En noviembre de 1994, una "convocatoria de propuestas" fue emitida por el grupo MPEG-4 en el que se pidi a los laboratorios presentar los resultados de su algoritmo de codificacin de video, herramientas y propuestas que sern comparadas en pruebas formales de visin subjetiva. La "convocatoria de propuestas" especifica funcionalidades detalladas que deben ser abordadas por los proponentes as como las secuencias de prueba definidas y las condiciones de codificacin a utilizar. Las funcionalidades tratadas fueron: eficacia de la codificacin, escalabilidad basada en el contenido, contenido basado en escalabilidad espacial y temporal, robustez frente a errores y la capacidad de recuperacin. Las pruebas de visin subjetivas se llevaron a cabo en noviembre de 1995 y dieron lugar a una clasificacin con respecto a la calidad de imagen subjetiva alcanzado por las diversas funcionalidades. Adems, a los laboratorios se les pidi que presentaran propuestas de herramientas de video y algoritmos para MPEG-4 que no estaban sujetos a las pruebas formales de visin subjetivas, pero se evaluaron exclusivamente por su mrito tcnico por expertos del grupo de video MPEG. Como resultado, se identificaron una gran cantidad de tcnicas prometedoras de codificacin de video que abordaron diversas funcionalidades. Basndose en las propuestas presentadas, la primera versin del modelo de verificacin de video MPEG-4 se defini en enero de 1996. Este evento marc el final de la fase competitiva MPEG-4 y el inicio de la colaboracin en el grupo de video MPEG. Previendo que el estndar final de video MPEG-4 de codificacin estaba destinado a ser genrico mediante el apoyo a una amplia gama de aplicaciones con diferentes requisitos de las mismas, el grupo de video MPEG adapto un enfoque para la definicin del VM (Verification Model) que impuls la funcionalidad. El objetivo era cubrir un mximo conjunto de las funcionalidades de la tabla I por un algoritmo de VM para soportar un mximo de requisitos de las aplicaciones. Basndose en la clasificacin en la prueba de visin subjetiva y en el mrito tcnico de los algoritmos, fue posible identificar un pequeo nmero de tcnicas prometedoras en las pruebas y que utilizan una tecnologa similar para cubrir una amplia gama de funcionalidades. Estos algoritmos formaron la sustancia de la primera versin del algoritmo del modelo de verificacin de video MPEG-4.

En base a las propuestas restantes presentadas, se defini una lista de "Core Experiments" para fomentar la mejora del VM entre las reuniones en la fase de la colaboracin. En reuniones posteriores, nuevas herramientas fueron llevadas a MPEG-4 y evaluadas dentro del proceso de VM siguiendo un procedimiento Experimento Core. En la norma final, si dos herramientas lograban la misma funcionalidad en las mismas condiciones, slo la mejor era elegida. El proceso de Experimento Core continuo hasta noviembre de 1997, cuando se lanz el proyecto del comit de la norma de video MPEG-4. La tabla II resume la programacin de tiempo previsto para el desarrollo de la norma. Pruebas subjetivas de propuestas presentadas para MPEG-4 Video. Definicin del primer modelo de verificacin Enero de 1996 (VM) de MPEg-4 Video. Mejoramiento iterativo del VM de MPEg-4 Video. Enero de 1996 Noviembre de 1996 Primera versin del borrador de trabajo (WD) del estndar de video MPEG-4. Mejoramiento iterativo del VM MPEG-4 video y Noviembre de 1996 - Noviembre de 1997 del WD Trabajo tcnico en algoritmos de video. Noviembre de 1997 Proyecto de comit (CD) del estndar de video MPEG-4. Proyecto de video del estndar internacional Enero de 1998 (DIS) de MPEG-4. Proyecto de video del estndar internacional Enero de 1998 (DIS) de MPEG-4. Tabla II. Calendario del estndar de video MPEG-4 Noviembre de 1995

Modelo de verificacin de MPEG-4 Video

En la reunin del grupo de video MPEG en Enero de 1996 en Munich, Alemania, se defini la primera versin oficial del modelo de verificacin de MPEG-4 Video. El VM desde entonces, por medio del proceso de Experiment Core, ha progresado iterativamente en cada reunin subsiguiente y se ha optimizado con respecto a la eficacia de la codificacin y las disposiciones para nuevas funcionalidades basadas en contenido y robustez a los errores. En la etapa actual, la el modelo de verificacin MPEG-4 Video es compatible con las caractersticas que se resumen a continuacin.

Luminancia estndar y representacin de la intensidad de crominancia de los pxeles muestreados con regularidad en formato 4:2:0. La intensidad de cada pxel se cuantifica en 8b. El tamao de la imagen y la forma depende de la aplicacin. Codificacin de varios "planos de objetos de video" (VOP) como imgenes de forma arbitraria para apoyar muchas de las funcionalidades basadas en contenido. Por lo tanto, la secuencia de entrada de una imagen para MPEG-4 es, en general, considerada de forma arbitraria, y la forma y ubicacin de un VOP dentro de una ventana de referencia pueden

variar en el tiempo. La codificacin de secuencias de entrada de imgenes rectangulares es un caso especial en un enfoque ms general de VOP. Codificacin de la forma y transparencia de la informacin de cada VOP mediante la codificacin binaria o de secuencias de escala alfa del plano de imagen. Soporte de VOPs intra (I) codificados, tambin VOPs temporalmente previstos (P) y VOPs bidireccionales (B) previstos. Soporte de velocidades de cuadros fijas y variables de las secuencias de VOP de entrada de forma arbitraria o rectangular. La velocidad de cuadro depende de la aplicacin. Bloques basados en 8x8 y macrobloques basados en 16x16 en la estimacin de movimiento y la compensacin de los valores de los pxeles dentro de los VOPs, incluidas las disposiciones para bloques superpuestos de compensacin de movimiento. Textura de codificacin en VOP usando una transformada de coseno discreta (DCT) adoptada para las regiones de forma arbitraria, seguida por MPEG-1/2 o H.261/3 como la cuantificacin y la codificacin de longitud de ejecucin. Prediccin eficiente de coeficientes DC y AC de la DCT en los intra VOPs codificados. Escalabilidad temporal y espacial para formar arbitrarias de los VOPs. Porciones macrobloque adaptivas de re-sincronizacin en entornos propensos a errores. Compatibilidad con versiones anteriores de algoritmos de codificacin H.261/3 o MPEG1/2 si las secuencias de imagen de entrada se codifican en una sola capa usando una nica estructura VOP rectangular.

Provisiones para Funcionalidades-Descomposicin en "Planos de Objetos de Video" El algoritmo de codificacin MPEG-4 Video eventualmente soporta todas las funciones ya previstas por MPEG-1 y MPEG-2, incluyendo la provisin para comprimir eficientemente secuencias de imgenes rectangulares de tamao estndar en diferentes niveles de formatos de entrada, velocidades de cuadro y velocidades de bits. Por otra parte, en el corazn del llamado "contenido"-basado, las funcionalidades en MPEG-4 Video son el soporte para la codificacin y decodificacin separada del contenido (es decir, los objetos fsicos en una escena). En el contexto de MPEG-4, esta funcionalidad tiene la capacidad de identificar, decodificar y reconstruir de forma selectiva el contenido de video de inters y se conoce como "escalabilidad basada en el contenido." Esta caracterstica MPEG-4 proporciona el mecanismo ms elemental para la interactividad y manipulacin con/de los contenidos de imgenes o video en el dominio comprimido sin la necesidad de una mayor segmentacin o transcodificacin en el receptor. Para activar las funcionalidades interactivas basadas en contenido, el modelo de verificacin de video MPEG-4 introduce el concepto de VOP (Video Object Planes). Se supone que cada cuadro de una secuencia de video de entrada se divide en un nmero de regiones de la imagen de forma arbitraria (planos de objeto de video), cada una de las regiones, posiblemente, puede cubrir una imagen particular o contenido de video de inters, es decir, que describe los objetos fsicos o contenido dentro de escenas. En contraste con el formato de la fuente de video utilizada para los estndares MPEG-1 y MPEG-2, la entrada de video a ser codificada por el modelo de verificacin MPEG-4 ya no se considera una regin rectangular. Este concepto se ilustra en la figura 3. La entrada a codificar puede ser una regin de la imagen VOP de forma arbitraria y la forma y ubicacin de la regin pueden variar de cuadro a cuadro. Los VOPs sucesivos pertenecientes al mismo objeto fsico en una escena se conocen como objetos de video (VOs), una secuencia de VOPs de formas y posiciones arbitrarias. La forma, el movimiento y la informacin de textura de los VOPs que pertenecen al mismo VO se codifican y se transmiten o se codifican en una capa de

objeto de video separada (VOL). Adems, la informacin pertinente necesaria para identificar cada uno de los VOL's, y cmo los diversos VOLs estn compuestos en el receptor para reconstruir toda la secuencia original tambin se incluye en el flujo de bits.

Figura 3. La codificacin de secuencias de imgenes utilizando MPEG-4 VOPs permite funciones bsicas basadas en contenidos en el decodificador. Cada VOP especifica una secuencia de contenido de imgenes y se codifica en una capa separada VOL (codificando el contorno, el movimiento y la informacin de textura). La decodificacin de todas las capas VOP reconstruye la secuencia de imagen original. El contenido puede ser reconstruido por separado decodificando una sola o un conjunto de capas VOL (escalabilidad/acceso en el dominio comprimido). Esto permite la manipulacin del contenido en el decodificador sin necesidad de transcodificacin.

Esto permite la decodificacin independiente de cada VOP y la manipulacin flexible requerida de la secuencia de video como se indica en la figura 3 similar al ejemplo en la figura 1. Notar que la entrada original de video supone la estructura VOL o bien ya existe en trminos de entidades separadas (generadas con la tecnologa chroma-key) o se genera por medio de algoritmos de segmentacin on-line u off-line. Para ilustrar el concepto, la fuente de prueba de la secuencia de video de entrada MPEG-4 es AKIYO en la figura 4(a), que como ejemplo consta de una persona en primer plano y de fondo un contenido estacionario de textura, aqu se descompone en un VOP fondo y un VOP de primer plano. Una secuencia binaria de imagen en un plano alfa se muestra en la figura 4(b) y se codifica en este ejemplo para indicar al decodificador la forma y ubicacin del objeto VOP de primer plano con respecto al VOP de fondo. En general, el modelo de verificacin de video MPEG-4 tambin es compatible con la codificacin de planos alfa en escala de grises para permitir al receptor la composicin de VOPs con varios niveles de transparencia.

Figura 4. Descripcin de la forma de un VOP por medio de una mscara de plano alfa (mscara de segmentacin binaria en este caso). (a)Imagen de la secuencia original de Akiyo. (b) Mscara de segmentacin binaria que especifica la ubicacin de la VOP de primer plano (Akiyo).

Las figuras 5(a) y 5(b) representan un ejemplo del contenido de los dos VOP para ser codificadas en dos capas separadas VOL. Notar que las regiones de la imagen cubiertas por los dos VOP no se superponen y que la suma de los elementos de imagen cubiertos por los dos VOP es idntica a la de los elementos de la imagen contenida en la secuencia original en la figura 4(a). Ambos VOPs son de forma arbitraria y la forma y la localizacin de ellos cambia con el tiempo. El receptor puede decodificar o mostrar cada VOP por separado (es decir, solamente la persona en primer plano) o reconstruir la secuencia original mediante la decodificacin y la composicin apropiada de ambos VOP basados en la informacin decodificada del canal alfa.

Figura 5. Contenido de la imagen de VOP1 [(a) fondo VOP] y VOP2 [(b) primer plano VOP] de acuerdo con
la mscara de plano alfa en la figura 4(b). El contorno, movimiento y la informacin de textura para cada VOP se codifica en una capa VOP separada. Notar que los dos VOP no se superponen y la imagen de entrada de secuencia para cada capa VOP es de forma arbitraria, la ubicacin y la forma que vara entre imgenes de VOP depende en funcin del movimiento de la persona Akiyo.

El modelo de verificacin de video MPEG-4 tambin es compatible con la codificacin de la superposicin de las VOPs como se indica en la figura 6(a) y 6(b). Aqu, el VOP de primer plano en la figura 6(b) es idntica a la de la figura 5(b). Sin embargo, el VOP de fondo es de forma rectangular con el tamao de las imgenes de entrada originales, y la forma de la VOP de fondo sigue siendo la misma para toda la secuencia. Una vez ms, ambos VOPs se codifican por separado y el original se reconstruye en el receptor mediante la decodificacin de cada VOP y pegando el contenido VOP de primer plano en el lugar apropiado en la parte superior del contenido de la capa de fondo sobre la base de la informacin del canal alfa decodificado. Si el contenido de VOP de fondo es estacionario (como es el caso en la secuencia de prueba Akiyo, lo que significa que el contenido de fondo no cambia con el tiempo) slo un cuadro necesita ser

codificado para el VOP de fondo. Por lo tanto el primer plano y el fondo de VOP pueden tener diferentes tasas de repeticin de visualizacin en el receptor.

Figura 6. Un ejemplo de la descomposicin de la secuencia de la imagen original de Akiyo de la figura 4 en una superposicin de VOPs (es decir, si se conoce todo el fondo antes de la codificacin). (a)El VOP1 de fondo en este caso es una imagen rectangular posiblemente estacionaria. (b)El primer plano VOP2 sigue siendo el mismo que el representado en la figura 5(b).

Se observa que, si las secuencias de imgenes de entrada originales no se descomponen en varios VOLs de forma arbitraria, la estructura de codificacin simplemente se degenera en una representacin de una sola capa que soporta secuencias de imgenes convencionales de forma rectangular. El enfoque de MPEG-4 basado en contenido puede verse como una extensin lgica del enfoque convencional de MPEG-1 y MPEG-2 de codificacin hacia secuencias de imgenes de entrada en forma arbitraria.

Codificacin de la Informacin de Figura, Movimiento y Textura para cada VOP. Como se ha indicado anteriormente, la informacin correspondiente a la figura, movimiento y textura para cada VO es codificada en una capa-VOL separada de forma que se soporte la decodificacin separada de los VOs. MPEG-4 usa el mismo algoritmo para codificar figura, movimiento y textura en cada una de las capas; sin embargo la informacin de figura no es enviada si la secuencia de imgenes a codificar contiene nicamente imgenes estndar de forma rectangular. Independientemente de la figura, el algoritmo de compresin utilizado para la codificacin de las diferentes secuencias de imgenes VOP est basado en la tcnica hbrida a base de bloques DPCM/transform utilizada previamente en estndares MPEG. Para el caso de una VOP con forma rectangular (Figura 7), el algoritmo de codificacin MPEG-4 codifica la primera VOP en (IVOP) y cada una de las subsecuentes VOP ser codificada con prediccin interframe (P-VOP) y nicamente se utilizar informacin de la VOP codificada previamente ms cercana para la prediccin. De igual forma la codificacin de prediccin bidireccional (B-VOP) se soporta.

Figura 7. Ilustracin de una secuencia de video con I-VOP y P-VOP. Cada P-VOP es codificada utilizando prediccin de movimiento-compensado basada en el cuadro VOP previa inmediato. Cada cuadro VOP es dividido en macrobloques (MB) cada uno de los cuales es codificado con informacin relacionada a 4 bloques de luminancia (Y1, Y2, Y3, Y4) y 2 de crominancia (U,V). Cada bloque con 8x8 pels.

Tomando como ejemplo VOPs de formas arbitrarias, despus de la codificacin de figura, cada entrada VOP de color en una secuencia VOP es particionada en macrobloques que no se traslapan como se muestra en la figura 7. El diagrama bsico del codificador y decodificador hbrido a base de bloques DPCM/transform es el siguiente:

Figura 8.El diagrama bsico del codificador y decodificador hbrido a base de bloques DPCM/transform El cuadro VOP previamente codificad es guardada en una memoria de cuadro VOP tanto en el codificador como en el decodificador. La compensacin de movimiento se realiza a nivle bloque como macro bloque -solamente un vector de movimiento se estima entre un cuadro VOP N y el siguiente cuadro VOP N-1- para el bloque o macro bloque que se va a codificar en particular. El error de prediccin de movimiento-compensado es calculado quitando cada uno de los pels en un bloque que pertenecen al cuadro VOP N con su movimiento en la figura anterior N-1. Despus se aplica una DCT de 8 8 a cada uno de los bloques de 8 8 contenidos en un bloque o macro bloque seguido por la cuantificacin de los coeficientes DCT con una subsecuente run-lenght codificacin y una codificacin de entropa. Un buffer de video es necesario para asegurar una tasa de bits constante a la salida del codificador. El tamao del escaln de cuantificacin para los coeficientes DCT se puede ajustar para cada macro bloque en cada cuadro VOP de forma que se pueda alcanzar una tasa especfica y para controlar el flujo en el buffer. El decodificador realiza el proceso inverso para reproducir un macro bloque de un cuadro VOP en el receptor. Despus de decodificar las palabras de longitud variable contenidas en el buffer del decodificador se reconstruyen los valores de pixel del error de prediccin, los pxeles compensados en movimiento del cuadro VOP N-1 anterior guardados se suman al error de prediccin para recobrar el macro bloque del cuadro VOP N. MPEG-4 vdeo introduce el concepto de una ventana de imagen VOP junto a una cuadrcula macro bloque de figura adaptable. La Informacin de figura de una VOP es codificada antes que la codificacin de movimiento vectorial basado en la ventana de imagen VOP y en la cuadrcula macro bloque y est disponible tanto para el codificador como para el decodificador.

1) Codificacin de figura: Hay esencialmente dos mtodos que se soportan en este estndar para informacin, de figura, binaria y en escala de grises. La informacin se le conoce como "Planos alfa". Las tcnicas adoptadas por el estndar proveern de cdigos sin prdidas en los planos alfa, as como tambin se puede hacer una codificacin con prdidas en las figuras y la informacin de transparencia permitiendo este intercambio entre la tasa de transmisin y la exactitud de la representacin de la figura. 2) Estimacin y compensacin de movimiento: Este estndar emplea estimacin y compensacin de movimiento basado en bloques como ya se haba mencionado. En general estas tcnicas de compensacin estimacin de movimiento se pueden ver como una extensin del Estndar MPEG -1/2. Para realizar esta estimacin y compensacin entre VOP de locacin, tamao y figura variable la cuadrcula de figura adaptativa macro bloque se aproxima a cada imagen VOP como se muestra en la siguiente figura 9. El error de prediccin es codificado junto con los vectores de movimiento macro bloque usados para la prediccin. El mtodo de relleno VOP puede ser visto como una extrapolacin de pels afuera del VOP basado en pels dentro de la misma VOP. Despus de rellenar el cuadro VOP (N-1) de referencia se utiliza una tcnica polgono de ajuste empleada para la compensacin y estimacin del movimiento. Un polgono define el contorno del macro bloque (o el bloque de 8x8 para compensacin avanzada de movimiento) que corresponde al rea activa dentro del cuadro VOP N que ser codificado, excluyendo los pels que se encuentren fuera de sta rea; asegurando as la exclusin de dichos pels del proceso de estimacin de movimiento.

Figura 9. Representacin de la cuadriculado macro bloque. Dicho cuadrcula es usada para codificacin planos alfa, estimacin y compensacin de movimiento y codificacin de textura a base de bloques.

Figura 10. Adaptacin por bloques para compensacin de movimiento. Un vector de movimiento (MV) se estima para cada bloque en el cuadro VOP N a ser codificado. Dicho vector de movimiento apunta a un bloque de referencia del mismo tamao en el previamente codificado cuadro VOP N-1.

El standar soporta ambas codificaciones de prediccin, adelantada (P) as como bidireccional (B). Los vectores de movimiento son codificados predictivamente usando las tablas de cdigo del estndar MPEG-1/2 y H.263 VLC. 3) Codificacin de Textura: De nuevo se utiliza la cuadrcula de figura adaptativa macro bloque. Para cado bloque un mximo de 8x8 bloques de luminancia y dos 8 x 8 bloques de crominancia son codificados. Se requiere de una particular adaptacin para los bloques de 8x8 que se encuentran en las fronteras de los VOP. La tcnica de relleno explicada en la figura 11 se utiliza para completar el contenido del macro bloque afuera de un <vOP antes de aplicar DCT en intra-VOP, el contenido de los pels fuera del rea activa VOP es ajustado a 128. El escaneo de los coeficientes DCT seguida por la cuantizacin y la codificacin run-length de los coeficientes es desarrollada utilizando tcnicas y tablas VLC definidas en el estndar MPEG-1/2 y H.263. Una prediccin eficiente de los coeficientes dc y ac de la DCT se desarrolla para codificacin intra VOP. Tambin se experiment con tcnicas como DCT de figura adaptativa y transformaciones wavelet.

Figura 11. Una tcnica de relleno de imagen es empleada con el prposito de estimar y compensar el movimiento de los bloques del contorno as como para la codificacinde la textura. El fin de dica tcnica es permitir una decodificacin y reconstruccin de los VOP por extrapolacin de la textura al interior del VOP a regiones afuera de l.

4) Multiplexacin de la figura, Movimiento, e Informacin de Textura: Bsicamente todas las herramientas definidas en los estndares MPEG-1/2 y H.263 VLC son soportados por MPEG-4. El plano alfa comprimido, el vector de movimiento, y las palabras cdigo DCT son multiplexadas en un capa VOL de flujo de datos codificando la figura primero, despus el movimiento y por ltimo la codificacin de la textura. Son definidas dos formas de multiplexar la textura y el movimiento. Un procedimiento de conjuncin del vector de movimiento y coeficiente DCT basado en estndar H.263 VLC que permite una alta eficiencia de compresin a muy bajas tasas, lo que garantiza que MPEG-4 funcione idnticamente que el estndar H.263 a dichas tasas. Por otra parte tambin se puede codificar por separado el vector de movimiento y los coeficientes DCT para incorporar nuevas y ms eficientes tcnicas de codificacin.

Escalabilidad Temporal y Espacial. Una de las metas de la codificacin escalable de video, es soportar flexiblemente las diferentes caractersticas de los receptores como ancho de banda, mostrar solicitudes para hacer bsquedas en una base de datos, sincrona entre el sonido y la imagen multiresolucin en ambientes multimedia. Otra caracterstica importante que se busca es proveer un flujo de bits de video por capas que sea flexible para la transmisin priorizada. Las tcnicas adoptadas por MPEG-4 permiten el acceso basado en el contenido o la transmisin de VOPs arbitrariamente formadas en varias resoluciones espacial o temporal; en contraste con MPEG-2 y su escalabilidad basada en cuadros. Aquellos receptores que no son capaces de reconstruir las VOPs arbitrariamente formadas con toda la resolucin pueden decodificar subconjuntos del flujo de bits por capas para representar los contenidos /objetos de las arbitrariamente formadas VOPs con una resolucin espacial o temporal ms baja as como con menor calidad. 1) Escalabilidad Espacial: La figura 12 representa la filosofa general del MPEG-4 del esquema de codificacin de video multiescala basada en contenido VOP. Donde tres capas son las que se proveen, cada una soporta una VOP a diferentes escalas de resolucin espacial. Una representacin multiresolucin su puede obtener bajando las escala de una seal de video en un video de menor resolucin. La versin escalada (menor en este caso) es codificado en un flujo de bits de capa base con una tasa de bits reducida, la versin reconstruida y escalada (mayor) de la capa base de video es usada como una prediccin para la codificacin de la seal de entrada original. El error de prediccin es codificado en un flujo de bits de capa mejorado. Si un receptor no es capaz de reproducir la calidad total de los VOPs, las seales VOP reducidas en escala pueden ser reconstruidas nicamente decodificando de capas de flujo de bits ms bajas. Es importante recalcar que tambin pueden desplegarse las VOP a una resolucin mayor con una calidad reducida, nicamente decodificando la(s) capa(s) base con menor tasa de transmisin.

Figura 12. Escalabilidad espacial para VOPs arbitrariamente formados.

2) Escalabilidad Temporal: Esta tcnica fue desarrollada con un objetivo similar al de la escalabilidad espacial. Diferentes tasa de cuadro se pueden soportar con un flujo de bits basado en capas. El seccionamiento en capas se logra otorgando una prediccin temporal para la mejora en capas basada en el video codificado de las capas ms bajas. Usando el fundamento en contenido propio de MPEG-4 , es posible suministrar diferentes tasas de despliegue para VOLs diferentes en la misma secuencia de video ( por ejemplo una persona en el fondo puede ser mostrada con una tasa diferente de fotograma (cuadro) comparada con el resto del fondo u objetos). Resistencia al error y robustez. Se hizo una investigacin considerable para investigar la robustez de la transmisin y del almacenamiento de MPEG-4 video en ambientes susceptibles a errores. Una tcnica de macro bloques adaptativos similar a las utilizadas en MPEG-1 y MPEG-2 es utilizada en MPEG-4. La tcnica proporciona re sincronizacin de las palabras de cdigo para grupos de macro bloques y ha sido optimizada en particular para alcanzar una robustez eficiente para tasas de bit bajas bajo condiciones severas de error como la transmisin mvil. Tabla III Experimentos Utilizados. rea Prediccin Movimiento Tcnicas comparadas en el Desarrollo Compensacin de movimiento global, Particin en bloques, Memoria de cuadro a largo y corto trmino, Compensacin de movimiento en bloques de tamao variable, Prediccin de malla triangular 2D, Prediccin sub-pel. Transformaciones wavelet, bsquedas de acoplamiento, DCT3D, Transformaciones circulares, Intra codificacin mejorada, DCT con bloques de tamao variable. Codificacin de figura en escala de grises, Transformaciones Geomtricas, Particin de regin de figura adaptable, Segmentacin de bloques de tamao variable. DCT de relleno, DCT con reemplazamiento de media, DCT de figura adaptable, DCT Extensin/Interpolacin, Codificacin wavelet/subband. Tcnicas de resincronizacin, estructuras jerrquicas, Sealizacin de caal anterior, Ocultar errores. Codificacin temporal-espacial generalizada, Escalabilidad temporal basada en contenido.

de

Codificacin de Textura del Fotograma Figura y codificacin del Canal Codificacin de la Regin de Textura arbitrariamente formada Resistencia al error y Robustez Ancho de Banda y Escalamiento Complejo

APLICACIONES
La disponibilidad de las muchas herramientas altamente flexibles proporciona una amplia base para nuevas aplicaciones de "infoentretenimiento" en emisiones multimedia y comunicacin. Los

estndares de televisin digital europea se basan principalmente en la compresin y las tcnicas de multiplexacin. Debido a la demanda de alta interactividad (por ejemplo, combinando en la misma pantalla una pelcula en un canal con el mercado de valores de otro canal) una migracin a MEPG-4 es necesaria. Para recepcin mvil el estndar DAB (Digital Audio Broadcast) basado en OFDM (Orthogonal Frequency Division Multiplexing) se adapta a los requerimientos de la radiodifusin, datos de programas asociados y otros datos, incluyendo video e imgenes fijas. Una extensin del sistema DAB, emisin digital multimedia, usa mtodos estandarizados de codificacin para comprimir y transmitir imgenes de video va DAB. Est dirigido principalmente a una transmisin de imgenes de alta calidad para receptores mviles en camiones, trenes, tranvas, carros y barcos. Las nuevas aplicaciones que incluye MPEG-4 pueden ayudar a mejorar la calidad de la imagen sobre MPEG-1 y MPEG-2 mediante tcnicas de prediccin para video o nuevas herramientas de codificacin de audio. MPEG-4 es un buen esquema de codificacin para la transmisin por debajo de los 30MHz, el consorcio de DRM (Digital Radio Mondiale) en conjunto con el Proyecto de Difusin Digital de Banda Estrecha definieron un sistema digital que proporcion una recepcin confiable y con una calidad de audio significativa. MPEG-4 est estrechamente relacionado con aplicaciones de Internet, las cuales combinan en varias formas texto, grficas, video y audio. Una codificacin eficiente en este tipo de informacin es obligatoria por dos razones: primero, para explotar mejor el lmite de capacidad de las redes troncales y segundo, debido a una codificacin eficiente se acelerarn los tiempos de descarga para la mayora de los usuarios, quienes estarn conectados va Internet por medio de un acceso de banda estrecha.

Conclusiones
Se han presentado los algoritmos y herramientas utilizadas en el estndar MPEG-4 y que en su momento fueron examinadas y aprobadas por el grupo de prueba MPEG. El estndar MPEG-4 define un algoritmo de codificacin que incluye la definicin de la estructura tanto del codificador y decodificador. MPEG-4 Introduce el concepto de VOPs para soportar funcionalidades basadas en el contenido en el decodificador, con la intencin primordial de soportar la codificacin de secuencias de imgenes pre segmentadas bajo dicha caracterstica; de la misma forma ofrece la ventaja de poder manipular y reconstruir flexiblemente el contenido en el decodificador en el dominio de la compresin. MPEG-4 est diseado para alta interactividad, codificacin basada en contenido, escalabilidad temporal, espacial e hbrida. Est diseado para un gran nmero de aplicaciones diversas, tasas de bits, niveles de calidad e incluye tanto audio y video sinttico como natural. El estndar de MPEG-4 soporta algoritmos y herramientas para la representacin flexible e individual de los datos audio-visuales en las terminales. La principal rea de aplicacin es la comunicacin multimedia, para la cual un gran nmero de funcionalidades estn disponibles. Para la compresin de video se utiliza un algoritmo basado en la transformada discreta del coseno con compensacin en movimiento, similar a la de MPEG-1 y MPEG-2. Adems, las herramientas

permiten codificar a los objetos con forma arbitraria, as como otras herramientas para una prediccin eficiente de los movimientos globales, adems de escenas estticas y dinmicas.