H.264/MPEG-4 AVC

H.264/MPEG-4 AVC
	; Diagrama en bloques de la capa de codificación de video del codificador H.264
Nombre completo	Codificación de vídeo avanzada para los servicios audiovisuales genéricos
Tipo de estándar	recomendación ITU-T
Estado	En vigor
Fundación	Mayo de 2003
Última versión	Junio de 2019
Organización	UIT
Administración	UIT-T
Licencia	Libre
Abreviación	H.264/MPEG-4 AVC
Sitio web	https://www.itu.int/rec/T-REC-H.264/es
	[editar datos en Wikidata]

H.264 o MPEG-4 parte 10 es una norma que define un códec de vídeo de alta compresión, desarrollada conjuntamente por el ITU-T Video Coding Experts Group (VCEG) y el ISO/IEC Moving Picture Experts Group (MPEG). La intención del proyecto H.264/AVC fue la de crear un estándar capaz de proporcionar una buena calidad de imagen con tasas binarias notablemente inferiores a los estándares previos (MPEG-2, H.263 o MPEG-4 parte 2), además de no incrementar la complejidad de su diseño.^[1]

Para garantizar un ágil desarrollo de la misma, la ITU-T y la ISO/IEC acordaron unirse para desarrollar conjuntamente la siguiente generación de códecs de vídeo. El Joint Video Team (JVT) estaba formado por expertos del VCEG y MPEG y nació en diciembre de 2001 con el objetivo de completar el desarrollo técnico del estándar hacia 2003. La ITU-T planeó adoptar el estándar bajo el nombre de ITU-T H.264 e ISO/IEC bajo el nombre de MPEG-4 Parte 10 Códec de Vídeo Avanzado (AVC) y de aquí surgió el nombre híbrido de H.264/MPEG-4 AVC. Para empezar a programar el código del nuevo estándar adoptaron las siguientes premisas:

La estructura DCT Compensación de Movimiento de las versiones anteriores era superior a otros estándares y por esto no había ninguna necesidad de hacer cambios fundamentales en la estructura.

Algunas formas de codificación de vídeo que habían sido excluidas en el pasado debido a su complejidad y su alto coste de implementación se volverían a examinar para su inclusión puesto que la tecnología VLSI había sufrido un adelanto considerable y una bajada de costes de implementación.

Para permitir una libertad máxima en la codificación y evitar restricciones que comprometan la eficiencia, no se contempla mantener la compatibilidad con normas anteriores.

Características

El uso inicial del MPEG-4 AVC estuvo enfocado hacia el vídeo de baja calidad para videoconferencia y aplicaciones por Internet, basado en 8 bits/muestra y con un muestreo ortogonal de 4:2:0. Esto no daba salida al uso de este códec en ambientes profesionales que exigen resoluciones más elevadas, necesitan más de 8 bits/muestra y un muestreo de 4:4:4 o 4:2:2, funciones para la mezcla de escenas, tasas binarias más elevadas, poder representar algunas partes de video sin pérdidas y utilizar el sistema de color por componentes RGB. Por este motivo surgió la necesidad de programar unas extensiones que soportasen esta demanda. Tras un año de trabajo intenso surgieron las “extensiones de gama de fidelidad” (FRExt) que incluían:

Sustento de un tamaño de transformada adaptativo.
Sustento de una cuantificación con matrices escaladas.
Sustento de una representación eficiente sin pérdidas de regiones específicas.

Este conjunto de extensiones denominadas de "perfil alto" son:

La extensión High que admite 4:2:0 hasta 8 bits/muestra.
La extensión High-10 que admite 4:2:0 hasta 10 bits/muestra.
La extensión High 4:2:2 que admite hasta 4:2:2 y 10 bits/muestra.
La extensión High 4:4:4 que admite hasta 4:4:4 y 12 bits/muestra y la codificación de regiones sin pérdidas.

A continuación podemos ver una tabla con más especificaciones sobre estos perfiles en contraste con el perfil original:

	Original	High	High 10	High 4:2:2	High 4:4:4
slices I y P	SÍ	SÍ	SÍ	SÍ	SÍ
slices B	NO	SÍ	SÍ	SÍ	SÍ
slices SI y SP	NO	NO	NO	NO	NO
imágenes de referencia múltiples	SÍ	SÍ	SÍ	SÍ	SÍ
filtro "deblocking"	SÍ	SÍ	SÍ	SÍ	SÍ
codificación CAVLC	SÍ	SÍ	SÍ	SÍ	SÍ
codificación CABAC	NO	SÍ	SÍ	SÍ	SÍ
ordenación flexible de macrobloques (FMO)	SÍ	NO	NO	NO	NO
ordenación arbitraria de slices (ASO)	SÍ	NO	NO	NO	NO
slices redundantes (RS)	SÍ	NO	NO	NO	NO
partición de datos (DP)	NO	NO	NO	NO	NO
codificación entrelazada	NO	SÍ	SÍ	SÍ	SÍ
formato 4:2:0	SÍ	SÍ	SÍ	SÍ	SÍ
formato monocromo (4:0:0)	NO	SÍ	SÍ	SÍ	SÍ
formato 4:2:2	NO	NO	NO	SÍ	SÍ
formato 4:4:4	NO	NO	NO	NO	SÍ
8 Bits/píxel	SÍ	SÍ	SÍ	SÍ	SÍ
9 y 10 Bits/píxel	NO	NO	SÍ	SÍ	SÍ
11 y 12 Bits/píxel	NO	NO	NO	NO	SÍ
transformada 8x8	NO	SÍ	SÍ	SÍ	SÍ
matrices de cuantificación	NO	SÍ	SÍ	SÍ	SÍ
cuantificación Cb y Cr separadas	NO	SÍ	SÍ	SÍ	SÍ
codificación sin pérdidas	NO	NO	NO	NO	SÍ
	Original	High	High 10	High 4:2:2	High 4:4:4

Niveles

Número de nivel	Máx. macrobloques por segundo	Máx. tamaño de trama (macrobloques)	Máx. video bit rate (VCL) para Baseline, Extended and Main Profiles	Máx. video bit rate (VCL) para High Profile	Máx. video bit rate (VCL) para High 10 Profile	Máx. video bit rate (VCL) para High 4:2:2 and High 4:4:4 Predictive Profiles	Ejemplos para resolución@ tasa de cuadros (máx cuadros almac. en el nivel)
1	1485	99	64 kbit/s	80 kbit/s	192 kbit/s	256 kbit/s	128x96@30,9 (8) 176x144@15 (4)
1b	1485	99	128 kbit/s	160 kbit/s	384 kbit/s	512 kbit/s	128x96@30,9 (8) 176x144@15 (4)
1.1	3000	396	192 kbit/s	240 kbit/s	576 kbit/s	768 kbit/s	176x144@30,3 (9) 320x240@10 (3) 352x288@7,5 (2)
1.2	6000	396	384 kbit/s	480 kbit/s	1152 kbit/s	1536 kbit/s	320x240@20 (7) 352x288@15,2 (6)
1.3	11880	396	768 kbit/s	960 kbit/s	2304 kbit/s	3072 kbit/s	320x240@36 (7) 352x288@30 (6)
2	11880	396	2 Mbit/s	2.5 Mbit/s	6 Mbit/s	8 Mbit/s	320x240@36 (7) 352x288@30 (6)
2.1	19800	792	4 Mbit/s	5 Mbit/s	12 Mbit/s	16 Mbit/s	352x480@30 (7) 352x576@25 (6)
2.2	20250	1620	4 Mbit/s	5 Mbit/s	12 Mbit/s	16 Mbit/s	352x480@30,7(10) 352x576@25,6 (7) 720x480@15 (6) 720x576@12,5 (5)
3	40500	1620	10 Mbit/s	12,5 Mbit/s	30 Mbit/s	40 Mbit/s	352x480@61,4 (12) 352x576@51,1 (10) 720x480@30 (6) 720x576@25 (5)
3.1	108000	3600	14 Mbit/s	17,5 Mbit/s	42 Mbit/s	56 Mbit/s	720x480@80 (13) 720x576@66 (11) 1280x720@30 (5)
3.2	216000	5120	20 Mbit/s	25 Mbit/s	60 Mbit/s	80 Mbit/s	1280x720@60 (5) 1280x1024@42 (4)
4	245760	8192	20 Mbit/s	25 Mbit/s	60 Mbit/s	80 Mbit/s	1280x720@68,3 (9) 1920x1080@30,1 (4) 2048x1024@30 (4)
4.1	245760	8192	50 Mbit/s	62,5 Mbit/s	150 Mbit/s	200 Mbit/s	1280x720@68,3 (9) 1920x1080@30,1 (4) 2048x1024@30 (4)
4.2	522240	8704	50 Mbit/s	62,5 Mbit/s	150 Mbit/s	200 Mbit/s	1920x1080@64 (4) 2048x1080@60 (4)
5	589824	22080	135 Mbit/s	168,75 Mbit/s	405 Mbit/s	540 Mbit/s	1920x1080@72,3 (13) 2048x1024@72 (13) 2048x1080@67,8 (12) 2560x1920@30,7 (5) 3680x1536/26,7 (5)
5.1	983040	36864	240 Mbit/s	300 Mbit/s	720 Mbit/s	960 Mbit/s	1920x1080@120,5 (16) 4096x2048@30 (5) 4096x2304@26,7 (5)
5.2	2073600	36864	240 Mbit/s	300 Mbit/s	720 Mbit/s	960 Mbit/s	1920×1080@172 (16) 2560×1920@108 (9) 3840×2160@66,8 (5) 4096×2048@63,3 (5) 4096×2160@60 (5) 4096×2304@56,3 (5)
Número de niveles	Máx. macrobloques por segundo	Máx. tamaño de trama (macrobloques)	Máx. video bit rate (VCL) for Baseline, Extended and Main Profiles	Máx. video bit rate (VCL) for High Profile	Máx. video bit rate (VCL) for High 10 Profile	Máx. video bit rate (VCL) for High 4:2:2 and High 4:4:4 Predictive Profiles	Ejemplos para resolución@ tasa de cuadros (máx cuadros almac. en el nivel)

Nuevas especificaciones

H.264/MPEG-4 AVC no supone una gran tecnología con respecto a las normas de codificación de vídeo anteriores. Las diferencias se pueden encontrar a pequeña escala sobre el principio general de codificación (predicción, transformada, cuantificación, etc.). La clave de todo ello es la menor cuantía de información que se necesita almacenar en los videos codificados mediante este códec.

Tipos de imágenes

Podemos encontrar las mismas imágenes que en las normas precedentes (Imágenes I, P y B) y dos nuevas, la SP (Switching P) y la SI (Switching I) que sirven para codificar la transición entre dos flujos de vídeo. Permiten, sin enviar imágenes intra muy costosas en tiempos de procesamiento, pasar de un vídeo a otro utilizando predicción temporal o espacial como antes, pero con la ventaja que permiten la reconstrucción de valores específicos exactos de la muestra aunque se utilicen imágenes de referencia diferentes o un número diferente de imágenes de referencia en el proceso de predicción.

Compensación de movimiento

El proceso de compensación de movimiento es diferente de las normas precedentes puesto que propone una gran variedad de formas y de particiones de bloques. De cara a la compensación de movimiento, cada macrobloque, aparte del tamaño original (16x16 píxeles), puede ser descompuesto en subbloques de 16 x 8, 8 x 16 u 8 x 8 píxeles. En este último caso, es posible descomponer a su vez cada subbloque de 8 x 8 píxeles en particiones de 8 x 4, 4 x 8 o 4 x 4 píxeles. Antes, el estándar más novedoso introducía particiones de 8x8. Esta variedad de particiones proporciona una mayor exactitud en la estimación, a lo que se suma una precisión que puede llegar hasta un cuarto de píxel.

Transformada

Es una aproximación a la DCT (transformada discreta del coseno) que viene utilizándose en vídeo pero con las siguientes particularidades:

Tamaño: 4x4 píxeles (8x8 en los perfiles FRExt).
Coeficientes enteros: lo que permite evitar los errores de redondeo habituales en la DCT clásica (coeficientes irracionales) y garantizar un ajuste perfecto entre la transformación directa y la inversa.
Precisión finita: Otra consecuencia favorable de la característica anterior es que se puede calcular sin exceder los 16 bits de precisión.
Eficiencia: Se puede implementar exclusivamente por medio de sumas y desplazamientos binarios.

Ejemplo de matrices de transformación

T_{4\times 4}={\begin{bmatrix}1&1&1&1\\2&1&-1&-2\\1&-1&-1&1\\1&-2&2&-1\end{bmatrix}},\quad T_{8\times 8}={\begin{bmatrix}8&8&8&8&8&8&8&8\\12&10&6&3&-3&-6&-10&-12\\8&4&-4&-8&-8&-4&4&8\\10&-3&-12&-6&6&12&3&-10\\8&-8&-8&8&8&-8&-8&8\\6&-12&3&10&10&-3&12&-6\\4&-8&8&-4&-4&8&-8&4\\3&-6&10&-12&12&-10&6&-3\end{bmatrix}}

Cuantificación

Cada paso del parámetro de cuantificación (QP) incrementa un 12,5% el intervalo de cuantificación, lo que equivale a duplicarlo por cada 6 pasos. El rango dinámico del QP ha aumentado respecto a normas precedentes, puesto que los valores van de 0 a 51. Los macrobloques se cuantifican utilizando un parámetro de control que puede cambiar adaptándose al bloque por cada bit adicional (partiendo de 8 bits, 52 pasos). Además, para poder conseguir los mejores resultados visuales la cuantificación de la crominancia es más esmerada que la de luminancia.

Filtro de "deblocking"

H.264 también integra un filtro antibloques que mejora la eficacia de compresión y la calidad visual de las secuencias de vídeo eliminando efectos indeseables de la codificación como por ejemplo el efecto de bloques.

Exploración de los coeficientes

Existen dos modos de exploración de los coeficientes transformados: "zig-zag" y "zig-zag inverso". El segundo modo de exploración permite en particular la lectura del macrobloque en sentido contrario para poder funcionar con la codificación entrópica adaptativa.

Codificación entrópica

Artículo principal: Codificación entrópica

La codificación entrópica se puede realizar de tres formas diferentes. Un primer método utilizado es el conocido UVLC (Universal Variable Length Coding). Este tipo de codificación es utilizado para codificar la gran mayoría de los elementos de sincronización y cabeceras. Los otros dos métodos son utilizados para codificar buena parte del resto de elementos sintácticos (coeficientes, vectores de movimiento). Las codificaciones utilizadas para esta tarea están basadas en VLC (Variable Length Coding) de forma adaptativa, de este concepto nace el CAVLC (Context Adaptative Variable Length Coding) y el CABAC (Context Adaptative Binary Arithmetic Coding).

Universal Variable Length Code
Símbolo	Código
0	1
1	010
2	011
3	00100
4	00101
5	00110
6	00111
7	0001000
8	0001001
...	...

Adaptación a la red

Conceptualmente los algoritmos están divididos en dos capas: una primera capa de codificación de vídeo VCL (Video Coding Layer) que se ocupa de representar eficazmente el contenido de vídeo y una capa de adaptación a la red NAL (Network Abstraction Layer) que está dirigida más particularmente a adaptar el formato de datos de vídeo al soporte de transmisión.

Algoritmos para la prevención de pérdidas

FMO y ASO

La ordenación flexible de macrobloques (FMO) y la ordenación arbitraria de slices (ASO) son técnicas para reestructurar la representación de las regiones fundamentales (macrobloques) aunque también pueden ser utilizadas para otros objetivos.

DP

La partición de datos (DP) proporciona la capacidad de separar los elementos de sintaxis más importantes de los menos importantes en paquetes de datos diferentes, permitiendo el uso de protección de error desigual (UEP).

RS

El algoritmo de slices redundantes (RS) permite a un codificador enviar una representación suplementaria de una región de imagen que puede ser usada si la representación primaria es corrompida o perdida.