Blog Personal.

Uncategorized

PS5 y XSX: Codec de Video

AMD tiene una patente titulada “INTEGRATED VIDEO CODEC AND INFERENCE ENGINE“. Donde se habla del uso de una red neural para la codificación/decodificación de vídeo, el resumen inicial de la patente es el siguiente:

Se describen sistemas, aparatos y métodos para integrar un códec de video con un motor de inferencia. Un sistema está configurado para implementar un motor de inferencia y un códec de video mientras comparte al menos una parte de sus elementos de procesamiento entre el motor de inferencia y el códec de video. Al compartir elementos de procesamiento al combinar el motor de inferencia y el códec de video, se reduce el área de silicio de la combinación. En una realización, la porción de elementos de procesamiento que se comparten incluyen un motor de predicción de movimiento / estimación de movimiento / MAC con una pluralidad de unidades de multiplicador-acumulador (MAC), una memoria interna y periféricos. Los periféricos incluyen una interfaz de memoria, un motor de acceso directo a memoria (DMA) y un microprocesador. El sistema está configurado para realizar un cambio de contexto para reprogramar los elementos de procesamiento para cambiar entre los modos de operación. El cambio de contexto puede ocurrir en un límite de trama o en un límite de subtrama.

¿Que es un motor de Inferencia? Es lo que llamamos una red neural, un motor para la IA… ¿Pero acaso no tenemos en RDNA 2 la capacidad para ejecutar instrucciones en Int 4 e Int 8? Si, es cierto, pero el soporte de cara a la IA es inferior a la solución de Nvidia. ¡Pero Microsoft no nos ha hablado de dichas unidades en su preview de Xbox Series X! Esto es porque dichas unidades no forman parte de las Compute Units como ocurre con los Tensor Cores de Nvidia en Volta y Turing, su aplicación se limita al codec de video y por tanto en realizar efectos de post-procesado sobre la imagen por lo que no se puede utilizar para hacer asistencia a los Shaders.

La primera utilidad es la de acelerar la velocidad de codificacion y/o descodificación, en el artículo de Digital Foundry respecto a Xbox Series X podemos leer:

El procesador de la Serie X es capaz de ejecutar cuatro sesiones de juego de Xbox One S simultáneamente en el mismo chip, y contiene un nuevo codificador de video interno que es seis veces más rápido que el codificador externo más latente utilizado en los servidores actuales de xCloud.

Es decir, como dijo Phil Spencer en el E3 pasado, el hardware del XCloud y el de Xbox Series X es directamente el mismo.

Lo importante en el juego en la nube es la latencia y en parte de esa latencia esta la codificación en vídeo para ser enviado por streaming al cliente. Esto requiere un aumento considerable en la potencia del codificador de video para que codifique la imagen lo más rápidamente posible y esto se consigue con un aumento considerable de la potencia del mismo.

Pe… pero espera Urian… ¿Como lo sabes? Microsoft nos ha dado una pista sobre ello.

Conversión de SDR a HDR: con Xbox Series X, los juegos existentes de Xbox, incluidos los títulos recientes dentro del programa ID @ Xbox, que ya no tienen soporte HDR nativo recibirán el tratamiento de próxima generación. Xbox Series X es capaz de aprovechar una innovadora técnica de reconstrucción HDR para mejorar los juegos SDR existentes sin el trabajo de los desarrolladores y sin impacto en los recursos disponibles de CPU, GPU o memoria

Para hacer eso, es necesaria una red neural/unidad de inferencia, es más, la negrita es la clave ya nos indica que dicha unidad de inferencia no esta en la GPU ergo es el acelerador del que hablamos.

¿Puede que este acelerador se utilice para el aumento de resolución como el DLSS? Pues lo dudo mucho, necesitarían aumentar enormemente la complejidad del mismo para hacerlo a la suficiente velocidad.

Pe… pero Urian, en esta entrada hablas de Xbox Series X… ¿Que pruebas hay con PS5?

La tecnología es de AMD y no de Microsoft, esto debería responder todas las dudas acerca de la disponibilidad de la tecnología en ambas consolas.

Esto es todo, tenéis el Discord y los comentarios de esta entrada para comentarla.

0 0 vote
Article Rating
4 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
nolgan

o sea que ese sistema nueva de ponerle hdr a todos los juegos noe s propietario de micfrosoft, si no de AMd mas bien.. pues interesa, a ver si sony tb lo tiene estaria bastante bien

Nitupensis

Urian una cosa interesante que han comentado sobre series X, es que el soporte metálico central y los dos pcb del soc y e IO son las mismas que usaran en los blade de xcloud tal cual, solo existirán cambios a nivel de cantidad de memoria instalada lo que les permite un ahorro de costas, según indican hoy ampliaran información en la charla que realizan sobre Series X y Xcloud. otros datos es que la memorias GDDR6 de Series X son del tipo ECC (con control de errores) esta memoria con ECC al parecer indican que ha sido diseñada y… Read more »

Nitupensis

ahora que lo pienso, este quizá sea el motivo de que ayer se comentaran en varios sitios que la consola estaria pensada para montar mas memoria que te puse en una de tus entradas anteriores, supongo que para poder tener 4 estancias virtuales requerirá también aumentar considerablemente la ram del sistema en las consolas destinadas para xcloud con respecto a los modelos comerciales.

Set

Pues no se Urian, yo creo que los INT 8 y 4 si estan usando los mismo CU y no de forma separada en codec de video.

Los datos que ha dado Microsoft son 8bits 48TOPS Y 4 bits 96TOPS, lo cual coincide con subdivir la ALU FP32 de Xbox:

Xbox FP32 = 12 tflops
FP16 = 24 Tflops
INT 8 = 48 Tops
INT 4 = 96 Tops

Saludos.