Blog Personal.

Deep Learning, PlayStation 5, PS5

La pieza RDNA2++ que si que se encuentra en el SoC de PlayStation 5

Hace unos días os hable de la mención en un mapa de ruta de AMD del llamado CVML, concretamente en esta entrada:

Pues bien, de todos nos es conocido que Sony presento una nueva cámara para PlayStation 5.

Pues bien, en su día y mucho antes de la presentación de PlayStation 5 por parte de Sony, concretamente en la siguiente entrada del pasado mes de Febrero, justo en la época final del anterior blog.

Sony Interactive tiene una patente titulada “Neural Network Powered Codec” que recuerda enormemente a una de AMD titulada “INTEGRATED VIDEO CODEC AND INFERENCE ENGINE“. En ambos casos se habla del uso de una red neural para la codificación/decodificación de video, lo cual también debería incluir la capacidad de aumentar la resolución e incluso si es necesario realizar la interpolación de fotogramas. ¿Y que hay de Microsoft? En las especificaciones no han hablado nada del uso de redes neurales, pero esperamos a que den la información de ello para saber si han optado por incluir este tipo de unidades en el SoC de Xbox Series X o por el contrario han visto preferible ocupar el espacio con una cantidad de WGP/CUs mayor.

Por otro lado la Red Neural puede ser utilizada de cara al tracking con la nueva cámara, para acelerar el tiempo de interpretación y procesamiento d imagenes de la cámara utilizada para el tracking. Sony tiene otra patente de 2017 y por tanto posterior a PS4 Pro y el PS VR donde hablan de utilizar una red neural para la interpretación de las imágenes capturadas desde una cámara del tipo Kinect. La patente se llama 3D Depth Map y su resumen inicial es suficientemente explicito.

El Machine Learning se aplica tanto a las imágenes 2D de un reflector láser de imágenes infrarrojas de un objeto como al mapa de profundidad 3D del objeto que se genera utilizando las imágenes 2D y la información de tiempo de vuelo (TOF). De esta manera, la precisión del mapa de profundidad 3D se puede mejorar sin aumentar la potencia del láser o sin utilizar imágenes de alta resolución.

Es decir, es la combinación de una cámara al estilo Kinect junto al Machine Learning. Tened en cuenta que la PlayStation Camera no es:

  • Una cámara que capte infrarrojos.
  • Una cámara que funcione por tiempo de vuelo.

Por lo cual tenemos otra cámara, la cual no solamente tiene su utilidad de cara a aumentar la resolución sino que puede utilizarse en la VR para acelerar el tiempo de procesamiento del tracking via cámara y también esta pensado de cara al streaming de los jugadores y es que… Es muy posible que me coma cuervo con esto y me tenga que comer lo que digo pero pienso que Sony podría estar creando una nueva red social al estilo Twitch o Youtube pero para plataformas PlayStation.

La cámara además funcionaría con un bus USB 3.1 que es como minimo unas 10 veces más rápida en ancho de banda que las cámaras USB 2.0 como las del Kinect por lo que permiten una tasa de fotogramas más amplia y a mayor resolución. Es decir, Sony en PS5 se va a cargar el puerto auxiliar de PS4 para la cámara y enviar al ostracismo la actual PS Camera.

La idea de integrar una pequeña cámara de serie no tiene sentido después de lo del Kinect, pero si que tiene sentido si le das las herramientas a la gente para hacer streaming y potenciar una red social basada en ello. De paso su vieja red social de los foros de PlayStation la van a cerrar para abrir lo que yo creo que va a ser su propia red social, como he dicho al estilo Twitch y la incorporación de la cámara es algo muy importante.

Si nos vamos a la página de producto de la Cámara HD de PlayStation 5 vemos como mencionen la función de eliminación de fondo.

Esto es lo mismo que el RTX Broadcast Engine que también utiliza núcleos de Inferencia (los Tensor Cores) para el mismo cometido.

Es decir, la cámara captura la imagen y el codificador de vídeo con motor de inferencia realiza los algoritmos adecuados de IA para poder reemplazar el fondo.

La última pieza de la entrada es otra entrada rápida que hice también hace poco.

Esto es todo, tenéis los comentarios de esta misma entrada para comentar y no olvideis que tenemos Discord.

5 5 votes
Article Rating
2 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
steven

hola esta parte la hacen las unidad decodificador de video especial? https://disruptiveludens.wordpress.com/2019/10/29/los-tensor-de-amd/ perdón si es tonta la pregunta

NobodyInteresting

Puedes discutir el reciente retraso de la supercomoutadora «aurora»?