IMMERSIVE TV


  • Calculo de mapa de profundidad en un video
  • Integracion de Objetos 3D
  • Integracion de objetos 3D sintéticos
  • Prueba piloto de escenario salón
  • Vista panorámica en escenario cueva

Proyecto cofinanciado por el Fondo Europeo de Desarrollo Regional (FEDER) y por el Ministerio de Industria, Energía y Turismo, dentro del Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica 2008-2011 (Referencia Nº TSI-020302-2010-61).


Fecha comienzo: 
De Viernes, 1 Enero 2010 hasta Martes, 31 Diciembre 2013
Estado: 
Finalizado
Una aproximación a los medios inmersivos

El objetivo del proyecto es investigar sobre las tendencias de producción de contenidos digitales inmersivos y toda la cadena de valor involucrada (producción, transmisión y recepción), desarrollando la interactividad e inmersvidad más allá de la actual 3D, que es meramente “bidimensional”. De este modo, se pretende que el usuario final experimente la sensación de pertenecer al propio escenario que está visualizando, pudiendo interactuar con él en cualquier dirección espacial.

 

La innovación en el consumo de medios ha sido una constante evolución en los últimos años y décadas. Desde la televisión en color, a la televisión interactiva, la digitalización de los medios, el reciente desarrollo comercial de la Alta Definición, y de una manera más cercana, el desarrollo de contenidos en tres dimensiones. Uno de los aspectos clave en la convergencia vividos en los últimos años, ha sido la evolución de la realidad virtual de un modo inmersivo (generalmente enfocada a sectores de juego) a los contenidos tradicionales.

Resultados:

Como resultado del proyecto y para la validación del mismo, se ha llevado a cabo el diseño y la implementación de dos escenarios piloto: CAVETM y SALÓN.

El escenario CAVETM consiste en una experiencia inmersiva basada en una vista panorámica de la ciudad de Barcelona, utilizando el sistema I-Space disponible en el CeDInt para su visualización. En dicha experiencia, el usuario puede interactuar con el escenario a través de modelos 3D sintéticos. De esta forma, se permite posicionarlos e integrarlos libremente en la escena de vídeo teniendo en cuenta la información de profundidad y las posibles oclusiones que se producen. Como parte de la experiencia, se incluye otro tipo de información multimedia como pueden ser imágenes 3D y audio asociado al contenido interactivo.

inmersive_cave.jpg

Figura 1. Vista panorámica de Barcelona correspondiente al escenario CAVETM

inmersive_didi.png

Figura 2. Integración de objetos 3D sintéticos en el vídeo

En cuanto al escenario SALÓN, se ha diseñado una prueba piloto que contempla el trabajo realizado en todos los eslabones de la cadena de valor para los contenidos de televisión inmersivos. El contenido en este caso consiste en la visualización de un partido de fútbol grabado en alta definición y formato estereoscópico, que se codifica y retransmite en vivo utilizando un modulador DVB. Este flujo de vídeo puede ser recibido tanto en el terminal de visualización principal (TV en alta definición) como otros dispositivos adicionales (tablets, móviles, etc.) que se encuentran conectados a través de la red local. La señal de vídeo transmitida, incluye otros contenidos adicionales que contribuyen a aumentar la experiencia inmersiva como estadísticas asociadas, comandos para la actuación sobre dispositivos domóticos y modelos 3D interactivos y sincronizados con eventos puntuales del partido.

inmersive_pilot.jpg

Figura 3. Prueba piloto del escenario SALÓN durante el congreso JVRC 2012

El trabajo del laboratorio de Realidad Virtual del CeDInt ha ido enfocado principalmente a la inclusión e integración del contenido sintético 3D dentro del vídeo en alta definición. Para ello se han investigado e implementado diferentes tecnologías y algoritmos que se resumen en la siguiente lista:

  • Estimación de mapas de profundidad a partir de fuentes de vídeo estereoscópicas.
  • Generación de secuencias de vídeo panorámicas a partir de múltiples capturas correspondientes a vistas solapadas.
  • Integración de elementos 3D interactivos en tiempo real teniendo en cuenta la información de profundidad para el cálculo de oclusiones.

inmersive_prof1.png

Figura 4. Cálculo de mapa de profundidad para un frame de vídeo en el escenario SALÓN

inmersive_integ.jpg

Figura 5. Integración de objetos 3D en el escenario SALÓN

Vídeo 1. Demostración de los resultados en entorno CAVETM

 

Vídeo 2. Demostración de los resultados en entorno doméstico.

Realidad Virtual/Virtual Reality