Foto: El software combina datos de sensores que hacen un seguimiento de las partes superior e inferior de la cara y colocan los resultados sobre un modelo en 3D de una cara.

La realidad virtual se va a sazonar con un poco de realidad social.

Investigadores de la Universidad de California del Sur (EEUU) y la división Oculus de Facebook han demostrado una forma de seguir las expresiones faciales de alguien que lleva un casco de realidad virtual para transferirlas a un personaje virtual. Esta posibilidad podría hacer que socializar, trabajar o jugar en mundos virtuales sea mucho más satisfactoria, dado que la expresión de un doble virtual o un avatar alienígena podría imitar perfectamente la cara de una persona.

El sistema sigue el movimiento de la boca de una persona usando una cámara 3D enganchada al casco mediante una pequeña extensión. Los movimientos de la parte superior de la cara se registran mediante medidores de presión añadidos a la gomaespuma que forra el casco en la parte que está en contacto con la cara. Tras combinar estas dos fuentes de datos, se puede usar una representación precisa en 3D de los movimientos faciales del usuario para animar a un personaje virtual, ya sea una persona artificial, u otro personaje no humano.

Esto es algo que podría hacer más atractiva la interacción en mundos virtuales, según el profesor ayudante en la Universidad de California del Sur que ha dirigido el proyecto, Hao Li. "Para conseguir un entorno social virtual, quieres transmitir tu comportamiento a los demás", explica. "Este es el primer ejemplo de seguimiento de los gestos que se ha demostrado usando un casco". Li fue escogido como uno de los innovadores jóvenes de MIT Technology Review en 2013.

El director ejecutivo de Facebook, Mark Zuckerberg, ha afirmado que le interesa que el casco de realidad virtual Oculus Rift dé lugar a nuevas formas de socializar, aunque no ha dado más detalles. La red social adquirió Oculus el año pasado (ver Qué ve Zuckerberg en Oculus Rift).

Li explica que los investigadores de Oculus trabajaron con él simplemente como un ejercicio de investigación, pero que no costaría demasiado pulir el sistema que han inventado para crear un producto comercial. "Si la gente cree que esto es verdaderamente clave para conseguir aplicaciones fantásticas, podría añadirse a la producción relativamente rápido", afirma.

El fundador de Second Life y ahora director ejecutivo de una start-up de mundos virtuales llamada High Fidelity, Philip Rosedale, afirma que lo que han conseguido es "muy guay". Su empresa está trabajando en la consecución de interacciones sociales realistas mediante cámaras web y otra tecnología de sensores para seguir las expresiones faciales y los gestos de brazos y manos (ver En un nuevo mundo virtual tu avatar se comporta como tú).

Ya existen pruebas de que hacer que un avatar exprese el lenguaje corporal real del usuario sirve para conectar con otras personas en un mundo virtual, explica Rosedale. Y está de acuerdo con Li en que debería poderse producir fácilmente esta primera prueba de concepto. La cámara se podría integrar en la parte inferior del casco, por ejemplo. Otros proyectos de investigadores y start-ups para colocar cámaras dentro de cascos de realidad virtual podrían ofrecer una alternativa para reunir datos sobre la parte superior de la cara.

El eje del sistema de Li es un software capaz de combinar datos de los sensores que hacen un seguimiento de las partes superior e inferior de la cara y colocar los resultados sobre un modelo en 3D de una cara.

Ahora mismo ese software exige que te sometas a un intenso proceso de calibrado la primera vez que usas el sistema. Empiezas por darle a los músculos de tu cara una sesión de 10 minutos de ejercicios contorsionándolos para formar algunas expresiones, llevando el casco sin la pantalla delante de una cámara 3D para que pueda tener una visión completa de tu cara. A continuación te pones el casco completo y tienes otros 10 segundos de ejercicios. Los datos reunidos ayudan al software a averiguar cómo unir correctamente los flujos de datos de las partes superior e inferior de tu cara.

Li explica que está trabajando para eliminar ese paso proporcionando a su software más datos sobre caras distintas. También está trabajando sobre otras técnicas que podrían facilitar el hecho de copiarte a ti mismo en un mundo virtual. Ya se han desarrollado muchas herramientas para producir réplicas en 3D de los cuerpos y caras de la gente usando cámaras convencionales y 3D. Hace poco Li creó un sistema que aborda la tarea más difícil de hacer una recreación realista en 3D del peinado de una persona. Su software es capaz de hacerlo usando una única foto. Ese proyecto y la investigación de seguimiento de la cara se presentarán en la conferencia de gráficos de ordenador Siggraph en Los Ángeles (EEUU) el próximo mes de agosto.