Poco después de que Microsoft lanzase el dispositivo de juegos Kinect, los hackers encontraron la manera de extraer los datos en bruto del sistema, ampliando radicalmente sus usos potenciales. Diversos entusiastas han utilizado el hardware para dibujar garabatos en 3-D en el aire con movimientos de las manos, para jugar con personajes virtuales en la pantalla, y para permitir a un robot reconocer gestos y hacer un mapa de su entorno.

Sin embargo uno de los mayores objetivos de los hackers del Kinect—controlar un ordenador con gestos—está resultando difícil de lograr.

Los investigadores del Media Lab del MIT han creado una nueva extensión para el navegador Chrome que permite a los usuarios interactuar con cualquier página web a través de un Kinect conectado a un ordenador. Su proyecto es un caso de prueba que explora las promesas y las limitaciones del hecho de hackear el periférico de juegos de Microsoft para usos distintos a los juegos.

La extensión, llamada DepthJS, utiliza JavaScript para traducir un pequeño número de gestos con las manos en comandos que pueden ser ejecutados por el navegador. Por ejemplo, un rápido movimiento del brazo a la izquierda cambia entre ventanas abiertas en el navegador. Abrir y cerrar una mano rápidamente actúa como un clic del ratón.

El objetivo no es realmente utilizar el Kinect como medio práctico para navegar por la red. En vez de eso, DepthJS tiene la intención de actuar como interfaz entre una variedad de aplicaciones web y los gestos captados por Kinect.

"Hacer que los eventos del Kinect se usen en el navegador tiene que ver con la reducción del coste de entrada de la exploración y creación de aplicaciones que utilicen información relacionada con la profundidad", afirma Doug Fritz desde el grupo Fluid Interfaces en el MIT, y que trabajó en el proyecto. Los usuarios de ordenadores pasan la mayor parte de su tiempo en el navegador de Internet, señala Fritz. Y la mayoría de los programadores de ordenadores (sobre todo los desarrolladores web) saben cómo utilizar JavaScript. Esto crea un fácil punto de entrada para la programación del Kinect.

Un problema es que, a diferencia del ratón, el teclado o una pantalla táctil, no existe un vocabulario amplio (o naturalmente intuitivo) reconocido para la informática gestual. Microsoft ha desarrollado un pequeño número de gestos para que los usuarios del Kinect naveguen por los menús y los distintos contenidos mediáticos de la Xbox.

"La mayoría de nosotros no había utilizado un Kinect con la Xbox antes de empezar a trabajar, por lo que el lenguaje de gestos que Microsoft ha desarrollado no fue un problema para nosotros", afirma Fritz. El equipo se inspiró en los gestos multitouch del iPhone y el trabajo del pionero de la informática en 3-D John Underkoffler. Sorprendentemente, algunos de los gestos creados para DepthJS son similares a los que ingenió Microsoft. "En este momento estamos en ese estado de rápido cambio donde la gente mezcla técnicas familiares de interacción con lo que sienten como algo natural", señaló Fritz.

Limor Fried y Phillip Torrone desde Adafruit Industries, una empresa que suministra equipos a hackers de hardware, ayudó a lanzar la carrera por hackear el Kinect con una recompensa de 3.000 dólares para el software que pudiera conectar el dispositivo a un ordenador normal.

Ambos están entusiasmados con el futuro del Kinect como sensor generalizado para cualquier cosa, desde la robótica de alta gama hasta proyectos de arte. Los desarrolladores han creado un flujo continuo de videos de diferentes aplicaciones utilizando el Kinect. "Estos videos son en realidad una prueba de concepto que muestra algunas de las posibilidades de desarrollo," explica Fried.

Uno de los videos más populares es el de un muñeco interactivo en 3D. "Es divertido, es intuitivo, y es algo que sería muy difícil de hacer sin este componente tan barato y de acceso general. A medida que bajamos las barreras, la gente se hace más creativa".

Fritz, desde el MIT, se apresura a señalar que la computación con interfaz de usuario natural en tres dimensiones utilizando programas de reconocimiento gestual y sensores de profundidad ha estado siendo investigada en la comunidad científica desde hace años. El Kinect es un dispositivo rompedor en términos de empaquetado e implementación de estas tecnologías para los consumidores. Cuanto más se familiaricen los usuarios con él, más probable es que se traduzca a ámbitos más allá del juego.

"El teclado y el ratón no se van a ir a ninguna parte, pero hay amplio espacio para algo más, y creo que la gente está lista para eso", afirma Fritz.

Sin embargo, cualquier esfuerzo por traducir los gestos en la pantalla, inevitablemente, se tropieza con el hecho de que somos seres tridimensionales tratando de interactuar con un mundo en dos dimensiones. La mayoría de los juegos Kinect resuelven este problema haciéndonos coincidir con un avatar en la pantalla que imita nuestros movimientos. Ya sea que estemos bailando, jugando al voleibol, o haciendo rafting en aguas bravas, los personajes en la pantalla realizan una versión estilizada de nuestros movimientos fuera de la pantalla.

Una solución podría ser el uso de proyectores de luz para crear objetos virtuales en el espacio real con los que pudiéramos interactuar. Microsoft Research ha tomado ya una serie de pasos en esta dirección con su Mobile Surface, un entorno multi-touch basado en un proyector.