Los diccionarios bilingües generalmente son vías de dos sentidos: puedes buscar una palabra en Inglés y hallar, digamos, su equivalente en Español, pero también puedes hacer lo inverso. Sin embargo, los diccionarios de lenguaje gestual solo pasan de las palabras escritas a los gestos. Esto puede ser muy frustrante, especialmente para padres de hijos sordos que quieren comprender los gastos que desconocen, o para las personas sordas que quieren interactuar online utilizando su lenguaje primario. Así que los investigadores de la Boston University (BU) están desarrollando un diccionario de búsqueda de lenguaje gestual en el cual cualquier usuario puede ingresar un gesto al motor de búsqueda del diccionario desde su propio laptop al realizar el gesto frente a una cámara incorporada.

“En YouTube puedes tener una colección de gestos de lenguaje, pero para buscar, debes hacerlo en Inglés”, dice Stan Sclaroff, un profesor de informática en la BU. Él dice que, “es como buscar un texto en Español utilizando traducciones al Inglés. No es natural ni justo”.

Sclaroff está desarrollando el diccionario en colaboración con Carol Neidle, una profesora de lingüística en la BU. Cuando el usuario realiza el gesto, el diccionario lo analizará y responderá con cinco coincidencias posibles y sus significados.

“El reconocimiento del leguaje gestual actual está más o menos en la misma etapa en que el reconocimiento del leguaje se hallaba hace 20 años”, agrega Thad Starner, director del Grupo de Computación Contextual en el Instituto de Tecnología de Georgia. El grupo de Starner ha estado desarrollando software de reconocimiento de lenguaje textual para niños, utilizando guantes cubiertos con sensores para rastrear los movimientos de las manos. Sus estudiantes y él desarrollaron juegos didácticos a través de los cuales los niños con problemas de audición podían aprender el lenguaje gestual, utilizando los guantes. Un ordenador evalúa la forma de la mano y pasa al ejercicio siguiente si el niño hizo el gesto correctamente.

A diferencia del trabajo de Starner, la meta del trabajo de Sclaroff y Neidle es un sistema sin sensores en el cual cualquiera que tenga una cámara y una conexión a Internet, puede aprender el lenguaje gestual e interactuar. Según Starner, el método es único en el reconocimiento del lenguaje gestual, así como también en el campo de la visión por ordenador. 

“Esto exige mucha capacidad de procesamiento, y tratar con el lenguaje gestual con calidades de video diferentes puede ser muy difícil. Así que si tienen éxito, podría ser muy guay recorrer la Red utilizando leguaje gestual”, comenta Starner.

Para enfrentar este desafío difícil, el equipo de la BU le está pidiendo a muchos expertos en comunicación gestual que se sienten en un estudio, de uno a uno y que realicen 3.000 gestos clásicos del diccionario de Leguaje Gestual Estadounidense (ASL). A medida que gesticulan, cuatro cámaras de alta velocidad y alta calidad registran simultáneamente imágenes de frente y de perfil, así como las expresiones faciales. Según Neidle, sonreír, fruncir el ceño y levantar las cejas son una parte del ASL que no se estudian lo suficientemente, que podrían indicar claves importantes respecto al significado del gesto.

A medida que van ingresando los datos visuales, Neidle y sus estudiantes los analizan, marcando el inicio y final de cada gesto, e identifican los “subgestos” claves, unidades equivalentes a los fonemas de Inglés. Mientras tanto, Sclaroff está utilizando esta información para desarrollar algoritmos que, digamos, pueden diferenciar entre la mano de quien gesticula y el fondo, o reconocer la posición de la mano y la forma y patrones del movimiento. Dado que cualquier individuo puede gesticular una palabra de una forma ligeramente diferente, el equipo está analizando los gestos de gesticuladores nativos y no-nativos, con la esperanza de desarrollar un ordenador reconocedor que pueda manejar esas variaciones.

Sclaroff dice que el desafío principal, a partir de ahora, puede ser tener en cuenta los numerosos factores que no se pueden controlar del lado del usuario de la interfaz. Por ejemplo, que alguien que esté usando un gesto para realizar una búsqueda a través de un portátil tenga una cámara de baja calidad. El fondo puede estar más atestado de cosas que el entorno cuidadosamente controlado de un estudio, en los ejemplos de la base de datos, y el ordenador tendrá que ajustarse a variables como puede ser la vestimenta y el color de la piel.

“El hecho de realizar un gesto y buscarlo, esa es la verdadera novedad que estamos tratando de lograr. Esa sería una mejora sobre cualquier cosa que existe actualmente”, concluye Neidle.