Crédito: Gwendal Le Bec.

Ahora mismo, en alguna parte, alguien está emitiendo por streaming un vídeo en directo de algo interesante. Gracias a una tecnología que está desarrollando un equipo de investigadores de inteligencia artificial (IA) de Twitter, pronto podremos encontrarlo.

El streaming en directo se está volviendo cada vez más popular gracias a las apps de smartphone como Periscope de Twitter, Meerkat, y, de forma más reciente, Facebook Live. Pero los contenidos de vídeo en directo normalmente no están bien etiquetados ni categorizados, a menudo porque la gente no sabe lo que rodará hasta que la cámara empieza a grabar.

El equipo de IA de Twitter, llamado Cortex, ha desarrollado un algoritmo que puede reconocer instantáneamente lo que sucede dentro de un vídeo en directo. El algoritmo puede averiguar, por ejemplo, si el protagonista del vídeo está tocando la guitarra, utilizando una herramienta eléctrica o realmente es un gato que juguetea para el deleite de su público.

"Los contenidos cambian constantemente en Periscope, y más todavía en los vídeos en directo", comenta el responsable de tecnología de Cortex, Clement Farabet. Enseñó la tecnología de reconocimiento de vídeo a MIT Technology Review en una pantalla que mostraba más de veinte emisiones en directo de Periscope y que estaban siendo etiquetadas en tiempo real.

Identificar el contenido de un vídeo en directo representa una hazaña realmente impresionante. Los investigadores han logrado unos progresos increíbles en los últimos años con el uso de algoritmos que pueden identificar los objetos dentro de las fotos, pero resulta mucho más difícil con los vídeos en directo de distintas calidades. Hacerlo instantáneamente también requiere una considerable potencia computacional. Twitter construyó un superordenador personalizado y compuesto totalmente por unidades de procesamiento gráfico para clasificar vídeos. Estos chips son especialmente eficientes en la ejecución de cálculos matemáticos para aprendizaje profundo, pero normalmente sólo forman parte de un sistema informático más grande.

"Resulta bastante difícil incluso para vídeos estáticos, y para vídeos en directo se necesita mucha potencia computacional", afirma el profesor de la Universidad de Pittsburgh (EEUU) Peter Brusilovsky, que estudia la personalización de contenidos.

Brusilovsky piensa que se necesitan desesperadamente mejores maneras de filtrar este tipo de contenidos. "Los vídeos generalmente no se pueden 'ver por encima' [como sí se hace con un  texto]", explica. "Por tanto, las recomendaciones son muy importantes. De alguna forma esto representa el eslabón perdido del vídeo".

Las recomendaciones de vídeo normalmente muestran al usuario otros que han sido vistos por más usuarios que parezcan tener un gusto parecido (un enfoque conocido como "filtrado colaborativo"). Es un indicador burdo, sin embargo, de los intereses reales y no sirve para los contenidos en directo.

El equipo de Cortex busca desarrollar un sofisticado sistema de recomendaciones para ayudar a filtrar y organizar todo tipo de contenidos compartidos mediante su servicio y en función de las actividades anteriores del usuario. Aunque su tecnología de reconocimiento de vídeo aún no se ha incorporado a ningún producto de Twitter, ya se está probando en Periscope, una app propiedad de Twitter para emitir vídeo en directo desde el smartphone. 

Para hacerlo el equipo emplea un enfoque conocido como aprendizaje profundo para reconocer la actividad captada por los vídeos. El aprendizaje profundo incluye el entrenamiento de una gran red neuronal para que reconozca patrones a partir de un gran número de ejemplos proporcionados por trabajadores contratados para ver y etiquetar los vídeos con palabras claves. El etiquetado proporciona una comprensión semántica bastante compleja de los vídeos. Por ejemplo, un clip con un gato no se clasificaría sólo con la palabra "gato", sino también con "animal", "felino", "mamífero" y más. Esto ofrece una manera más elaborada para explorar los videoclips.

El vídeo en directo se está convirtiendo rápidamente en parte del paisaje de las redes sociales.

Twitter adquirió Periscope en enero de 2015, antes incluso de llegar a lanzarse la app, por una cantidad que según se informa superó los 50 millones de dólares (unos 44 millones de euros). Esto siguió al éxito inicial de Meerkat, otra app asociada con Twitter. Facebook había lanzado su propio servicio de vídeos en directo con anterioridad ese mismo año, y la empresa ha reforzado la presencia de esta prestación este mes al incluirla en la página de inicio que visualizan todos los usuarios.

No existen planes aún para comercializar la tecnología, y Periscope actualmente no ofrece publicidad. Pero no resulta difícil imaginar cómo podría resultar útil para la publicidad al emparejar algorítmicamente los anuncios con los contenidos de los vídeos según se graben y emitan. De hecho, mientras se suban más y más vídeos a internet, el algoritmo podría ayudar a Twitter a personalizar los contenidos de forma mucho más eficaz. De forma notable, este mes la empresa obtuvo los derechos para emitir en directo determinadas secuencias de la Liga Nacional de Fútbol Americano (NFL, por sus siglas en inglés) de Estados Unidos.

El profesor adjunto del Centro Berkman de la Universidad de Harvard (EEUU) y experto en medios y publicidad en línea Ben Edelman considera que la técnica desarrollada por Twitter podría ser importante para filtrar contenidos protegidos por derechos de autor además de contenidos indeseables como pornografía o violencia.

Pero a Farabet le interesa por igual encontrar cosas que la gente sí quiera ver. "Disponer de la capacidad de realmente entender qué te interesa - de forma completamente independiente de quién lo produjo ni cuándo - es una capacidad fundamental de la que realmente queremos disponer", sentencia.