Recientemente, sin embargo, investigadores de la Univesity of Califo ia (UC), en Davis y el Laboratorio Nacional Lawrence Livermore anunciaron que desarrollaron software que facilita el análisis y visualización de conjuntos de datos enormes sin la necesidad de un súper-ordenador. El algoritmo de los investigadores fracciona los datos en lotes más manejables, y luego los vuelve a unir al voleo, para que los datos se puedan manejar en tres direcciones, todo eso en un ordenador con el poder y la capacidad de un portátil caro.
El algoritmo del equipo ofrece un método práctico para obtener información estructural respecto de los materiales, las proteínas, y los fluidos, dice Attila Gyulassy, el investigador de la UC en Davis, que dirigió el proyecto. Él dice que le permite a los usuarios “visualizar, rotar, aplicar distintas funciones de transferencia y destacar distintos aspectos de los datos interactivamente”.
Vease la galería de fotos aquí.
El software emplea una herramienta matemática llamada el complejo Morse-Smale, que se ha estado usando durante alrededor de 4 años para extraer y visualizar elementos de conjuntos de datos grandes al clasificarlos por segmentos que contienen características matemáticas similares. Pero si bien hace décadas que se conoce al complejo Morse-Smale, normalmente exigía cantidades enormes de memoria para realizar los cálculos necesarios en el ordenador.
Gyulassy y sus colegas han hallado una solución al problema al escribir un algoritmo que fracciona un conjunto de datos antes de utilizar el complejo Morse-Smale, y luego vuelve a unir los conjuntos. Esto significa que sólo se necesitan pocos datos en cada paso, así que se tiene que almacenar mucho menos en la memoria. Como resultado, el software se puede ejecutar en un ordenador de escritorio que tenga tan sólo dos gigabytes de memoria.
Peter Schröder, un profesor de informática en el Instituto de Tecnología de Pasadera, dice que la memoria es uno de los grandes factores limitantes cuando se trata de realizar un análisis complejo de conjuntos de datos enormes. “Ni siquiera puedes meter todo eso en la memoria, pero los investigadores lo resolvieron”, dice.
Schröder agrega que, si bien el software nuevo no es la única herramienta de visualización de datos de la cual se dispone, parece particularmente poderosa y práctica para ciertas aplicaciones científicas. Algoritmos como éste están cambiando la ciencia, y agrega: “Las cosas que solían considerarse muy abstractas o muy locas para utilizar en el análisis de datos no sólo se están transformando en algoritmos, sino en algoritmos prácticos”.
Gyulassy dice que su equipo tiene planes de abrir una librería de código abierto de software para fines de marzo para que otros investigadores puedan aprovechar este método, y modificarlo para cubrir sus necesidades.