Recopilar datos sobre las preferencias y las actividades humanas es el pan de cada día de gran parte de la investigación dentro de las ciencias sociales. Sin embargo, desde hace bastante tiempo se lleva debatiendo cuál es la mejor forma de recopilar estos datos.

Los científicos sociales tienen esencialmente dos opciones. Por un lado, están las encuestas de opinión pública basadas en un conjunto de preguntas de opción múltiple, un enfoque denominado como cerrado. Por otro, existen otros enfoques abiertos en forma de entrevistas libres en las que los encuestados pueden decir lo que piensan. Cada uno de estos métodos tiene claras ventajas y desventajas.

El investigador de la Universidad de Princeton en Nueva Jersey (EEUU), Matthew Salganik, y el investigador Universidad de Nueva York (EEUU), Karen Levy, acaban de proponer una forma completamente nueva de recopilar datos, inspirada en una nueva generación de sistemas de agregación de información al estilo de Wikipedia. "Nos imaginamos una encuesta en constante evolución, impulsada por las contribuciones de los encuestados, del mismo modo que Wikipedia evoluciona con el tiempo gracias a las contribuciones de los participantes", aseguran.

Señalan que el nuevo enfoque puede aportar información que sería difícil de obtener con otros métodos. Pero también presenta dificultades para los científicos sociales, en particular a la hora de analizar los datos recogidos de esta manera.

Proyectos como Wikipedia son el resultado de contenido generado por usuarios a escala masiva. La cuestión que Salganik y Levy plantean es si las encuestas también pueden construirse por los mismos encuestados, al menos en parte.

Para averiguarlo, han desarrollado un nuevo tipo de mecanismo de recolección de datos que denominan como encuesta wiki. Comienza con una serie de preguntas base, pero permite a los encuestados añadir sus propias preguntas a medida que la encuesta evoluciona.

Esta encuesta wiki tiene una forma particular ya que pide a los encuestados elegir entre dos opciones como por ejemplo si prefieren la opción A o la B. Pero lo más importante es que también pueden agregar un nuevo elemento que se presentará después a los futuros participantes. Así que, conforme pasa el tiempo, el número de elementos entre los que elegir aumenta a medida que los encuestados sugieren sus propias ideas.

Este tipo de encuesta de comparación por pares tiene varias ventajas. Salganik y Levy señalan que el formato permite a los participantes responder a tantas opciones como deseen. A esta propiedad la llaman codicia.

Este tipo de encuesta también permite un aspecto de colaboración único en el que los encuestados pueden aportar nuevos elementos siempre que lo deseen. Por último, las opciones que se presentan a los nuevos participantes pueden ser seleccionadas de forma que se maximice el aprendizaje basado en las respuestas anteriores, para poder adaptar la encuesta wiki a medida que evoluciona.

Para probar la idea, Salganik y Levy crearon un sitio web gratuito llamado www.allourideas.org en el que cualquier persona puede crear una encuesta wiki de comparación por pares y conseguir encuestados a partir de un público objetivo al que se le anima a participar. Desde 2010, este sitio web ha acogido unas 5.000 encuestas wiki de comparación por pares, que han incluido 200.000 opciones y han cosechado 5 millones de respuestas.

Salganik y Levy describen en detalle el ejemplo de una encuesta realizada por la Oficina de Planificación y Sostenibilidad a Largo Plazo dirigida por el alcalde de Nueva York (EEUU). Esta organización quería entender las ideas de los residentes sobre el plan de sostenibilidad de la ciudad e integrar nuevas ideas.

La Alcaldía comenzó con una lista de 25 elementos iniciales y pidió a los usuarios hacer comparaciones por pares, animándolos al mismo tiempo a añadir sus propias ideas. Por ejemplo, se pidió a la gente elegir entre "abrir los patios escolares en toda la ciudad como parques infantiles públicos" y "aumentar el objetivo de plantación de árboles en barrios con altos índices de asma".

A lo largo de cuatro meses, 1.436 encuestados aportaron más de 30.000 respuestas y 464 nuevas ideas a la encuesta. Al final de la encuesta, ocho de las diez ideas con puntuación más alta habían sido aportadas por los propios encuestados.

Entre ellas había ideas que probablemente no habrían surgido con otros métodos de recolección de datos, como "mantener limpia el agua potable de Nueva York mediante la prohibición de la fractura hidráulica en la cuenca de Nueva York" y "conectar los barcos a la red eléctrica para que no sean improductivos cuando estén en el puerto, reduciendo así emisiones equivalentes a 12.000 coches por barco".

Salganik y Levy se apresuran a señalar que su método requiere una investigación más sustancial.

En particular, es necesario entender mejor la consistencia y validez de las respuestas que generan. Esto podría hacerse mediante la comparación de los resultados con los recogidos por otras formas de recolección de datos.

Es más, analizar los datos de las encuestas wiki con comparación de pares sigue siendo de algún modo un experimento estadístico. Además, para la comunidad estadística es una especie de desafío poder encontrar formas más eficientes de extraer información con este tipo de proceso.

Es un nuevo e interesante enfoque que permite recoger datos que serían difíciles de obtener por otros métodos. En particular, permite recoger los datos de una forma que refleja la conocida distribución de colaboradores de larga cola.

Por ejemplo, en Wikipedia la mayor parte de la información es intuida por una pequeña proporción de editores. "Si Wikipedia permitiera solo 10 ediciones por editor, de forma similar al modo en que una encuesta requiere que los encuestados completen solo un formulario, excluiría el 95% de las ediciones", afirman Salganik y Levy.

Por supuesto, este tipo de sesgo debe tenerse en cuenta cuando se trata del análisis de datos. Y ahí radica una dificultad importante. Es hora de que los estadísticos se pongan manos a la obra.

Ref: arxiv.org/abs/1202.0500 : Wiki Surveys: Open And Quantifiable Social Data Collection