Wikipedia se ha convertido en una enciclopedia con muchos artículos de gran calidad sobre una amplia gama de tópicos en más de 200 idiomas. Pero también contiene artículos de mala calidad y dudosa veracidad.

Esto hace que los visitantes al sitio se planteen la siguiente pregunta: ¿Cómo de fiable es un artículo de Wikipedia?

La semana pasada obtuvimos una respuesta gracias al trabajo de Xiangju Qin y Pádraig Cunningham del University College en Dublín (Irlanda). Estos chicos han desarrollado un algoritmo que evalúa la calidad de las páginas de Wikipedia a través de la autoridad de los editores implicados y la longevidad de sus ediciones.

"La hipótesis es que las páginas con contribuciones significativas hechas por editores con una autoridad contrastada tienen más probabilidad de ser una página de gran calidad", afirman. Dada esta información, los usuarios de la Wikipedia deberían poder juzgar la calidad de cualquier artículo con mucha más precisión.

Ya ha habido varios grupos que han estudiado la calidad de los artículos de Wikipedia y cómo medirla. La novedad en este caso deriva de combinar medidas existentes de una nueva forma.

Qin y Cunningham empiezan con un método estándar de medir la longevidad de una edición. La idea es que una edición de calidad tiene más probabilidades de sobrevivir a revisiones futuras. La midieron combinando los datos relativos al tamaño de la edición llevada a cabo por un autor determinado, y cuánto tiempo dura dicha edición después de otras revisiones.

El vandalismo es un problema frecuente en la Wikipedia. Para sortearlo, Qin y Cunningham ignoran todas las contribuciones anónimas y también toman una medida media de calidad que tiende a reducir el impacto de las ediciones malintencionadas.

A continuación miden la autoridad de cada editor. Wikipedia es conocida por tener una cantidad relativamente pequeña de editores dedicados que tienen un papel fundamental en la comunidad. Estas personas ayudan a mantener varios estándares de edición y diseminan este conocimiento por toda la comunidad.

Qin y Cunningham dan por supuesto que en esta comunidad existe una relación entre dos editores si ambos son coautores de un artículo. Así, inevitablemente, los editores con mayor experiencia tienden a estar mejor conectados en la red.

Hay varias formas de medir la autoridad. Qin y Cunningham observan la cantidad de editores con los que está relacionado un editor determinado. Evalúan la proporción de caminos más cortos a través de la red que pasan por un editor dado. Y usan un algoritmo iterativo parecido al de Pagerank para medir la autoridad (Pagerank es el algoritmo de Google en el que una página web se considera importante si otras páginas web importantes conducen a ella). Por último, combinan las métricas de longevidad y autoridad para producir una medida de la calidad del artículo.

Para comprobar la eficacia de su sistema de evaluación, usaron su algoritmo para evaluar la calidad de más de 9.000 artículos que ya han sido evaluados por editores de la Wikipedia. Afirman que la longevidad de una edición en sí misma ya es un buen indicador de la calidad de un artículo. Sin embargo, al tener en cuenta la autoridad de los editores, mejora la evaluación.

"Los artículos con contribuciones significativas por parte de editores de autoridad tiene mayor probabilidad de ser de calidad, y los artículos de calidad suelen implicar una mayor comunicación e interacción entre contribuidores", concluyen.

Existen limitaciones, por supuesto. Un tipo de edición habitual, denominada revertir, cambia un artículo a su versión anterior, lo que elimina una edición por completo. Es una función que se suele usar para deshacerse del vandalismo. Qin y Cunningham admiten: "Por ahora no tenemos un tratamiento especial para manejar las ediciones revertidas que no añaden contenido nuevo a una página". Así que queda trabajo por hacer en el futuro.

Sin embargo, el nuevo método podría ser una herramienta útil en el arsenal de los editores de Wikipedia. Qin y Cunningham sugieren que podría servir para identificar nuevos artículos con una calidad relativamente buena y también artículos existentes que son de una calidad especialmente mala y que necesitan más atención.

Con el declive de la fuerza de trabajo de Wikipedia, las herramientas de edición automatizadas tienen un valor evidente a la hora de reducir la carga de trabajo para los editores que quedan. Una pregunta más general es cómo de buenas pueden llegar a ser estas herramientas y cómo deberían usarse en este tipo de empresas colectivas.

Ref: arxiv.org/abs/1206.2517: Evaluar la Calidad de Páginas de Wikipedia Usando Longevidad de la Edición y Preeminencia del Contribuidor