Una de las cosas que más tiempo lleva en la enseñanza es calificar exámenes y trabajos. Presentamos una interesante herramienta de crowdsourcing creada por Luca de Alfaro y Michael Shavlovsky de la Universidad de California en Santa Cruz (EE.UU.) que traspasa esa carga del profesor a los propios estudiantes.

La nueva herramienta se llama CrowdGrader y está disponible en http://www.crowdgrader.org/.

La idea básica es sencilla. El sitio web de de Alfaro y Shavlovsky permite a los alumnos enviar sus trabajos y los redistribuye a sus compañeros para que los evalúen. Cada estudiante recibe cinco trabajos anónimos que calificar.

Se podría pensar que la calidad del feedback estudiantil será pobre, pero de Alfaro y Shavlovsky tienen un truco útil para que se hagan bien las calificaciones: la nota de cada alumno depende en parte de la calidad del feedback que presentan. En esta prueba, el 25 por ciento de su nota se basaba en sus calificaciones. Es un buen incentivo para que los estudiantes sean justos y coherentes.

Una de las características importantes de la herramienta es que usa un algoritmo reiterativo que calcula la nota de consenso para cada trabajo al mismo tiempo que valora la calidad de la evaluación hecha por cada estudiante comparándola con las evaluaciones de sus compañeros.

De Alfaro y Shavlovsky han probado CrowdGrader en la evaluación de trabajos de codificación en varias de las clases de informática que imparten. Y han comparado los resultados con un grupo de control evaluado por profesores ayudantes.

En general, los resultados son positivos. De Alfaro y Shavlovsky señalan que el feedback que se obtiene mediante crowdsourcing de varios estudiantes distintos es mucho más detallado que cualquier cosa que reciba un alumno de un único profesor.

"Cuando los profesores o sus ayudantes se enfrentan a la tarea de evaluar una gran cantidad de trabajos, el feedback que proporcionan en cada trabajo suele ser limitado", afirman. "Con CrowdGrader, los alumnos tienen acceso a múltiples revisiones de sus trabajos".

Es más, los estudiantes se benefician de ver cómo abordaban el mismo problema sus compañeros.

Aunque también presenta desventajas. Los trabajos evaluados por un profesor ayudante tienden a ser más coherentes, se presta la misma atención a distintos aspectos del trabajo. Y para el estudiante, una gran desventaja es el tiempo extra que tienen que pasar en CrowdGrader.

Sin embargo, de Alfaro y Shavlovsky afirman que las dos opciones de evaluación tienen una calidad similar. "En el caso de los profesores ayudantes, el riesgo es que no prestan atención en la evaluación, a los aspectos en los que se pone más esfuerzo (donde están los fallos); en el caso de las notas adjudicadas mediante crowdsourcing, el riesgo está en la variabilidad inherente al proceso", sostienen.

Parece una forma prometedora de hacer un mejor uso del tiempo de los profesores o sus ayudantes al tiempo que se mejora la experiencia de aprendizaje para el alumno. Evidentemente, un factor importante es la interfaz de usuario y el entrenamiento que recibe cada alumno para hacer las evaluaciones.

Pero con el crecimiento del crowdsourcing tanto como herramienta científica, como de resolución de problemas, hay un número cada vez mayor de ejemplos de cómo hacerlo bien, como la extraordinaria ciencia del crowdsourcing que se está llevando a cabo en Zooniverse.org.

Dados los cambios que se están produciendo en la educación superior en todo el mundo, con el florecimiento de los servicios de enseñanza en línea como Udacity o Kahn Academy, no cuesta imaginar que ideas innovadoras como esta pronto encontrarán un gran público.

Ref: arxiv.org/abs/1308.5273: CrowdGrader: Crowdsourcing para la Evaluación de Deberes