FantasySCOTUS es una liga virtual en línea en la que los concursantes compiten intentando predecir las decisiones tomadas por la Corte Suprema de los EE. UU. Los jugadores se clasifican como en cualquier otra competición y los mejores jugadores pueden ganar premios como un "Mazo de oro" e incluso 10.000 dólares en efectivo (unos 8.400 euros).

Desde 2011, unos 7.000 jugadores han hecho más de 600.000 predicciones sobre el resultado de más de 400 decisiones de la Corte Suprema. Estas personas no necesitan ninguna titulación especial y el registro es gratuito, aunque los premios están limitados a ciudadanos estadounidenses. Los jugadores pueden participar a su antojo, decidiendo en algunas predicciones pero no en otras.

Todo eso lo convierte en un grupo interesante. Los científicos sociales han estado interesados ​​durante mucho tiempo en la inteligencia colectiva: el fenómeno en el que un gran número de individuos, que aparentemente actúan de forma independiente, pueden tomar decisiones juntos sorprendentemente acertadas, a veces incluso mejor que las personas más inteligentes entre ellos de forma individual.

Foto: así es el paisaje de la inteligencia colectiva para predecir las decisiones de la Corte Suprema 

Los científicos saben que, en algunas circunstancias, la inteligencia colectiva es muy precisa, pero que en otras no es mejor que las suposiciones aleatorias y algunas veces es incluso peor. Entonces, ¿cómo es de buena una multitud para predecir las decisiones de la Corte Suprema?

Ahora tenemos una respuesta gracias al trabajo de Daniel Martin Katz en la Facultad de Derecho de Chicago-Kent en Illinois (EE. UU.) y un par de colaboradores, que han recopilado los datos de FantasySCOTUS para determinar lo buena que es la inteligencia colectiva. Y muestran que el crowdsourcing es bastante eficaz para predecir el resultado en una amplia gama de condiciones.

Su método es sencillo. Los investigadores presentan el siguiente escenario:

Imagine que la siguiente historia fuera real. En octubre de 2011 se anunció un premio de un millón de dólares para predecir seis años de decisiones de la Corte Suprema de los Estados Unidos utilizando datos de crowdsourcing. Miles de equipos de la industria y la academia responden al desafío, cada uno de ellos toma decisiones ligeramente diferentes pero razonables sobre cómo emitir sus predicciones.

Katz y coautores se preguntan cómo estos equipos podrían abordar el problema. Algunos equipos pueden seguir la inteligencia colectiva en general, otros pueden elegir un subconjunto de personas influyentes a seguir, otro enfoque podría ser ponderar la influencia de los individuos de acuerdo con su precisión en el pasado, y así sucesivamente. Estos modelos también pueden evolucionar con el tiempo a medida que los equipos aprenden qué tipo de perspectiva funciona mejor.

La pregunta que Katz y sus colegas se hacen es cuán buenos pueden ser estos modelos. Para descubrirlo, crearon una amplia gama de modelos, unos 250.000, y los probaron con los datos de FantasySCOTUS. "Simulamos exhaustivamente los modelos en una amplia gama de opciones razonables y luego analizamos el rendimiento de estos modelos en conjunto", dicen los investigadores.

Luego compararon el rendimiento de los modelos con un "modelo nulo". En este caso, el modelo nulo es una regla práctica que los abogados usan para adivinar el resultado de las decisiones de la Corte Suprema. La regla consiste en suponer que la Corte Suprema revertirá la decisión de cualquier tribunal inferior. Y, de hecho, esto es lo que sucede aproximadamente el 60% de las veces.

El análisis muestra, sin embargo, que los modelos de crowdsourcing son mejores. Katz y compañía afirman que muchos modelos superan al modelo nulo y el mejor predice las decisiones de la Corte Suprema con un 80% de precisión. "Brindamos un fuerte respaldo a la afirmación de que el crowdsourcing puede predecir de manera precisa y sólida las decisiones de la Corte Suprema de los Estados Unidos", afirman. El equipo planea usar el mismo método para predecir el resultado de otros procesos legislativos e incluso elecciones.

Sin embargo, el trabajo no proporciona información sobre las debilidades de la inteligencia colectiva. Por ejemplo, la inteligencia colectiva a menudo se deshace cuando las opiniones de los individuos se correlacionan, cuando se influyen demasiado entre sí. Esto puede resultar en situaciones desastrosas, como cuando los grupos grandes tienen opiniones irracionales o incorrectas bajo el dominio del pensamiento grupal. Por supuesto, lo más interesante está entre estos extremos: entre la sabiduría y la locura. Por eso, comprender cómo y cuándo se desbarata la sabiduría podría ser una vía interesante para el trabajo futuro.

Ref: arxiv.org/abs/1712.03846 : Crowdsourcing Accurately and Robustly Predicts Supreme Court Decisions