A principios de esta primavera, en el servidor de preprint medRxiv apareció un artículo sobre el pronóstico del coronavirus (COVID-19) firmado por una lista de 256 autores.

Al final de dicha lista estaba el bioestadístico e investigador de enfermedades infecciosas de la Universidad de Massachusetts en Amherst (EE. UU.) Nicholas Reich. El artículo presentaba los resultados de un gran proyecto de modelado que Reich ha codirigido junto su colega Evan Ray, desde los primeros días de la pandemia. El proyecto comenzó con intentos de comparar varios modelos online que hacían previsiones a corto plazo sobre la COVID-19, de una a cuatro semanas hacia adelante, de las tasas de contagio, hospitalizaciones y muertes. Todos utilizaron diferentes fuentes de datos y métodos y generaban pronósticos muy distintos.

Reich, que también hace malabares y es aficionado a los puzles, recuerda: "Pasé algunas noches mirando las estimaciones en los navegadores en varias pantallas, intentando realizar una comparación simple. Fue imposible".

En un esfuerzo por estandarizar el análisis, el laboratorio de Reich, en colaboración con los Centros para el Control y la Prevención de Enfermedades de EE. UU. (CDC, por sus siglas en inglés), lanzó en abril de 2020 "COVID-19 Forecast Hub" (Centro de Predicción de la COVID-19) que agrega y evalúa los resultados semanales de muchos modelos y luego genera un "modelo conjunto". El resultado del estudio, según Reich, es que "confiar en los modelos individuales no es el mejor método. Combinar o sintetizar varios modelos ofrece las predicciones más precisas a corto plazo".

"Cuanto más nítida sea la definición del objetivo, menos probabilidades hay de encontrarlo", Sebastián Funk.

El objetivo de los pronósticos a corto plazo consiste en considerar la probabilidad de diferentes trayectorias en el futuro inmediato. Esta información es crucial para que las agencias de salud pública tomen decisiones e implementen políticas, pero es difícil de lograr, especialmente durante la pandemia, en medio de una creciente incertidumbre.

El epidemiólogo de enfermedades infecciosas de la Escuela de Higiene y Medicina Tropical de Londres (Reino Unido) Sebastian Funk coincide con el gran médico sueco Hans Rosling, quien al reflexionar sobre su experiencia ayudando al Gobierno liberiano a combatir la epidemia de ébola de 2014, afirmó: "Nos perdíamos en los detalles... Lo que necesitábamos saber era si el número de casos subía, bajaba o se estabilizaba".

"Eso no es siempre una tarea simple, dado que el ruido en diferentes flujos de datos puede oscurecer las verdaderas tendencias", explica Funk, cuyo equipo contribuye al mencionado centro de previsión de EE. UU., y en marzo pasado él mismo lanzó uno paralelo, el European COVID-19 Forecast Hub, en colaboración con el Centro Europeo para la Prevención y el Control de Enfermedades.

Dar en el blanco

Hasta la fecha, el Centro de Predicción de la COVID-19 de EE. UU. ha incluido contribuciones de aproximadamente 100 equipos internacionales, del mundo académico, de la industria y gubernamentales, así como de investigadores independientes. La mayoría intenta reflejar lo que ocurre en el mundo con un marco epidemiológico estándar. Otros utilizan modelos estadísticos que procesan números en busca de tendencias o distintas técnicas de aprendizaje profundo; algo de mezclar y combinar.

Todas las semanas, cada equipo envía no solo un pronóstico de puntos que predice un resultado de un único número (por ejemplo, que en una semana habrá 500 muertes). También presentan previsiones probabilísticas que cuantifican la incertidumbre al estimar la probabilidad del número de casos o muertes en intervalos, o rangos, que se vuelven cada vez más estrechos, apuntando a un pronóstico central. Por ejemplo, un modelo podría predecir que hay un 90 % de probabilidad de tener de entre 100 y 500 muertes, un 50 % de probabilidad de entre 300 y 400, y un 10 % de probabilidad de entre 350 y 360 fallecimientos.

"Es como los círculos de una diana, que cada vez se acercan más al centro", señala Reich. Funk añade: "Cuanto más nítida sea la definición del objetivo, menos probabilidades hay de encontrarlo. Debe ser lo más preciso posible, y al mismo tiempo tiene que dar la respuesta correcta". Es un equilibrio delicado, ya que un pronóstico aleatoriamente amplio sería correcto, pero también inútil. 

Al reunir y evaluar todos los modelos individuales, el conjunto de modelos intenta optimizar su información y mitigar sus deficiencias. El resultado es una predicción probabilística, un promedio estadístico o un "pronóstico medio". Básicamente es un consenso con una expresión de incertidumbre más calibrada y, por lo tanto, más realista. Todos los diversos elementos de la incertidumbre dan lugar a la media.

El estudio del laboratorio de Reich, que se centró en las muertes proyectadas y evaluó alrededor de 200.000 pronósticos desde mediados de mayo hasta finales de diciembre de 2020 (pronto se añadirá un análisis actualizado con las predicciones para cuatro meses más), encontró que el rendimiento de los modelos individuales era muy variable. Una semana, un modelo podría ser exacto, pero la siguiente semana podría estar muy lejos de la realidad. Pero, según los autores, "al combinar los pronósticos de todos los equipos, el conjunto mostró la mejor precisión probabilística en general".

Y estos ejercicios conjuntos sirven no solo para mejorar las predicciones, sino también para reforzar la confianza de las personas en los modelos, asegura la epidemióloga de la Escuela de Salud Pública Dalla Lana de la Universidad de Toronto (Canadá) Ashleigh Tuite. "Una de las lecciones del modelado conjunto es que ninguno de los modelos es perfecto. E incluso en el conjunto de modelos a veces se pierde algo importante. Los modelos en general tienen dificultades para pronosticar los puntos de inflexión: los picos o si la situación de repente empieza a acelerarse o a desacelerarse", añade.

"Los modelos no son oráculos", Alessandro Vespignani.

El uso del modelado conjunto no es exclusivo de la pandemia. De hecho, usamos pronósticos de los conjuntos probabilísticos todos los días cuando buscamos en Google el tiempo y vemos que hay un 90 % de probabilidad de precipitación. Es el estándar de oro para las previsiones meteorológicas y climáticas.

"Ha sido una verdadera historia de éxito y el camino a seguir durante aproximadamente tres décadas", afirma el experto en estadística computacional del Instituto de Estudios Teóricos de Heidelberg y del Instituto de Tecnología de Karlsruhe (Alemania) Tilmann Gneiting. Antes de los conjuntos, la previsión meteorológica utilizaba un único modelo numérico, que producía, de forma aproximada, una previsión meteorológica determinista que era "ridícula por resultar demasiado confiada y tremendamente poco fiable", señala Gneiting (los meteorólogos, conscientes de este problema, sometían los resultados sin procesar a posteriores análisis estadísticos que generaba una probabilidad razonablemente fiable de los pronósticos de precipitación para la década de 1960).

Sin embargo, advierte que la analogía entre las enfermedades infecciosas y el pronóstico del tiempo tiene sus limitaciones. Por un lado, la probabilidad de precipitación no cambia en respuesta al comportamiento humano (lloverá, con o sin paraguas) mientras que la trayectoria de la pandemia depende de nuestras medidas preventivas.

Los pronósticos de la pandemia son un sistema sujeto a un ciclo de retroalimentación. "Los modelos no son oráculos", opina el epidemiólogo computacional de la Universidad Northeastern (EE .UU.), y colaborador de los mencionados centros de previsión Alessandro Vespignani, que estudia redes complejas y la propagación de las enfermedades infecciosas con un enfoque en los sistemas "tecnosociales" que impulsan los mecanismos de retroalimentación. "Cualquier modelo proporciona una respuesta condicionada por ciertos supuestos", añade.

Cuando las personas procesan la predicción de un modelo, sus subsiguientes cambios de comportamiento invalidan las suposiciones, modifican la dinámica de la enfermedad y hacen que el pronóstico sea inexacto. De esta manera, el modelado puede ser una "predicción autodestructiva".

Y hay otros factores que podrían agravar la incertidumbre: la estacionalidad, las variantes, la disponibilidad o aceptación de las vacunas; y el cambio de normas como la rápida decisión de los CDC sobre las mascarillas. El epidemiólogo de la Escuela Bloomberg de Salud Pública de la Universidad Johns Hopkins (EE. UU.) y colaborador del Centro de previsión de COVID-19 Justin Lessler advierte: "Si de verdad queremos capturar la incertidumbre sobre el futuro, todo esto equivale a enormes incógnitas que realmente limitarían las posibilidades".

El estudio conjunto de los pronósticos de las muertes descubrió que la precisión decae y la incertidumbre sube a medida que las previsiones se alejan hacia el futuro: hubo aproximadamente el doble de errores en los pronósticos de cuatro semanas que en los de una semana (cuatro semanas se considera el límite para un pronóstico significativo a corto plazo; en el de 20 semanas hubo aproximadamente cinco veces más errores).

"Es justo debatir cuándo las cosas funcionaron y cuándo no", Johannes Bracher.

Pero evaluar la calidad de los modelos (con todo tipo de defectos) es un importante objetivo secundario de los centros de previsión. Y es bastante fácil de llevar a cabo, ya que las predicciones a corto plazo se comparan rápidamente con los números reales contados día a día, como medida de éxito.

La mayoría de los investigadores son muy cuidadosos a la hora diferenciar entre este tipo de "modelo de pronóstico", con el objetivo de hacer predicciones explícitas y verificables sobre el futuro, algo que solo es posible a corto plazo; frente a los "modelos de escenarios", que exploran las hipótesis de "qué pasaría si", las posibles situaciones que podrían desarrollarse en el futuro a medio o largo plazo (como los modelos de escenarios no están pensados para ser predicciones, no deben evaluarse de forma retrospectiva con la realidad).

Durante la pandemia, la atención crítica se ha centrado en modelos cuyas predicciones que resultaron tremendamente erróneas. El bioestadístico del Instituto Heidelberg para Estudios Teóricos y del Instituto de Tecnología de Karlsruhe (ambos en Alemania) Johannes Bracher, que coordina el centro alemán y polaco y asesora al centro de previsión europeo, afirma: "Aunque las proyecciones hipotéticas a más largo plazo son difíciles de evaluar, no deberíamos evitar comparar las predicciones a corto plazo con la realidad. Es justo debatir cuándo las cosas funcionaron y cuándo no".

Pero un debate informado requiere reconocer y considerar los límites y las intenciones de los modelos (a veces los críticos más feroces fueron aquellos que confundieron los modelos de escenarios con los modelos de pronóstico).

"La gran pregunta es, ¿podremos mejorar?", Nicholas Reich.

De manera similar, cuando las predicciones en una situación dada resultan especialmente inmanejables, los modeladores deberían decirlo. Bracher admite: "Si hemos aprendido algo es que los casos son extremadamente difíciles de modelar incluso a corto plazo. Las muertes son un indicador más rezagado y más fácil de predecir".

En abril, algunos de los modelos europeos fueron demasiado pesimistas y no detectaron una repentina disminución de los casos. Se produjo un debate público sobre la precisión y confiabilidad de los modelos predictivos de la pandemia. Bracher hizo la siguiente pregunta en Twitter: "¿Resulta sorprendente que los modelos estén equivocados (no pocas veces)? Después de un año de pandemia, yo diría que no". Esto hace que sea aún más importante, según Bracher, que los modelos indiquen su nivel de precisión o incertidumbre, que tomen una postura realista sobre lo impredecibles que son los casos y sobre el curso del futuro. "Los modeladores deben comunicar la incertidumbre, pero eso no debería verse como un fracaso", opina Bracher.

Confiar en unos modelos más que en otros

Un aforismo estadístico que se suele citar a menudo dice: "Todos los modelos son incorrectos, pero algunos son útiles". Bracher señala que "si se aplica el enfoque del modelado conjunto, en cierto sentido, todos los modelos serían útiles, cada modelo tendría algo que aportar", aunque algunos serían más informativos o fiables que otros.

Al notar esta variación, Reich y otros investigadores intentaron "entrenar" el conjunto de los modelos, es decir, "crear algoritmos que enseñen al conjunto a 'confiar' en algunos modelos más que en otros y a aprender qué combinación precisa de modelos funciona bien y en armonía", explica. Su equipo está contribuyendo con un miniconjunto, construido únicamente a partir de los modelos que han funcionado consistentemente bien en el pasado, para amplificar la señal más clara.

Reich añade: "La gran pregunta es, ¿podemos mejorar? El método original es muy simple. Parece que tiene que haber una forma de mejorar solo tomando una media de todos estos modelos". Sin embargo, hasta ahora ha resultado más difícil de lo esperado: las pequeñas mejoras parecen factibles, pero las drásticas pueden ser casi imposibles.

Una herramienta complementaria para mejorar nuestra perspectiva general sobre la pandemia, más allá de las previsiones semanales, requiere mirar más lejos en el horizonte temporal, de cuatro a seis meses, con "modelos de escenarios". En diciembre del año pasado, Lessler y sus colaboradores, motivados por el aumento de casos de la COVID-19 y la inminente disponibilidad de la vacuna, lanzaron el Centro de Modelado de Escenarios de la COVID-19 (COVID-19 Scenario Modeling Hub), consultando los CDC.

Los modelos de escenarios ponen límites al futuro en función de supuestos bien definidos del tipo "qué pasaría si", centrándose en lo que se consideran fuentes importantes de incertidumbre y utilizándolos como puntos de apoyo para trazar el futuro rumbo.

Con este fin, la especialista en ecología teórica de la Universidad de Estatal de Pensilvania (EE. UU.) y coordinadora del centro de modelado de escenarios Katriona Shea aporta un enfoque formal al proceso para tomar buenas decisiones en un entorno incierto, atrayendo a los investigadores a través de la "elicitación de expertos", con el objetivo de conseguir una diversidad de opiniones, reducir el sesgo y la confusión. Al decidir qué escenarios modelar, los modeladores debaten sobre cuáles podrían ser las próximas posibilidades importantes y piden a los responsables de la formulación de políticas asesoramiento sobre lo que sería útil.

También evalúan la cadena más amplia de toma de decisiones asociada a las proyecciones: las decisiones de los propietarios de negocios sobre la reapertura y las decisiones de la sociedad en general en torno a las vacaciones de verano; otras decisiones que activan las palancas que se podrían tirar con la esperanza de cambiar el curso de la pandemia, o las que simplemente informan qué estrategias viables se podrían adoptar para seguir adelante.

Este centro acaba de terminar su quinta ronda de modelado con los siguientes escenarios: ¿Cuáles serían las tasas de casos, hospitalizaciones y muertes desde ahora hasta octubre si la vacunación a nivel nacional en EE. UU. llega a 83 %? ¿Y si el número de vacunados es del 68 % de la población? ¿Y cuáles serían las trayectorias si hay una reducción moderada del 50 % en las intervenciones no farmacéuticas como llevar mascarilla y el distanciamiento social, en comparación con una reducción del 80 %?

Gráfico: Las cinco proyecciones del número de muertes (eje y) a lo largo del tiempo (eje x) del Scenario Modeling Hub, considerando las tasas de vacunación bajas y altas, e intervenciones (llevar la mascarilla, distanciamiento social) mínimas y moderadas. Los colores representan las proyecciones de diferentes equipos de modelado; las bandas de color indican el rango de incertidumbre. La línea negra representa las proyecciones del conjunto de modelos. Créditos: Scenario Modeling Hub.

Con algunos de los escenarios, el futuro parece bueno. Con la tasa de vacunación más alta y / o intervenciones no farmacéuticas persistentes como llevar mascarilla y mantener el distanciamiento social, "los números bajan y se quedan bajos", explica Lessler. Con el extremo opuesto, el conjunto proyecta un rebrote en otoño, aunque los modelos individuales muestran diferencias más cualitativas para este escenario, algunos proyectan que el número de casos y muertes se mantiene bajo, mientras que otros predicen rebrotes mucho mayores que el del conjunto de modelos.

El centro modelará algunas rondas más, aunque todavía no han decidido qué escenarios analizar; las posibilidades incluyen variantes más transmisibles del virus, variantes que esquivan la respuesta inmune y la posibilidad de que la inmunidad disminuya unos meses después de recibir la vacuna.

No podemos controlar esos escenarios ni influir en su curso, resalta Lessler, pero podemos contemplar cómo podríamos planificar en consecuencia. Por supuesto, solo hay un escenario que todos queremos modelar mentalmente, el de "estoy listo para que termine la pandemia", concluye Lessler.