El palo de hockey (IV): un palo que no pasa el control de calidad

~ Vicente

Como hemos visto en la entrega anterior, el procedimiento para reconstruir la temperatura en MBH98/99 es básicamente:

  1. Se divide el periodo en el que hay datos fiables (termómetros) en dos rangos: calibración y verificación.
  2. Se ajustan coeficientes de escalado de los indicadores disponibles en el tramo i-ésimo de tal forma que la combinación lineal de esos indicadores reproduzca lo mejor posible la temperatura del periodo de calibración.
  3. Se comprueba que con el ajuste realizado en el paso anterior esa combinación lineal de los indicadores reconstruye fielmente la temperatura en el periodo de verificación.
  4. Una vez superada la verificación, se extrapola el ajuste al tramo i-ésimo de la reconstrucción, en el que no existen datos fiables de temperatura.

Y el proceso se repite 11 veces para los 11 tramos establecidos en que se divide el periodo 1400-1980. La razón de hacer esa división en tramos es que la disponibilidad de indicadores no es uniforme en todo el periodo reconstruido. Eso se resuelve realizando 11 reconstrucciones (con su propia calibración y verificación) empleando en cada tramo los indicadores disponibles en ese tramo.

De lo anterior se deduce que cualquier intento de crear una reconstrucción de temperatura que falle en el paso de verificación es a priori una reconstrucción sin ninguna validez. ¡¡Para eso se realiza el paso de verificación!! Pues bien, en MBH98/99 no se proporcionaron los resultados estadísticos completos del paso de verificación y los autores de los artículos siempre se han negado a proporcionar esos datos completos:

In MBH98, only the RE statistic is reported for steps prior to the AD1820 step, including the controversial AD1400 step. Mann et al. have not provided their own results for the other verification statistics or supporting calculations from which these statistics could be calculated, and have refused requests for this information. McIntyre y McKitrick

En MBH98, sólo se informa del estadístico RE para los pasos previos al paso AD1820, incluido el controvertido paso AD1400. Mann et al. no han proporcionado sus propios resultados para los otros estadísticos de verificación o cálculos de respaldo a partir de los cuales se pueden calcular estos estadísticos y han rechazado las solicitudes de esta información.

Aunque ellos no mostraron los resultados de verificación, posteriormente Wahl y Ammann (fuente,fuente) emularon la gráfica del MBH98 y sí mostraron los resultados de la verificación para cada uno de los 11 periodos de reconstrucción. Esos resultados son los que se muestran en la tercera columna de la tabla:

Como se puede apreciar en la tabla anterior, el R² de las verificaciones está entre 0.0 y 0.2, con algún tramo con valor 0.000, es decir sin garantías de significación estadística en ninguno de los 11 tramos de la reconstrucción. De acuerdo con McIntyre y McKitrick una significación del 99% se alcanza con 0.34 (fuente,fuente).

Pero eso no es todo: el programa (código fuente informático) empleado en MBH98 demuestra que los autores de la gráfica del palo de hockey sí calcularon el R² (fuente). Es decir, fue calculado pero el resultado no fue reportado en el artículo y posteriormente el primer autor, Michael E. Mann, argumentó que no incluyeron el resultado del test porque no les parecía un estadístico relevante (fuente) e incluso ante el Panel NAS declaró que sería «bobo e incorrecto» (foolish and incorrect) calcularlo (fuente). No les parecía relevante y a pesar de ello no sólo lo calcularon, sino que en el propio artículo (página 785) decían haberlo calculado:

For comparison, correlation (r) and squared-correlation (r²) statistics are also determined.

Si era «poco relevante», «bobo» e «incorrecto» calcularlo, ¿por y para qué lo calcularon? Quizá la razón real de la ocultación fuera que esos cálculos demostraban que la reconstrucción carecía de validez, es decir, que con alta probabilidad la gráfica del palo de hockey no era otra cosa que ruido, no la pretendida reconstrucción de la temperatura media de nuestro planeta en el pasado. El fracaso en el paso de verificación decía que no había razón alguna para pensar que lo que se veía era temperatura. ¿Qué tendría que haber sucedido en la verificación para llegar a la conclusión de que la reconstrucción no era posible con esos datos? Pues exactamente lo que sucedió, pero los autores de la gráfica ocultaron que la reconstrucción no pasaba el control de calidad.

Y no es que Wahl y Ammann estuviesen muy dispuestos a revelar los datos del R²: Stephen McIntyre les pidió que lo hicieran actuando como revisor de uno de sus artículos y se negaron a hacerlo, y sin embargo a continuación a McIntyre se le quitó de revisor de ese artículo. McIntyre se lo volvió a pedir y cuando se negaron de nuevo presentó una reclamación por mal comportamiento académico (fuente), lo que presumiblemente llevó a que Wahl y Ammann añadieran esos datos a la versión final de su artículo.

Como nota final, en MBH98 se presentaban los resultados de otro parámetro de verificación, el RE. Según los autores del MBH98 un valor positivo garantizaba la validez de la reconstrucción. Sin embargo, los cálculos de McIntyre y Wahl y Ammann establecían un valor muy diferente para alcanzar un 99% de significación: 0.52-0.54 (fuente,fuente). Según los cálculos de Wahl y Ammann la mitad de los tramos no alcanzaban significación tampoco con ese parámetro:

Al margen de quién tiene razón sobre este parámetro, lo cierto es que el código empleado en el MBH98 calculaba dos parámetros (RE y R²) pero en el artículo sólo se mostraba uno de ellos. Una reconstrucción válida debería aprobar ambos tests por lo que ocultar uno de ellos transmitía un mensaje de validez que no estaba justificado.

Otras entregas:

Publicado por Vicente

5 comentarios sobre “El palo de hockey (IV): un palo que no pasa el control de calidad”

  4. Protocolo de validación:

    • 1) intenta validar con el estadístico habitual (R^2). Salta al punto 2).
    • 2) Si lo has conseguido, celebra la eliminación del periodo cálido medieval. Si no lo has conseguido, salta al punto 3).
    • 3) Oculta el resultado negativo e intenta validar con un estadístico ad hoc (RE). Salta al punto 4).
    • 4) Si lo has conseguido, celebra la eliminación del periodo cálido medieval. Si no lo has conseguido, salta al punto 5).
    • 5) Estás desesperado. Tu gráfica es una mierda pero nadie debe saberlo. Miente sobre el umbral que marca la significación estadística. Di que RE>0 es suficiente, cuando en realidad necesitas llegar a 0.53. Concluye que el resultado es robusto. Salta al punto 6).
    • 6) Has engañado a todo el mundo. Eres un fenómeno.

    Me gusta

    Responder

Deja un comentario