El palo de hockey (VI): la implacable máquina de fabricar palos de hockey (1/2)

Habíamos acabado la entrega anterior diciendo que en el PCA del MBH98 podías alimentar el proceso con datos de bolsa elegidos al azar y la PC1 resultante era un palo de hockey. Y no lo decía por decir: Stephen McIntyre había comprobado que era así (fuente).

El pseudo-PCA del MBH98/99

En MBH98 se decía que el PCA utilizado era “convencional”, pero de convencional no tenía nada. En lugar de normalizar los datos empleando la media real del indicador (usando todos los datos), se empleaba la media calculada únicamente en el periodo de calibración:

by examining PC series archived there and, by examining source code for PC calculations, we were able to determine that MBH98 had not carried out a “conventional” PC calculation, but had modified the PC algorithm, by, among other things, subtracting the 1902-1980 mean, rather than the 1400-1980 column mean, prior to PC calculations, so that the columns were no longer centered on a zero mean in the 1400–1980 step. By this procedure, series are more decentered, and their variance more inflated, the larger is the difference between the series mean and the mean of the 20th century subset. The effect of this transformation would have been mitigated if they had carried out a singular value decomposition on the covariance matrix, but they carried it out on the de-centered data matrix. We have shown elsewhere that this method re-allocates variance so that the PC algorithm then strongly over-weights hockey stick-shaped proxies and that it is so efficient in mining a hockey stick shape that it nearly always produces a hockey-stick shaped PC1 even from persistent red noise. McIntyre & McKitrick 2005

Al examinar las series de PC archivadas allí y, al examinar el código fuente para los cálculos de PC, pudimos determinar que MBH98 no había llevado a cabo un cálculo de PC “convencional”, sino que había modificado el algoritmo de PC, entre otras cosas, restando la media de 1902-1980, en lugar de la media de la columna de 1400-1980, antes de los cálculos de PC, de modo que las columnas ya no estaban centradas en una media de cero en el paso 1400-1980. Mediante este procedimiento, las series están más descentradas y su varianza está más inflada cuanto mayor es la diferencia entre la media de la serie y la media del subconjunto del siglo XX. El efecto de esta transformación se habría mitigado si hubieran llevado a cabo una descomposición de valores singulares en la matriz de covarianza, pero siguieron adelante con la matriz de datos descentrada. Hemos demostrado en otra parte que este método recoloca la varianza para que el algoritmo de la PC haga sobresalir con fuerza los indicadores con forma de palo de hockey y que es tan eficiente en la extracción de una forma de palo de hockey que casi siempre produce una PC1 con forma de palo de hockey incluso a partir de ruido rojo persistente.

El efecto de esa extraña forma de hacer el PCA (pseudo-PCA, en adelante) era que aquellas series de datos con forma de palo de hockey recibían un gran peso y marcaban el resultado final, especialmente la componente más importante, la PC1. Los indicadores que marcaban la forma de la PC1 eran lógicamente todos aquellos que tuvieran forma de palo de hockey, y en concreto los pinos longevos (bristlecones):

Por ejemplo, dadas las dos series de datos mostradas en la gráfica bajo estas líneas, en el pseudo-PCA la mostrada en la parte superior tiene un peso 390 veces mayor que la de la parte inferior en el cálculo de la PC1 porque tiene una notable desviación de la media en el siglo XX:

Con pseudo-PCA el resultado será prácticamente siempre (99% de las veces) un palo de hockey, incluso cuando se usa ruido en lugar de los indicadores sacados de árboles como entrada del algoritmo. La única condición que deben cumplir los datos es que alguno de ellos tenga forma de palo de hockey, algo que puede suceder por azar o simplemente asegurándose de que alguna de las series de datos tiene esa forma: el pseudo-PCA se encarga de darle a esos datos un papel principal en el resultado. Por ejemplo, en la parte superior de la figura se muestra la PC1 resultante de aplicar el pseudo-PCA a ruido rojo persistente:

The primary criticism of McIntyre & McKitrick, which has gotten a lot of play on the Internet, is that Mann et al transformed each tree ring prior to calculating PCs by subtracting the 1902-1980 mean, rather than using the length of the full time series (e.g., 1400-1980), as is generally done. M&M claim that when they used that procedure with a red noise spectrum, it always resulted in a “hockey stick”. Is this true? If so, it constitutes a devastating criticism of the approach. If not, it should be refuted. David Rind

La principal crítica de McIntyre & McKitrick, que ha dado mucho juego en Internet, es que Mann et al. transformaron cada anillo de árbol antes de calcular las PC restando la media de 1902-1980, en lugar de usar la longitud temporal completa de la serie (por ejemplo, 1400-1980), como se hace generalmente. M&M afirman que cuando usaron ese procedimiento con un espectro de ruido rojo, siempre resultó en un “palo de hockey”. ¿Es esto cierto? Si es así, constituye una crítica devastadora del enfoque. Si no es así, debe ser refutado.

Sí, el dato es tremendo. Aun teniendo en cuenta que la PC1 no es la reconstrucción final, sino uno más de los indicadores usados, sabemos que el algoritmo MBH potenciará aquellos indicadores que se parezcan a las medidas de termómetro en el periodo de calibración. Es la combinación de los dos factores lo que crea el palo de hockey: la presencia de indicadores con forma de palo de hockey, como por ejemplo la NOAMER PC1 creada por el pseudo-PCA, y el algoritmo que potencia los indicadores con esa forma.

Si el PCA es convencional… la PC1 deja de tener forma de palo de hockey

En la gráfica se muestra la PC1 resultante de usar el pseudo-PCA (parte superior) y el resultado de emplear un PCA convencional (parte inferior). Es evidente que el palo de hockey de la NOAMER PC1 no es un correcto resumen de los datos de los que procede: el palo de hockey de este indicador es creado por el no-convencional procesamiento de esos datos.

imagen_5111

Con un PCA convencional la forma de palo de hockey aparece en la PC4, en lugar de en la PC1 (fuente). En el MBH98/99 únicamente se empleaban la PC1 y la PC2 pero si existe un indicador, la PC4, con forma de palo de hockey el algoritmo le va a dar un gran peso en el proceso de calibración. Esto quiere decir que usar un PCA convencional no resuelve los problemas causados por el algoritmo MBH, que encontrará y potenciará cualquier señal que se parezca a la medida de termómetro en el periodo de calibración. El algoritmo MBH debe ser cuestionado, pero también es cuestionable si se pueden tratar componentes principales aisladas como indicadores, pues el algoritmo asignaría un gran peso a la PC4, una señal para la que no hay absolutamente ninguna razón para suponer una relación lineal con la temperatura, algo que ya es mucho suponer incluso para la PC1, que viene a ser algo así como la señal promedio de los datos fuente del PCA. A Mann dar más peso a la PC4 que a la PC1 no le parece ningún problema, pero para cualquier persona objetiva esto es equivalente a usar una señal completamente inventada simplemente porque es buena para reconstruir el periodo de calibración. Ese procesado es posible pero no tiene sentido. El uso de PCs como indicadores no ha sido justificado debidamente.

It therefore seems crazy that the MBH hockey stick has been given such prominence and that a group of influential climate scientists have doggedly defended a piece of dubious statistics. Ian Joliffe

Por lo tanto, parece una locura que al palo de hockey MBH se le haya dado tanta relevancia y que un grupo de influyentes científicos climáticos hayan defendido obstinadamente una serie de estadísticos dudosos.

No olvidemos lo importante

Para no perdernos, la idea clave es que los indicadores NOAMER PC (componentes principales calculados mediante PCA) están “mal” calculados. Y lo mismo pasa con otros indicadores PC. Es algo objetivo, pues como acabamos de ver el pseudo-PCA genera él solito un resultado predeterminado (forma de palo de hockey). Y lo otro que habíamos visto es que de forma artificial se había incluido un árbol concreto en el tramo 1400-1450. Si se corrigen ambos “errores” la reconstrucción no es diferente en el siglo XX de lo que lo era en el año 1400:

Por supuesto, en MBH98 podían haber iniciado el análisis en 1404 y no habrían tenido que recurrir a inventarse los datos de los primeros 4 años del cedró de Gaspé, pero en ese caso el resultado sería diferente si el análisis empieza en 1400 o si empieza en 1404. Y si por poner 1 árbol en el análisis o no ponerlo el resultado cambia, eso significa que la presencia de los datos de un único árbol es determinante para concluir si la temperatura hace 600 años estaba por debajo o no de la de finales del siglo XX. Creo que eso es lo que se llama robustez de las conclusiones. Nula robustez quiero decir. Y es que la gráfica del palo de hockey es ruido del que no se puede sacar ninguna conclusión.

Para acabar esta entrega, en la imagen muestro otra PC1, la procedente de hacer el PCA en indicadores de origen australiano. En la parte superior se muestra la PC1 si se usa el pseudo-PCA, mientras que en la parte inferior se muestra la PC1 con PCA convencional.

NOTA: se ha argumentado que en el caso de usar un PCA convencional la regla de Preisendorfer sugiere que hay que usar hasta el NOAMER PC5 (fuente). Es evidente que esa regla no es de aplicación cuando las PCs resultantes se usan como indicadores independientes y con pesos que no respetan la varianza que representan esas PCs, por ejemplo asignando a la PC4 más peso que a la PC1 en la reconstrucción de temperatura.

Otras entregas:

El palo de hockey (V): de error en error hasta el palo final

Una aclaración

Para evitar confusión en lo que sigue, aclaro que asumimos que una gráfica tiene forma de palo de hockey (HS, de sus siglas en inglés: Hockey Stick) si a) hay subida en el siglo XX y b) en el resto de años los datos se mantienen en valores por debajo de los del siglo XX (ver parte izquierda de la gráfica bajo estas líneas). Y con esa definición esencialmente hay dos formas de que se pierda la forma de palo de hockey, que son las que se muestran en la parte derecha de la gráfica: la primera sería que no hubiera una subida de la gráfica en el siglo XX y la segunda es que aun existiendo una subida en el siglo XX los valores en el resto de siglos no fueran claramente menores que los del siglo XX.

Errores y no errores en el MBH98

McIntyre y McKitrick revisaron todos los indicadores empleados en MBH98. El listado completo de errores fue publicado en su artículo de 2003 (fuente). Tras corregir los errores y actualizar los indicadores recalcularon la gráfica del palo de hockey. Su resultado se muestra en la parte inferior de la siguiente gráfica, mientras que los datos de MBH98 original se muestran en la parte superior:

Suavizando las curvas y superponiéndolas se observa mejor la diferencia entre ellas:

Es decir, corrigiendo los errores en los datos de partida la gráfica de MBH98 ésta dejaría de sugerir que la temperatura actual sea “sin precedentes”.

Pero no todo eran “errores”. Como he comentado el punto de partida eran 102 indicadores. Y de esos indicadores aquellos con parecido (una subida o una bajada) a los valores de termómetro en el periodo de calibración (1902-1980) son los que van a recibir mayor peso en el procesado matemático, i.e. en el algoritmo que genera la gráfica. En ese sentido, adelanto que de entre esos 112 indicadores destacan los siguientes por cómo afectan a la reconstrucción:

  1. Los cedros de Gaspé (indicador #53).
  2. Los componentes principales NOAMER (indicadores #84-#93)

Simplemente corrigiendo los “errores” en esas dos series el mango del palo de hockey deja de ser horizontal y el valor reconstruido al final del siglo XX es muy parecido al del año 1400 (fuente):

Los indicadores NOAMER (USA PC1-PC9) son en realidad los componentes resultantes de un análisis de componentes principales (PCA, de sus siglas en inglés) obtenidos a partir de otros indicadores (entre ellos curiosamente se incluyen los cedros de Gaspé, que aparecen de esa forma repetidos en los indicadores). Nos centramos ahora en los cedros de Gaspé y más adelante hablaremos de NOAMER y el PCA.

Los cedros de Gaspé

Como hemos comentado antes la reconstrucción estaba dividida en 11 tramos y para cada uno de ellos únicamente se empleaban los indicadores para los que se tuvieran datos en ese tramo. El primero de los tramos era 1400-1450.

De los cedros de Gaspé se tenían datos desde 1404, es decir, este indicador no podía participar en el tramo 1400-1450 pues este indicador no existía en los 4 primeros años de ese tramo. Pero al observar los datos empleados en MBH98 McIntyre se dio cuenta de que el valor de 1404 había sido copiado tal cual en los 4 años precedentes, un truco que permitía al algoritmo usar el indicador para el tramo 1400-1450, algo que posteriormente fue reconocido por los autores del MBH98 en un corrigendum:

For one of the 12 ‘Northern Treeline’ records of Jacoby et al. used in ref. 1 (the ‘St Anne River’ series), the values used for AD 1400–03 were equal to the value for the first available year (AD 1404).

Y para entender por qué esto es relevante tenemos que recordar que el cálculo da más peso a aquellos indicadores que tienen subidas o bajadas en el periodo de calibración: si los cedros de Gaspé eran incluidos en el período 1400-1450 este indicador adquiría tal peso por su forma en 1902-1980 que imponía su forma en el tramo 1400-1450, que era de nula elevación sobre la media, como vemos en la figura.

NOTA: la gráfica está sacada de la décima columna de data1400.dat (identificada en datalist1400.dat como treeline11.dat).

Había más problemas con los cedros de Gaspé (fuente), entre los cuales destaco:

  1. Los datos disponibles para el tramo 1400-1450 procedían de un único árbol.
  2. Había datos actualizados para ese indicador que llegaban hasta 1991 en los que la subida del siglo XX había desaparecido (ver gráfica), pero las personas que tenían esos datos se negaban a archivarlos para que fueran usados en los artículos científicos (fuente,fuente,fuente).

Componentes principales NOAMER

En MBH98 se partía de 415 indicadores (fuente). Puesto que muchos de ellos eran procedentes de lugares parecidos se usó un método para reducir el número de series de datos denominado Análisis de Componentes Principales (PCA). De esa forma el número total de indicadores se redujo a 112, de los cuáles 31 eran indicadores PC (componentes principales creados empleando PCA) y los otros 81 eran indicadores normales.

Nueve de esos indicadores PC son los de NOAMER/ITRDB (USA). Esos indicadores PC contienen la información relevante de los indicadores originales en forma de importancia descendente: PC1 es más importante que PC2, PC2 es más importante que PC3 y así sucesivamente. De hecho en MBH98 únicamente se llegaban a usar PC1 y PC2.

La forma del indicador NOAMER PC1 era de palo de hockey (es un HS invertido, tal y como se muestra en la gráfica):

Nótese que la interpretación de que el palo de hockey vaya hacia abajo es que el indicador nos dice la atmósfera se calienta. Si el palo de hockey fuera hacia arriba la interpretación también sería que el indicador dice que la atmósfera se calienta. Y es realmente así porque se ignora el signo de las correlaciones calculadas a la hora de estimar los coeficientes en la fase de calibración. El indicador que dice SÍ dice SÍ y el indicador que dice NO también dice SÍ.

Pero lo realmente bueno de todo esto lo dejamos para la siguiente entrega: con la forma particular empleada en MBH98/99 de generar la PC1, la NOAMER PC1 siempre iba a tener forma de palo de hockey, sin importar demasiado cuáles fueran los datos de entrada del PCA. Podías alimentar el proceso con cotizaciones en bolsa elegidas al azar y la PC1 resultante era casi siempre un palo de hockey.

The MBH method is simply too powerful in finding hockey stick shapes. From a scientific point of view, you’d have to say that this was a goofy methodology and should never have been used in the first place. Stephen McIntyre

El método MBH es simplemente demasiado poderoso encontrando formas de palo de hockey. Desde un punto de vista científico, habría que decir que ésta era una metodología tonta y que para empezar nunca debería haber sido utilizada.

Otras entregas:

El palo de hockey (IV): un palo que no pasa el control de calidad

Como hemos visto en la entrega anterior, el procedimiento para reconstruir la temperatura en MBH98/99 es básicamente:

  1. Se divide el periodo en el que hay datos fiables (termómetros) en dos rangos: calibración y verificación.
  2. Se ajustan coeficientes de escalado de los indicadores disponibles en el tramo i-ésimo de tal forma que la combinación lineal de esos indicadores reproduzca lo mejor posible la temperatura del periodo de calibración.
  3. Se comprueba que con el ajuste realizado en el paso anterior esa combinación lineal de los indicadores reconstruye fielmente la temperatura en el periodo de verificación.
  4. Una vez superada la verificación, se extrapola el ajuste al tramo i-ésimo de la reconstrucción, en el que no existen datos fiables de temperatura.

Y el proceso se repite 11 veces para los 11 tramos establecidos en que se divide el periodo 1400-1980. La razón de hacer esa división en tramos es que la disponibilidad de indicadores no es uniforme en todo el periodo reconstruido. Eso se resuelve realizando 11 reconstrucciones (con su propia calibración y verificación) empleando en cada tramo los indicadores disponibles en ese tramo.

De lo anterior se deduce que cualquier intento de crear una reconstrucción de temperatura que falle en el paso de verificación es a priori una reconstrucción sin ninguna validez. ¡¡Para eso se realiza el paso de verificación!! Pues bien, en MBH98/99 no se proporcionaron los resultados estadísticos completos del paso de verificación y los autores de los artículos siempre se han negado a proporcionar esos datos completos:

In MBH98, only the RE statistic is reported for steps prior to the AD1820 step, including the controversial AD1400 step. Mann et al. have not provided their own results for the other verification statistics or supporting calculations from which these statistics could be calculated, and have refused requests for this information. McIntyre y McKitrick

En MBH98, sólo se informa del estadístico RE para los pasos previos al paso AD1820, incluido el controvertido paso AD1400. Mann et al. no han proporcionado sus propios resultados para los otros estadísticos de verificación o cálculos de respaldo a partir de los cuales se pueden calcular estos estadísticos y han rechazado las solicitudes de esta información.

Aunque ellos no mostraron los resultados de verificación, posteriormente Wahl y Ammann (fuente,fuente) emularon la gráfica del MBH98 y sí mostraron los resultados de la verificación para cada uno de los 11 periodos de reconstrucción. Esos resultados son los que se muestran en la tercera columna de la tabla:

Como se puede apreciar en la tabla anterior, el R² de las verificaciones está entre 0.0 y 0.2, con algún tramo con valor 0.000, es decir sin garantías de significación estadística en ninguno de los 11 tramos de la reconstrucción. De acuerdo con McIntyre y McKitrick una significación del 99% se alcanza con 0.34 (fuente,fuente).

Pero eso no es todo: el programa (código fuente informático) empleado en MBH98 demuestra que los autores de la gráfica del palo de hockey sí calcularon el R² (fuente). Es decir, fue calculado pero el resultado no fue reportado en el artículo y posteriormente el primer autor, Michael E. Mann, argumentó que no incluyeron el resultado del test porque no les parecía un estadístico relevante (fuente) e incluso ante el Panel NAS declaró que sería “bobo e incorrecto” (foolish and incorrect) calcularlo (fuente). No les parecía relevante y a pesar de ello no sólo lo calcularon, sino que en el propio artículo (página 785) decían haberlo calculado:

For comparison, correlation (r) and squared-correlation (r²) statistics are also determined.

Si era “poco relevante”, “bobo” e “incorrecto” calcularlo, ¿por y para qué lo calcularon? Quizá la razón real de la ocultación fuera que esos cálculos demostraban que la reconstrucción carecía de validez, es decir, que con alta probabilidad la gráfica del palo de hockey no era otra cosa que ruido, no la pretendida reconstrucción de la temperatura media de nuestro planeta en el pasado. El fracaso en el paso de verificación decía que no había razón alguna para pensar que lo que se veía era temperatura. ¿Qué tendría que haber sucedido en la verificación para llegar a la conclusión de que la reconstrucción no era posible con esos datos? Pues exactamente lo que sucedió, pero los autores de la gráfica ocultaron que la reconstrucción no pasaba el control de calidad.

Y no es que Wahl y Ammann estuviesen muy dispuestos a revelar los datos del R²: Stephen McIntyre les pidió que lo hicieran actuando como revisor de uno de sus artículos y se negaron a hacerlo, y sin embargo a continuación a McIntyre se le quitó de revisor de ese artículo. McIntyre se lo volvió a pedir y cuando se negaron de nuevo presentó una reclamación por mal comportamiento académico (fuente), lo que presumiblemente llevó a que Wahl y Ammann añadieran esos datos a la versión final de su artículo.

Como nota final, en MBH98 se presentaban los resultados de otro parámetro de verificación, el RE. Según los autores del MBH98 un valor positivo garantizaba la validez de la reconstrucción. Sin embargo, los cálculos de McIntyre y Wahl y Ammann establecían un valor muy diferente para alcanzar un 99% de significación: 0.52-0.54 (fuente,fuente). Según los cálculos de Wahl y Ammann la mitad de los tramos no alcanzaban significación tampoco con ese parámetro:

Al margen de quién tiene razón sobre este parámetro, lo cierto es que el código empleado en el MBH98 calculaba dos parámetros (RE y R²) pero en el artículo sólo se mostraba uno de ellos. Una reconstrucción válida debería aprobar ambos tests por lo que ocultar uno de ellos transmitía un mensaje de validez que no estaba justificado.

Otras entregas:

El palo de hockey (III): cómo se fabrica un palo de hockey

Como decía en las entregas anteriores, el palo de hockey se crea uniendo en la misma gráfica dos series de datos de distinta procedencia. La parte de la gráfica que nos interesa es la supuesta reconstrucción de la temperatura a partir de indicadores (proxies), datos que se presupone han sido influidos por la temperatura de su zona de origen:

¿Cómo reconstruir la temperatura a partir de esas series de datos, los “indicadores”, que se cree que contienen información de temperatura? La idea más intuitiva es normalizar los valores para que todos tengan una varianza similar y luego hacer una media ponderada teniendo en cuenta el área del planeta que representa cada uno de esos indicadores. Pero lo que se hizo en MBH98/99 es un poco más complicado que una media ponderada. Y, como detallaremos, mucho más cuestionable.

La reconstrucción

El MBH98 usó 112 indicadores, cada uno de ellos con una extensión máxima de 581 años (1400–1980). Como no todos los indicadores estaban presentes en todos los años, los investigadores dividieron los 581 años de la reconstrucción en 11 tramos, que son los mostrados en la primera columna de la siguiente tabla, mientras que la segunda columna indica cuántos indicadores había disponibles para ese tramo:

El proceso de reconstrucción, por tanto, está basado en 11 cálculos independientes, cada uno de ellos para un tramo temporal diferente en el que se emplea el subconjunto de los 112 indicadores formado por los disponibles para esos años.

El proceso para el tramo i-ésimo es el siguiente:

  1. Se emplea un método multivariable para encontrar los coeficientes que mejor permiten reconstruir la temperatura medida (termómetros) en los años 1902-1980, que es el denominado “periodo de calibración“. La temperatura reconstruida para ese periodo es una combinación lineal de los indicadores.
  2. Con los coeficientes obtenidos en el paso anterior se reconstruye la temperatura en un periodo diferente del de calibración y del que también se tienen datos de termómetro, por ejemplo 1850-1901, que sería el llamado “periodo de validación“, y se comprueba si la temperatura reconstruida encaja con las medidas de termómetro en ese periodo. El resultado de esta comprobación es un test estadístico, como por ejemplo el R² de la reconstrucción y las medidas de termómetro. Si ese test no es superado, es decir, si no se alcanza una mínima significancia estadística se debe concluir que la reconstrucción de la temperatura no ha sido posible con los indicadores disponibles.
  3. Con los coeficientes obtenidos en el primer paso se reconstruye la temperatura en el tramo i-ésimo.

De forma gráfica:

Nótese, por tanto, que el proceso que estamos contando garantiza que aquellas series de datos que tienen una forma parecida a la temperatura medida con termómetros en el periodo de calibración van a dominar la reconstrucción de temperatura en los 11 tramos: el algoritmo está diseñado para hacer cherry-picking buscando esos indicadores y darles más peso que al resto de indicadores. Si, como es el caso, se escoge un periodo de calibración que muestra una subida de la temperatura, la elección de ese periodo de calibración en concreto está condicionando qué series de datos van a tener más peso en el procesamiento.

The calibration correlation was, as the name suggests, a measure of how well the series matched up against the temperature records in the calibration period. Those that had high correlations would be heavily weighted and their shapes would therefore dominate the final reconstruction. Andrew Montford

La correlación en la calibración fue, como su nombre indica, una medida de cómo de bien coinciden los indicadores con los registros de temperatura en el período de calibración. Aquellos indicadores con altas correlaciones tendrían un gran peso y, por lo tanto, sus formas dominarían la reconstrucción final.

Por ejemplo, si los datos de temperatura representados en rojo son los correspondientes al periodo de calibración, los indicadores que tengan esa forma en ese periodo van a tener más peso que los que no tengan esa forma en la reconstrucción final de todos aquellos tramos de los 11 en los que esos indicadores estén disponibles:

Quizá el procesado matemático que estamos describiendo nos parezca razonable a primera vista. Pero como vamos a explicar con todo detalle en posteriores entradas, no es así: es una máquina de generar palos de hockey, sin que importe mucho los indicadores concretos empleados. Muy importante: el algoritmo está diseñado para que la temperatura reconstruida sea como la gráfica anterior en el periodo 1902-1980. La subida final de la reconstrucción en la gráfica del palo de hockey no viene de los datos: viene del algoritmo. Insistiré más veces en resaltar esta idea, porque es clave para entender qué está mal en la gráfica del palo de hockey.

Si nos fijamos en lo que se nos presenta como reconstrucción de la temperatura en el último milenio en MBH99, tiene exactamente la forma de los datos de termómetro vista en la gráfica anterior, con un máximo relativo en 1940 (aprox.), tiene un mínimo relativo en 1965 (aprox.) y a partir de ahí vuelve a subir, que es exactamente lo mismo que hacen los datos de termómetro en ese periodo. El algoritmo se ha encargado de que la reconstrucción tenga esa forma en el siglo XX.

Por otro lado, como detallaremos en un artículo posterior, la curva negra que se nos presenta en esta gráfica como supuesta versión suavizada de los datos en azul ha sido retocada en su parte final. Ese suavizado es falso: el suavizado real no tiene esa forma.

Otras entregas:

 

El palo de hockey (II): dendroclimatología y cherry-picking

En esta entrega presento algunos conceptos que sientan las bases para entender las entradas posteriores, que van a ser muy interesantes.

El palo de hockey original

La primera versión del palo de hockey se publicó en el MBH98 y tenía el siguiente aspecto:

Pero debemos tener cuidado con la interpretación: en realidad los datos mostrados para las últimas décadas no son demasiado diferentes de los del resto de la gráfica: es decir, aun suponiendo que los datos reconstruidos representan temperatura, algo que como veremos es mucho suponer, la reconstrucción no está diciendo que la temperatura actual sea inusual: es la superposición de la reconstrucción con los datos de termómetro lo que hace creer que es así.

Lo relevante de la gráfica no era tanto la (falsa, como veremos) subida final de la temperatura, sino cómo se transmitía la impresión de que las temperaturas actuales eran inusuales como mínimo desde el año 1400, es decir, lo relevante era que las (supuestas) temperaturas anteriores a 1900 apenas variaban en el último medio milenio: lo importante de la gráfica era el mango del palo, no el extremo. Un año más tarde, en 1999, el MBH99 pasaba del periodo 1400-2000 al 1000-2000 con el mismo mensaje: las temperaturas actuales no tienen precedentes en el último milenio.

Nuevamente, nótese cómo en los datos reconstruidos no hay cambios drásticos en el periodo representado. Es la unión (el “injerto”) con los datos de termómetro (la curva roja) lo que transmite esa sensación:

Y ya veremos que la subida en el siglo XX no es real: no viene de los datos.

La fulminación del Período Cálido Medieval

Hasta hace unas décadas (posiblemente hasta que se publicó la gráfica de la que estamos hablando) parecía claro que en la edad media (500-1500) la temperatura había sido elevada: es el llamado Período Cálido Medieval. Incluso el IPCC-AR1 (1990) recogía en una gráfica lo que se creía saber hasta ese momento, que era que la temperatura de los años 1100-1300 había sido superior a la actual:

De repente el MBH98 y el MBH99 fulminaron el Período Cálido Medieval, convirtiendo en “erróneas” todas las pruebas que habían llevado a creer en la existencia de ese periodo cálido (fuente). ¿Eran las pruebas suficientemente sólidas como para hacer esa sorprendente y extraordinaria afirmación? Como decía en la entrada anterior, dos canadienses no lo vieron claro y se dedicaron a estudiar de dónde salía la gráfica del palo de hockey. Su trabajo es el origen de las cosas que voy a contar.

Se ha intentado reconciliar la existencia del Período Cálido Medieval con la gráfica del palo de hockey, con la hipótesis de que éste existió pero no de forma global.

Dendroclimatología

Necesitamos definir este término porque, aunque no todos los datos usados en la creación del palo de hockey proceden de árboles, la mayoría sí lo hacen y sin ellos no hay palo de hockey. De hecho, y como veremos, sin unos árboles concretos el resultado no es un palo de hockey.

“Dendro”, de origen griego, significa “árbol”.

La dendroclimatología es la ciencia (o quizá pseudociencia) que deduce datos relativos al clima de los anillos de los árboles. En principio los datos que se procesan son el grosor/ancho de los anillos y la densidad de los mismos (fuente). Se estima la desviación del grosor/densidad de los anillos respecto de la que se cree que es la evolución esperada en función de la edad del árbol (fuente) y el resultado es una serie de datos asociados a cada año de la vida del árbol que son interpretados en MBH98/99 como un indicador de temperatura.

¿Por qué se cree que el grosor de un anillo representa temperatura y no humedad, pluviosidad, niveles de CO2, cantidad de luz recibida, nutrientes en el suelo, viento, presencia de rebaños de animales, alteraciones mecánicas en las características del árbol (pérdida de parte de la corteza, por ejemplo), contaminación atmosférica, etc.? Y, aunque así fuera, ¿por qué se asume como cierta la hipótesis de que el crecimiento del anillo es proporcional a la temperatura y no sigue, por ejemplo una curva cuadrática en la que hay una temperatura óptima para el crecimiento y fuera de ella el crecimiento es menor? (fuente) La respuesta a estas preguntas es que se hace el procesamiento sin saber cómo depende el grosor de los anillos de la temperatura: procesan matemáticamente los datos de grosor/densidad y si obtienen buena correlación con la temperatura en los años en los que se tienen medidas de termómetro en la zona del árbol deducen que esa correlación significa causa-efecto lineal temperatura-grosor/densidad en ese árbol concreto. Pero no nos engañemos: es procesamiento de “números” sin ningún tipo de pretensión de que existe un fenómeno físico subyacente que justifique ni la causalidad ni la linealidad: si la correlación sale negativa (el grosor decrece cuando la temperatura sube) la dan por buena igual que si la correlación es positiva (el grosor crece cuando la temperatura sube). ¿Por qué razón un árbol tendría anillos cada vez más delgados cuando otro los tiene cada vez más gruesos conforme la temperatura sube? ¿Por qué suponer que el grosor/densidad de un anillo es un indicador de mayor temperatura, especialmente tanto si crece como si decrece el grosor/densidad? ¿Qué forma tiene la curva grosor/densidad -vs- temperatura? (fuente,fuente,fuente) ¿Es su pendiente positiva, negativa, cero, todo lo anterior al mismo tiempo? (fuente) ¿Se puede pretender reconstruir la temperatura del pasado sin formular primero una hipótesis falsable sobre cómo es esa relación? Como veremos, en MBH98/99 no necesitan respuesta a estas preguntas porque es el propio procesamiento el que construye una gráfica con forma de palo de hockey: no hace falta que los datos empleados para crearla tengan ninguna información.

NOTA: en la parte final del MM03 se puede consultar el listado de los 112 indicadores empleados en el MBH98. Algunos son datos de precipitaciones, otros son datos de árboles, otros son dO18, etc.

Cherry-picking

En ésta y las siguientes entradas vamos a analizar los trucos, errores e hipótesis sin fundamento en que se basa la gráfica del palo de hockey. Frente al análisis basado en hechos concretos que vamos a hacer, la respuesta suele ser ignorar los argumentos y afirmar que estudios posteriores confirman que la gráfica del palo de hockey es correcta. Pero que existan palos de hockey posteriores al MBH98/99 no necesariamente confirma la validez de éste: esos otros estudios tienen sus propias carencias. De hecho, los artículos posteriores, lejos de ser confirmaciones independientes, suelen ser del mismo grupo de autores, basados en el mismo juego de datos (fuente) o el fruto de hacer cherry-picking de los indicadores disponibles (fuente,fuente,fuente,fuente). Esto último consiste en hacer una preselección de series de datos que tienen una marcada desviación de su valor medio en el último siglo, es decir, es escogen series de datos que bajan o suben de forma marcada en las décadas actuales y se descartan los que no lo hacen. Y lo justifican diciendo que es lícito escoger los datos que les permiten llegar a las conclusiones a las que quieren llegar (fuente):

si quieres hacer pastel de cerezas tienes que escoger cerezas

Este cherry-picking lo denominan “screening” y su base es la hipótesis de que los árboles que tienen una alta correlación con las temperaturas actuales demuestran ser sensibles a la temperatura (son “temperature-sensitive”). Por ejemplo, una serie de datos como la mostrada en la figura habría sido escogida como indicadora de temperatura en el screening, pues en las últimas décadas los valores se desvían del valor medio de la serie:

Es decir, en palos de hockey posteriores al MBH98/99 se escogen las series de datos con forma de palo de hockey y el resultado de procesar esas series de datos “sorprendentemente” también tiene forma de palo de hockey.

Both I and other bloggers […] have observed that the common “community” practice of screening proxies for the “most temperature sensitive” or equivalent imparts a bias towards Hockey Sticks. This bias has commonly demonstrated by producing a Stick from red noise. Stephen McIntyre

Tanto yo como otros blogueros […] hemos observado que la práctica de la “comunidad” común de evaluar los indicadores buscando los “más sensibles a la temperatura” o su equivalente se traduce un sesgo hacia los palos de hockey. Este sesgo se ha demostrado que suele producir un palo de hockey a partir de ruido rojo.

También en el palo de hockey de MBH98 y MBH99 se realiza cherry-picking, pero no es exclusivamente en la preselección: también el procesamiento de datos lo realiza. A una serie de datos como la de la gráfica anterior (que se desvía claramente de la media en la parte final) se le daría un peso cientos de veces mayor que a otras series de datos como parte del procesamiento de los datos. Es decir, además del posible cherry-picking previo, el propio procesamiento de los datos asignaba mayor peso en el resultado final a aquellos indicadores que tenían una forma determinada. Esto último lo veremos con detalle en posteriores entregas.

Otras entregas:

El palo de hockey (I): agua pasada que sigue moviendo molino

Empiezo aclarando que estoy en contra de la contaminación del planeta Tierra y me parece bien que se tomen medidas para preservar el medio ambiente. Pero no me gusta ser engañado. Y es difícil no sentirse engañado cuando se conocen los detalles de cómo se creó hace 20 años la famosa gráfica del palo de hockey y se comprueba que se sigue presentando esa gráfica como una prueba sólida. Y tampoco me parece aceptable que se quiera imponer una creencia, la de que el ser humano ha cambiado el clima del planeta en las últimas décadas como si fuera algo que no se puede cuestionar. Los dogmas incuestionables son propios de las religiones y de los fanáticos, no del conocimiento científico: en ciencia las ideas pueden y deben ser cuestionadas.

Un amigo mío creció en Europa del Este durante la era soviética. Me estaba hablando recientemente sobre este tema y la controversia en torno a mi columna. Me habló de los malos días de la corrección política en su país de origen, donde había muchos temas de los que se aprendía a no hablar, y te callabas. Para él el tema del cambio climático va por el mismo camino. Ross McKitrick

El palo de hockey

La siguiente gráfica es el “palo de hockey”, en este caso publicada en el Third Assessment Report of Working Group I of the Intergovernmental Panel on Climate Change (o de forma resumida, el IPCC-AR3) del año 2001:

En la gráfica anterior se están uniendo dos curvas:

  1. los datos en color rojo proceden de medidas “instrumentales” disponibles en el siglo XX, es decir, medidas de termómetro, mientras que
  2. los datos en color azul están sacados de procesar supuestos “indicadores” (proxies) de temperatura (grosor de anillos de árboles y alguna otra cosa, como se puede ver en la leyenda de la gráfica).

La curva negra debería ser una versión suavizada de los datos en azul, pero, como veremos más adelante en el blog, en realidad no lo es, pues fue retocada para parecer coherente con los datos de termómetro (los rojos). En posteriores artículos explicaremos con detalle el truco empleado para ocultar que la curva real baja en su parte final, no sube.

Si la gráfica anterior se publicó en el documento del IPCC en 2001, podemos plantearnos si esta gráfica sigue jugando un papel relevante casi 20 años después. Como muestra, un botón: un vídeo publicado en YouTube a finales de 2018 incorpora esa misma gráfica como supuesta prueba de que las temperaturas del planeta no tienen precedentes en el último milenio:

Y, por supuesto, nos urgen a actuar ya para corregir lo que ellos creen que está siendo causado por el ser humano.

Nótese que en este vídeo al presentar los datos no nos advierten de que en la gráfica se está haciendo un injerto con un segundo juego de datos, como he explicado antes. En la gráfica se están combinando:

  1. datos relativamente fiables (que serían las barras que más brillan, las que están a la derecha) de temperatura en el último siglo, y
  2. datos que no sabemos en qué medida son correctos o fiables como estimación de la temperatura en siglos pasados (que serían los de las barras más oscuras).

La gráfica está rotulada como “anomalía en la temperatura”, pero, ¿es realmente temperatura lo que representan las barras más oscuras? ¿Cómo sabemos que representan temperatura? ¿Cuál es el origen de la gráfica?

Y lo que se nos quiere contar con la gráfica del palo de hockey es evidente: se quiere establecer una correlación para a partir de ella deducir causalidad.

La gráfica del palo de hockey sigue siendo relevante 20 años después de su publicación.

Los artículos de Mann et al.

La gráfica del palo de hockey fue publicada en los siguientes dos artículos de Mann, Bradley y Hughes:

  • MBH98: “Global-scale temperature patterns and climate forcing over the past six centuries”.
  • MBH99: “Northern hemisphere temperatures during the past millennium: Inferences, uncertainties, and limitations”.

Usaré en adelante esos mismos nombres para ambos artículos: MBH98 y MBH99.

Los artículos de Stephen McIntyre y Ross McKitrick

En las siguientes entradas vamos a analizar el palo de hockey basándonos en el trabajo de Stephen McIntyre y Ross McKitrick, dos canadienses a los que la gráfica les resultó sospechosa y quisieron entender su origen. Sus investigaciones están muy bien descritas en el libro “The Hockey Stick Illusion“, de Andrew Montford, cuya lectura recomiendo encarecidamente. Los que quieran tener todo el detalle pueden consultar los artículos de McIntyre y McKitrick:

  • MM03: “Corrections To The Mann Et. Al. (1998) Proxy Data Base And Northern Hemispheric Average Temperature Series”.
  • MM05a: “Hockey sticks, principal components, and spurious significance”
  • MM05b: “The M&M Critique Of The MBH98 Northern Hemisphere Climate Index: Update And Implications”

También en el blog de McIntyre, ClimateAudit.org, encontraremos explicaciones detalladas sobre esta gráfica.

Otras entregas: