El palo de hockey (XIV): “El truco para ocultar la bajada” (Briffa99b)

En la revista Science de 1999 encontramos la siguiente gráfica:

En la gráfica anterior no se ve muy bien, así que en la gráfica bajo estas líneas he repasado en rojo de forma artesanal una de las curvas representadas, que empieza en 1550:

Stephen McIntyre (fuente, fuente) se dio cuenta de que datos contenidos en un fichero de otro artículo (fichero, tercera columna en segunda hoja) filtrados convenientemente encajaban en esa curva, ¡y los datos verdaderos no empezaban en 1550! Se habían eliminado en la gráfica los resultados en el periodo 1400-1550. Muestro en color azul la parte de la curva que fue ocultada y en rojo el resto de la misma curva (procedente de filtrar los datos del fichero enlazado antes):

imagen_5149

Como vemos en la imagen anterior, los datos eliminados de la gráfica eran inconvenientes, pues a diferencia de otras reconstrucciones mostraban un (supuesto) destacado periodo de enfriamiento alrededor del año 1400. ¿Qué haces cuando los datos verdaderos te estropean una bonita historia? ¡¡Ocultarlos!! Si un fragmento de una curva encaja en lo que quieres presentar, ese fragmento lo pones, pero si una parte de los resultados siembra dudas sobre la validez de lo que estás presentando, esa parte la ocultas. Es la ciencia. Perdón, quiero decir La Ciencia, con mayúsculas.

Para finalizar esta entrega aclaro que, como ya sabemos, en los resultados de Briffa además se está ocultando la bajada final (fuente). Uso  directamente la gráfica de Stephen McIntyre para ilustrar esto:

Esa bajada era muy inconveniente. Pero afortunadamente La Ciencia tiene solución para los resultados inconvenientes.

Leer más sobre este “truco para ocultar la bajada”:

Otras entregas:

El palo de hockey (XIII): “el truco para ocultar la bajada” (Briffa99)

Recordemos la reconstrucción de Briffa que hemos visto en la entrada anterior:

imagen_5189

Y fijémonos ahora en la curva verde de esta imagen que encontramos como portada de un informe de la World Meteorological Organization de 1999:

 

Aislamos la curva verde para verla más claramente:

La curva verde va hacia arriba en su parte final, ¿verdad? Y la leyenda deja bien claro que la curva verde es la de Briffa 1999, como confirmamos superponiendo los datos reales de Briffa (en rojo) sobre la gráfica anterior (aunque no he acertado con el suavizado original se ve que son los mismos datos):

La curva real es la roja. La curva verde es la curva presentada en ese informe de la WMO. En ese informe se presentó una curva falsa. El engaño es innegable. Y no lo hicieron por error: fue una maniobra premeditada, un “truco para ocultar la bajada”.

La gráfica es el resultado de:

  1. eliminar parte de los datos inconvenientes, que son los que muestran la bajada,
  2. sustituir esos datos por datos de termómetro,
  3. filtrar la señal resultante.

Aunque no necesitamos confirmación de que fue así, porque obviamente lo más importante es que indiscutiblemente han trucado la gráfica, sabemos que fue así por los correos electrónicos hechos públicos en el ClimateGate, en concreto del documento 4456.txt, en el que aparecen los datos originales de Briffa et al. hasta el año 1960 y sustituidos a partir de 1961 por datos de termómetro. Es la cuarta columna del documento y la última columna son los datos de termómetro. Ambas columnas son iguales a partir de 1961, cuando los datos de la reconstrucción de Briffa en realidad llegaban hasta 1994. Los datos de ese documento los he representado con cruces azules en la gráfica bajo estas líneas, y, como se puede apreciar, se usan datos de termómetro para años en los que sí existen datos de reconstrucción, que son las cruces rojas:

Como vemos, la bajada original del artículo de Briffa et al. fue ocultada eliminando los datos incómodos y sustituyéndolos por datos de termómetro. Es otro truco para ocultar la bajada. Esto es la ciencia, señores: los resultados incómodos son sustituidos por datos falsos que sí van en el sentido del “consenso razonable”. ¡Así se hace la ciencia!

know there is pressure to present a nice tidy story as regards apparent unprecedented warming in a thousand years or more in the proxy data […] Keith Briffa

Sé que hay presión para presentar una historia bonita y limpia a respecto de un calentamiento sin precedentes en 1000 años o más en los indicadores

Such data truncation is certainly improper and may teeter on the hazy borderline of science fraud. Donald Rapp

Tal truncamiento de datos es ciertamente inapropiado y puede moverse en el nebuloso límite del fraude científico.

El truco que acabamos de ver va más allá del truncamiento y va más allá de usar un relleno (padding) falso en el suavizado, que es lo que habíamos visto en entradas anteriores: en el caso que estamos viendo ahora se ha reemplazado parte del resultado real con valores falsos.

Para más detalle sobre cómo se gestó este truco:

Otras entregas:

El palo de hockey (XII): “el truco para ocultar la bajada” (Briffa01)

Otra reconstrucción publicada en 2001. De todas las posibles curvas de la gráfica, la escogida por los autores es la resaltada en trazo más grueso.

De uno de los correos electrónicos del ClimateGate (939154709.txt) podemos obtener los datos que dan lugar a esa gráfica, como se demuestra al suavizarlos y superponer tanto los datos puntuales como la curva suavizada a la gráfica original:

imagen_5189

¿Han ocultado los autores la bajada? No, aquí todavía no lo han hecho. Pero esta curva fue incorporada al IPCC-AR3 (2001). Es la curva verde en la gráfica 2.21 del citado informe:

¿Vemos lo que ha sucedido en la gráfica con la curva original? Vamos a aislar la curva de la que estamos hablando, que es la verde, para que sea mucho más claro el truco:

¿Vemos ahora qué falta en la curva? Han eliminado la bajada final, de tal forma que no se nota que una de las curvas lejos de subir, está bajando en la parte final del siglo XX. Lo vemos claramente si usamos nuestros datos para reproducir esa curva:

El suavizado que he conseguido no es el mismo que en la curva original, pero es suficiente para lo que vamos a ver. Si esa curva se hubiese representado por completo en el IPCC-AR3 habrían mostrado esta curva verde:

Es decir, esa curva tiene una forma altamente inconveniente para la credibilidad de las reconstrucciones sacadas de árboles, pues no tiene tendencia al alza en el siglo XX. Y la manipulación no es casual: recordemos que al menos otra de las curvas de esta gráfica también está ocultando una bajada. Pero hay más que eliminación de datos: si hacemos una ampliación de la parte final tenemos lo siguiente:

Además de eliminar la parte final de la curva original, ocultando la bajada, se le ha alterado la pendiente.

Of course, the recent divergence in these data will be less clear if post-1960s values are excluded and that represents a potential disadvantage of this exclusion if this divergence is important for assessing confidence in the earlier reconstructed values. (fuente)

Por supuesto, la reciente divergencia en los datos será menos clara si los valores posteriores a 1960 son eliminados y eso es una posible desventaja de esta eliminación si la divergencia es importante para estimar la confianza en la reconstrucción de valores del pasado.

Sí, es cierto: si borras la bajada yo diría que la bajada se ve con menos “claridad”. Y estás engañando al que ve la gráfica porque va a creer que hay una coherencia con los valores de termómetro que realmente no existe.

Por último, un comentario: la ocultación de la bajada fue premeditada, como demuestra el hecho de que Stephen McIntyre como revisor del IPCC-AR3 pidió expresamente que se mostrara toda la curva y no se atendió su petición, y ni siquiera se dignaron a hacer explícito en el documento que la curva había sido manipulada para ocultar la bajada (fuente).

En este artículo de ClimateAudit se encuentra con detalle toda la historia de cómo se procedió a ocultar la bajada en la gráfica del IPCC:

En la siguiente entrega veremos otra versión del truco.

If the scientists had actually substituted or replaced the tree ring proxy data with instrument data, then McIntyre and Fuller would have a valid claim of fraudulent behavior by Phil Jones et al. However, nothing was substituted or replaced. Brian Angliss

Si los científicos realmente hubieran sustituido o reemplazado los datos de proxy del anillo de árbol con datos de instrumentos, entonces McIntyre y Fuller tendrían un argumento válido de comportamiento fraudulento por parte de Phil Jones et al. Sin embargo, nada fue sustituido o reemplazado.

Otras entregas:

El palo de hockey (XI): “el truco para ocultar la bajada” (MBH99)

Aquí tenemos el palo del hockey del MBH99. Nótese que la reconstrucción de lo que los autores afirman que es temperatura retrocede hasta el año 1000, en lugar del 1400 que es en MBH98.

El código que vamos a emplear para reproducirlo lo podemos descargar de aquí: https://climateaudit.org/2008/07/01/code-the-hockey-stick/. Con ese código obtenemos los siguientes datos (claramente he rellenado al inicio y al final con el valor medio de las 20 primeras y 20 últimas muestras, respectivamente):

Y, por cierto, nótese en la gráfica anterior que en los datos procedentes de los indicadores (puntos azules) no hay diferencia de valor entre los puntos de los últimos años del siglo XX y los del año 1200 ó 1300: si miramos la gráfica del MBH99 veremos que la forma de palo de hockey la crea el añadir una serie de datos diferente: los valores de termómetro (curva roja en la gráfica original, la primera que he puesto en esta entrada).

Si superponemos las gráficas, la original y nuestra reproducción, vemos que la coincidencia es muy buena:

Haciendo una ampliación podemos comprobar que mientras que nuestro suavizado (en verde) acaba casi horizontal, el del artículo acaba claramente hacia arriba (en morado):

¿Por qué sube el tramo final de la curva morada, si esa subida no está en los datos que supuestamente suaviza? Pues porque los autores están aplicando nuevamente “el truco de Mike para ocultar la bajada” (ver). La curva real era inconveniente, y la “arreglaron”.

Otras entregas:

El palo de hockey (X): “el truco para ocultar la bajada” (MBH98)

Aclaración

A la hora de representar datos que tienen mucha variación se suele acompañar los datos originales de una versión suavizada de los mismos. El suavizado se realiza gracias a un operador matemático denominado “filtro pasobajo”, si bien no hay una única versión de filtro suavizador y el resultado es diferente según la opción elegida. Para lo que nos interesa ahora mismo debemos tener en cuenta que si tenemos unos datos que cubren el periodo 1400-2000 DC, el resultado del suavizado para un año concreto, por ejemplo para el año 1700, se obtiene a partir de datos anteriores y posteriores a ese año, por ejemplo se usan los datos del periodo 1675-1725 para generar el valor suavizado en el año 1700. En este ejemplo diríamos que el filtro tiene una longitud de 51 años. Obviamente esto plantea un problema en los 25 años iniciales y 25 años finales de la serie de datos, pues para esos años no hay 25 años anteriores, en el primer caso, ni 25 años posteriores, en el segundo caso, que permitan realizar el suavizado con un filtro de longitud 51. Una solución obvia es no obtener el resultado de suavizar para los primeros y los últimos valores. Otra solución puede ser crear nuevos datos y añadirlos al principio y al final (esto se llama padding en inglés) para así poder completar el proceso para todos los datos originales. Pero, como es evidente, el resultado del suavizado en los primeros y últimos años no será del todo real, pues dependerá de los valores de relleno empleados. Un valor de relleno que suele emplearse es el valor medio de los primeros/últimos datos.

¿Qué es “el truco para esconder la bajada”?

Recordemos la gráfica del palo de hockey de MBH98. Como ya sabemos, entre otras cosas los autores de la gráfica juntaron en ella dos series de datos procedentes de fuentes independientes, algo que dejan claro en la leyenda, pero visualmente hacen que parezca una única serie de datos.

Como vemos en la gráfica anterior, se da una versión suavizada (trazo negro discontinuo) de la reconstrucción que acaba con una pequeña subida. Para verlo mejor, pinto de rojo la curva negra y hago su trazo continuo. Es la curva original del artículo: no he cambiado nada más que el color de la curva.

En esta página de ClimateAudit podemos encontrar el código que voy a usar para generar las siguientes gráficas. Como se ve en la siguiente figura, los datos generados por ese código, los círculos huecos de color azul, que son los empleados en el análisis que hago a continuación, encajan perfectamente en la gráfica original:

Y ahora hacemos lo siguiente:

  1. Añadimos relleno en la parte inicial/final de valor constante: el valor medio de los primeros/últimos 20 datos.
  2. Filtramos con un filtro de longitud 49 (el propuesto en el código de Matlab obtenido de ClimateAudit, cambiando 50 por 49).
  3. Eliminamos los primeros y últimos datos del filtrado.

En la imagen se pueden ver los datos de relleno resaltados con elipses rojas:

Como vemos en la imagen bajo estas líneas, el suavizado conseguido es bastante fiel al original, salvo en la parte final: nuestra curva suavizada (en azul) acaba hacia abajo mientras que el suavizado original (en negro) acaba hacia arriba.

 

Hagamos una ampliación de la parte interesante:

¿Por qué el suavizado original (en negro) acaba hacia arriba? Pues porque los autores de la gráfica no quisieron mostrar el resultado real, en el que la curva acababa con un descenso. Y “arreglaron” la inconveniente realidad con lo que fue llamado “el truco de Mike [Michael Mann] en [la revista] Nature para esconder la bajada” (Mike’s Nature trick […] to hide the decline). El truco es que en lugar de usar como datos de relleno el valor medio de los últimos datos a suavizar emplearon el valor medio ¡¡¡de los datos de termómetro para los siguientes 15 años!!!, tal y como se describe en este correo electrónico destapado en el ClimateGate (ver):

I’ve just completed Mike’s Nature trick of adding in the real temps to each series for the last 20 years (ie from 1981 onwards) and from 1961 for Keith’s to hide the decline

Vamos a replicar el truco. En rojo he resaltado los datos de relleno que voy a usar ahora, que son el valor medio de los datos de termómetro en el periodo 1981-1995, es decir, tal y como se describe en el e-mail anterior voy a emplear como relleno el valor medio de unos datos diferentes de los que estoy suavizando:

 

Y, efectivamente, con ese truco el suavizado acaba hacia arriba:

Ampliación de la zona de interés:

Como acabamos de ver, la subida final de la curva original es falsa: los autores del palo de hockey contaminaron la curva suavizada de la reconstrucción con valores sacados de los datos de termómetro, creando de esa forma la falsa impresión de que existía gran armonía entre ambos.

En el siguiente artículo veremos el truco en el MBH99.

Otras entregas:

El palo de hockey (IX): un palo hecho con madera imaginaria (resumen de lo visto hasta ahora)

Statistics is thus substituted for physics, is used to assign causality, and is made to pose material time series as temperature. In a classic of scientific non-sequiturs, the entire field of consensus proxy paleo-thermometry has decided that correlation equals causation, and also that correlation in the present proves causation in the past. This is physics by fiat. Patrick Frank

La estadística sustituye por tanto a la física, es usada para asignar causalidad y se hace para interpretar series temporales como temperatura. En un clásico de los non sequitur científicos, todo el campo del consenso en paleo-termometría a partir de indicadores ha decidido que la correlación es igual a la causalidad, y también que la correlación en el presente prueba la causalidad en el pasado. Esto es física por decreto.

Se deduce causalidad en el pasado si el árbol tiene una buena correlación en el presente

La gráfica del palo de hockey se basa en la premisa de que un gran parecido en el periodo 1902-1980 con las medidas de termómetro (es decir, que tenga una alta correlación con la señal de termómetro en el periodo de calibración) es signo de que ese indicador se ha comportado como un termómetro (causa-efecto) desde su nacimiento, es decir, que ha existido causalidad temperatura-grosor de anillos. De la misma manera, un indicador que no se parezca a la temperatura medida con termómetro en el periodo de calibración se considera que no se comporta como un termómetro.

Es decir, en el mejor de los casos, la gráfica está basada en la deducción de causalidad a partir de una correlación: a partir de una correlación en la actualidad se deduce causalidad en el indicador en siglos pasados.

¿Qué hace pensar a los autores de la gráfica que en los indicadores recogidos hay información de temperatura y no simplemente ruido? ¿Siguiendo exactamente el mismo procedimiento y con los mismos datos se puede reconstruir pluviosidad, concentración de CO2 en la atmósfera, luz recibida por el árbol o cualquier otra variable que se nos ocurra? Sólo necesitamos tener datos fiables en la actualidad y podemos hacer esas reconstrucciones. Y si nos sale un palo de hockey una posibilidad será que hemos reconstruido esa señal en el pasado. Pero otra posibilidad es que estemos jugando con ruido, y dependiendo del ruido concreto que hayamos usado salga una cosa u otra.

La subida final de la gráfica no está en los datos: es creada por el procesamiento matemático. Y la forma del mango la marcan los indicadores exitosos en la reconstrucción del siglo XX.

Esto es muy importante: los indicadores empleados en la creación de la gráfica no decían que la temperatura había subido en el último siglo. Eso es fácil de ver, sin más que promediarlos. Es el procesamiento, el algoritmo MBH, el que fuerza la subida final en la reconstrucción. El programa empleado en MHB98/99 busca la mejor forma de combinar linealmente los 112 indicadores empleados para regenerar la forma de la temperatura medida con termómetro en el siglo XX. Y eso se puede conseguir casi siempre si se tiene un juego suficientemente amplio de señales. La subida no es una información que se haya sacado de los indicadores: es una forma que fuerza el algoritmo MBH en el resultado final a poco que los datos lo permitan. La subida en el siglo XX del palo de hockey no es real.

Insisto un poco: si tengo 110 indicadores que son puro ruido, 1 que tiene forma de subida en el siglo XX y uno que tiene forma de bajada en el siglo XX (nótese que el que baja sería reconvertido a ascendente, pues el signo de la correlación con la medida de termómetro es ignorado en MBH), al hacer el promediado me saldría que la señal que tengo es esencialmente ruido sin un patrón marcado y sin nada especial en el siglo XX. Pero el procesamiento de MBH98/99 no hace un promedio de los indicadores, sino que busca cómo combinar los 112 indicadores para generar una subida en el siglo XX que se parezca al máximo con la medida de los termómetros. El procesamiento matemático genera una subida en el siglo XX pero no lo hace porque así se deduce los indicadores: esa subida existe en la gráfica porque el propio algoritmo fuerza que la gráfica tenga esa forma.

La prueba de que esa subida no es real es que sabemos (porque Stephen McIntyre y Ross McKitrick así lo demostraron), que el código del MBH98/99 genera una gráfica con subida en el siglo XX incluso cuando se usa ruido en lugar de los indicadores originales empleados en el artículo. Que el resto de la gráfica sea básicamente horizontal es la consecuencia de que indicadores concretos que son exitosos en reconstruir la señal del periodo de calibración son planos en el resto de siglos. Destacan en este sentido los cedros de Gaspé y la NOAMER PC1, si bien este último no debería tener forma de palo de hockey pero la tenía gracias al empleo de un pseudo-PCA en lugar de un PCA convencional.

Muchas señales de ruido + alguna señal con forma de palo de hockey => Palo de hockey garantizado por el algoritmo. El algoritmo MBH es una máquina de generar palos de hockey.

we conclude unequivocally that the evidence for a ”long-handled” hockey stick (where the shaft of the hockey stick extends to the year 1000 AD) is lacking in the data. McShane y Wyner

concluimos de forma inequívoca que la evidencia para un palo de hockey de largo mango (en el que el mango se extiende hasta el año 1000 DC) no está presente en los datos

La gráfica ni siquiera pasó el control de calidad

La gráfica no pasó el proceso de verificación y los datos de la verificación no se publicaron en el artículo. La emulación de la gráfica del palo de hockey por parte de otros autores demostró que el R² de la verificación era bajísimo, por lo que la reconstrucción carecía de la mínima significancia estadística. El palo de hockey no tiene validez científica pero este hecho se ocultó.

Pero no hemos terminado: en las siguientes entregas veremos “el truco para ocultar la bajada”. Los trucos para ocultar la bajada, más bien, porque son varios trucos.

Otras entregas:

The Hockey Stick (IX): a stick made of imaginary wood (a summary of previous posts)

Statistics is thus substituted for physics, is used to assign causality, and is made to pose material time series as temperature. In a classic of scientific non-sequiturs, the entire field of consensus proxy paleo-thermometry has decided that correlation equals causation, and also that correlation in the present proves causation in the past. This is physics by fiat. Patrick Frank

Causality in the past is inferred from correlation in the present

The hockey stick graph is based on the premise that a great resemblance to thermometer measurements in the period 1902-1980  (that is, having a high correlation with the thermometer signal in the calibration period) means that this proxy has behaved like a thermometer (cause-effect) since its birth, that is, that there has been causality in the temperature – ring widths relationship. In the same way, a proxy that does not resemble the thermometer values in the calibration period is considered to not behave like a thermometer.

That is, at best, this graph is based on the inference of causality from a correlation: causality in past centuries is deduced from correlation.

Why do the authors of the graph believe that in the proxies they collected there is temperature information and they are not just noise? Following exactly the same procedure and from the same data, can they do a reconstrucion of pluviosity, CO2 concentration in the atmosphere, light received by the tree or any other variable that comes to their mind? They just need to have reliable data today and they can do those reconstructions. And if they get a hockey stick, one possibility is that they have successfullyreconstructed that signal in the past. But another possibility would be that they are playing with noise, and depending on the specific noise they use, they get a different outcome.

The final rise in the graph doesn’t come from the data: it is created by the mathematical processing. And the shape of the handle is determined by the shape of those proxies that are important in the reconstruction of the twentieth century.

This is very important: the proxies used in the creation of the graph didn’t say that the temperature had risen in the last century. This is easy to checked: average them. It is the processing, i.e. the MBH algorithm, who forces the final rise in the reconstruction. The computer program used in MHB98/99 seeks the best way to linearly combine the 112 proxies to regenerate the shape of the thermometer temperatures in the 20th century. And that shape can be achieved almost always if you have an ample set of signals. The uptick is not information that has been extracted from the proxies: it is a shape that is imprinted by the MBH algorithm in the final result (whenever the data allows it). The uptick of the MBH hockey stick in the 20th century is not real.

I find these ideas really important. Therefore, I insist a little: let’s say I have 110 proxies that are pure random (i.e. noise), 1 that has a rise in the twentieth century and one that has a decline in the twentieth century (note that the one that goes down will be converted to a rise since the sign of the correlation with the thermometer measurement is ignored in MBH). If I average the proxies I will conclude that the signals I have are essentially noise without a visible pattern and with no special trend in the twentieth century. But the processing in MBH98/99 doesn’t average proxies: it seeks the best way to combine the 112 proxies to generate a rise in the twentieth century that resembles as closely as possible the instrumental measures. It is the mathematical processing what generates a rise in the twentieth century but it does not do so because it is deduced from the proxies: the rise exists in the graph because the algorithm itself forces the graph to have that shape.

The proof that this rise is not real is that we know (as was demonstrated by Stephen McIntyre and Ross McKitrick), that the MBH98/99 code generates a graph with a rise in the 20th century even when red noise (low-pass filtered) is used instead of the original proxies. And the rest of the graph is basically horizontal because those specific proxies that are most successful in helping to reconstruct the calibration period shape happen to be flat in the rest of the centuries. The Gaspé cedars and the NOAMER PC1 stand out in this regard, although the latter shouldn’t have a hockey stick shape but it had it thanks to the use of a pseudo-PCA instead of a conventional PCA.

Many noise signals + some signals shaped like a hockey stick => The hockey stick shape is guaranteed by the algorithm. The MBH algorithm is a hockey stick generating machine.

we conclude unequivocally that the evidence for a ”long-handled” hockey stick (where the shaft of the hockey stick extends to the year 1000 AD) is lacking in the data. McShane and Wyner

The graph didn’t even pass the quality control

The graph did not pass the verification step and the full verification data wasn’t published in the article. The emulation of the hockey stick graph by other authors showed that the R² of the verification was very low, i.e. the reconstruction lacked statistical significance. The hockey stick has no scientific validity but this fact was hidden.

But we are not done: in the next posts we will learn about “the trick to hide the decline”. Or perhaps we should say “the tricks to hide the decline”, because it’s not just one trick.

Other posts: