Neue Umfrage unter Klimaforschern

Gastkommentar von Gavin A. Schmidt vom Goddard Institute for Space Studies in New York.

Seit einigen Jahren führen Dennis Bray und Hans von Storch Umfragen bei Klimaforschern durch, um die Ansichten der Community (zu IPCC, Klimawandel, Ursachen usw.) zu erfahren. Leider waren diese Bemühungen nicht immer so erfolgreich wie erhofft. Es gab eine Reihe von Problemen – von der Frage, wer überhaupt an so einer Umfrage teilnehmen darf, über unspezifische oder mehrdeutige Fragen, bis hin zu mangelnder Kontrolle darüber, wer die Fragebögen ausfüllte (in einem Fall wurden die Website und dass Passwort in den Netzwerken der „Klimaskeptiker“ verbreitet). Wegen dieser Probleme waren die Ergebnisse der Umfragen weniger brauchbar als sie hätten sein können und wurden gelegentlich sogar genutzt, um Desinformation zu verbreiten. Wie diese Umfragen genutzt werden wirkt sich natürlich auch auf die Bereitschaft der Forscher aus, sich an künftigen Umfragen zu beteiligen – wenn die eigenen Antworten einmal verfälscht wiedergegeben wurden, wird man kaum ein weiteres Mal antworten. Andere haben sich an ähnlichen Umfragen versucht, mit ähnlichen Problemen.

Wie jeder wissen sollte, ist es nicht einfach, wirklich objektive Fragebögen zu entwerfen. Wer auf ein bestimmtes Ergebnis aus ist, hat es dagegen sehr einfach, Fragen zu entwerfen, die das Gewünschte zeigen. Ein besonders dreistes Beispiel dafür, von Steve Milloy, haben wir kürzlich bei RealClimate diskutiert. Ein größeres Problem als derart offensichtliche Voreingenommenheit sind jedoch ihre subtileren Formen: zum Beispiel die Annahme, dass alle Teilnehmer der Umfrage den gleichen Hintergrund haben und immer genau wissen, was man meint, oder einfach Fragen, die gar nicht das herausbekommen, was man eigentlich wissen möchte. Im Internet gibt es Anleitungen, wie man diese und andere Fehler vermeidet.

Nun, Bray und von Storch haben jetzt eine neue Umfrage verschickt.

Die Fragen sind hier nachzulesen (ohne Antworten, man kann also nicht spicken!), und laut Wikipedia kann jede anonymisierte Einladung dieses Mal nur eine einzige Antwort erzeugen. Deswegen hoffen wir, dass anders als in den vergangenen Jahren auch wirklich nur diejenigen antworten, die eingeladen wurden (die Rücklaufquote könnte allerdings nach wie vor ein Problem sein). Der eigentliche Grund für diesen Beitrag ist aber, dass wir den Nutzen der gestellten Fragen diskutieren möchten. Leider werden wir an dem Fragebogen nichts mehr ändern können (da die Einladungen schon verschickt wurden), aber vielleicht hilft es bei der Interpretation und weiteren Umfragen.

Der Fragebogen enthält zu viele Einzelfragen, um sich mit jeder im Detail zu befassen. Deswegen greifen wir nur einige Beispiele auf – vielleicht können in den Kommentaren weitere diskutiert werden. Die Fragen 15 bis 17 zeigen bereits ein typisches Problem – Genauigkeit. Frage 15 lautet, ob der „gegenwärtige Wissensstand gut genug entwickelt ist, um die Effekte von Albedo, Turbulenz usw. zu bewerten“. Aber es ist nicht gesagt: gut genug wofür? Für den globalen Energiehaushalt? Lokale Wettervorhersage? Klimasensitivität? Meeresströmungen?

So muss sich jeder Teilnehmer selbst zusammenreimen, worauf die Frage sich bezieht. Zum Beispiel ist Turbulenz zweifellos eine große wissenschaftliche Herausforderung, spielt aber für die Klimasensitivität oder Strahlungsbilanzen keine große Rolle. Für den Wärmetransport im Ozean könnte sie dagegen entscheidend sein. Wenn viele unterschiedliche Themen in einer Frage gebündelt werden und man keine Möglichkeit hat herauszufinden, worauf sich die Antwort genau bezieht, werden die Antworten nur wenig hilfreich sein.

16. How would you rate the ability of global climate models to reproduce temperature observations?

Genauso undefiniert ist der Begriff der „Temperaturmessungen“ in den Fragen 16 und 17. Ist hier die global gemittelte Temperaturänderung im 20. Jahrhundert gemeint, oder die regionale oder lokale Durchschnittstemperatur? Oder die Variabilität? Man könnte denken, dass ersteres die relevante Größe ist, aber die gleiche Frage wird im Bezug auf Niederschlagsmessungen gestellt, und hier gibt es schlicht keinen globalen Datensatz über die letzten hundert Jahre. Also muss es eine der anderen Optionen sein – nur welche?

Die Frage, wie gut die Modelle die nächsten zehn Jahre modellieren ist ebenfalls unklar und tatsächlich gar nicht zu beantworten (weil wir noch nicht wissen können, wie gut sie sich bewähren werden). Hier wird implizit angenommen, dass Modelle Vorhersagen produzieren – was sie nicht tun (immerhin wird das vage in den Fragen 45 und 46 angesprochen). Auf welche Extremereignisse bezieht sich der letzte Teil der Frage? Tornados (gar nicht vorhersagbar), Hitzewellen (besser), Dürren (schlechter), atlantische Hurrikane (unklar)? Wenn die Frage so ungenau gestellt ist, bleibt es bedeutungslos, was die Teilnehmer wahrscheinlich antworten werden: dass globale Modelle Extremereignisse nicht gut modellieren können.

52. Some scientists present extreme accounts of catastrophic impacts related to climate change in a popular format with the claim that it is their task to alert the public. How much do you agree with this practice?

Frage 52 ist eine klassische Suggestivfrage: „Einige Wissenschaftler präsentieren in populärwissenschaftlicher Weise extreme Szenarien für katastrophale Auswirkungen des Klimawandels, verbunden mit der Behauptung, es sei ihre Aufgabe, die Öffentlichkeit aufzurütteln. Inwieweit sind Sie mit derartigen Praktiken einverstanden?“ Offensichtlich gibt es darauf nur eine vernünftige Antwort („überhaupt nicht“). Die Frage definiert aber nicht, was hier als „extrem“ oder „katastrophal“ zu verstehen ist, wer mit „einige Wissenschaftler“ gemeint ist und wo sie solche Praktiken in der beschriebenen Weise gerechtfertigt haben sollen.

Die Studie wird am Ende aussagen, dass die meisten Wissenschaftler nicht damit einverstanden sind, dass in populärwissenschaftlicher Weise extreme Szenarien für katastrophale Auswirkungen des Klimawandels präsentiert werden, um die Öffentlichkeit aufzurütteln. Welch eine Überraschung! Eine nuanciertere Frage mit konkreten Beispielen hätte höchstwahrscheinlich ergeben, dass es sehr unterschiedliche Vorstellungen davon gibt, was „extrem“ ist, und dass ein beträchtlicher Teil der Befragten die öffentliche Diskussion potentieller Katastrophen (zum Beispiel durch einen raschen Anstieg des Meeresspiegels) und der damit verbundenen Unsicherheiten befürwortet. So wird man aus der Frage folgern, dass keine populärwissenschaftliche Zusammenfassung den Unsicherheiten über mögliche abrupte Veränderungen gerecht werden kann. Wenn man direkt danach gefragt hätte, wäre die Antwort sicher anders ausgefallen. Stattdessen wäre ein detaillierteres (und interessanteres) Meinungsbild entstanden.

Zwei für uns Blogger relevante Fragen sind Nummer 61 und 62, die danach fragen, ob es eine gute oder schlechte Idee sei, durch „Blogs auf dem w.w.w.“ potentiell jedem die Teilnahme an Diskussionen über Klimaforschung zu ermöglichen. Unglücklicherweise ist die Frage sehr schlecht formuliert. Glaubt jemand, dass sich kontrollieren lässt, was in Blogs diskutiert wird und was nicht? Die Frage ist doch nicht, ob diese Debatte stattfinden sollte (das tut sie auf jeden Fall), sondern ob Wissenschaftler sich daran beteiligen sollten.

Betrachtet man die Gesamtheit aller Blogs, dann ist die durchschnittliche Qualität der Diskussion offensichtlich erbärmlich (sorry!). Wenn das Ziel der Frage eine Aussage über die Qualität der Diskussion in spezifischen Blogs war, dann hätte man die Frage auch so stellen müssen (zum Beispiel mit einer Liste prominenter Blogs zum Bewerten). So wie die Frage gestellt ist, wird die Auswertung wohl ergeben, dass Klimadiskussionen im Internet und in Blogs eine gute Idee sind, die Qualität der Diskussionen aber als mies empfunden wird. Das ist nun wirklich keine neue Erkenntnis.

Eine Gruppe von Fragen (Q68 & Q69) kommt offensichtlich eher von einem Sozialwissenschaftlicher als von einem Klimawissenschaftler. Q68 fragt, ob die Hauptaufgabe der Wissenschaft sei, existierende Hypothesen zu bestätigen oder zu widerlegen, Q69, ob es Rolle der Wissenschaft sei, bestehende „Fakten“ zu legitimieren oder delegetimieren, oder etwas anderes. Was soll man damit anfangen? Die Fragen enthalten Anflüge von Karl Popper und sozialem Konstruktivismus; wir wären allerdings sehr überrascht, wenn aktive Forscher etwas anderes als „etwas anderes“ antworten würden. Wissenschaft und Wissenschaftler wollen im Allgemeinen Dinge herausfinden, die man vorher noch nicht wusste – und das bedeutet, sich zwischen Hypothesen zu entscheiden und genauso alte „Fakten“ zu untersuchen wie neue zu schaffen. Schon die Idee, dass ein Faktum legitimer sein soll als andere ist seltsam – wenn ein „Fakt“ nicht legitim ist, ist es dann überhaupt ein Fakt? Möglicherweise gibt es Lehrbücher über Wissenschaftstheorie, in denen diese Fragen geklärt werden, aber wir vermuten, dass die meisten aktiven Wissenschaftler gar nicht durchschauen, was dahinter steckt. Es bedürfte wahrscheinlich einer gesonderten Umfrage darüber, was Wissenschaftler über ihre Arbeit denken, um bei diesem Thema zu nützlichen Aussagen zu gelangen.

Um es zusammenzufassen: wir sind nicht prinzipiell dagegen, Wissenschaftler nach ihrer Meinung zu befragen. In Anbetracht der bisherigen Erfahrungen mit den Problemen solcher Versuche (und ihrer verbleibenden Schwächen) schlagen wir allerdings vor, sie in Zukunft besser zu konzipieren. Insbesondere empfehlen wir dringend, den Fragenkatalog künftig öffentlichen zu diskutieren – in einem Wiki oder einem Blog – bevor die Umfrage startet. Es gibt eine große Zahl an vernünftigen Leuten, deren Expertise helfen könnte, die Fragen präziser und aussagekräftiger zu gestalten.

[Dieser Aufsatz erschien im englischen Original bei RealClimate.]

Ähnliche Artikel:

• Klimaforscher-Befragungen und ihre Interpretation
• Klimawette Teil 2
• Die Klimalösung – Zwei Notwendigkeiten des Zwei-Grad-Ziels
• Seltsame Umfragen
• "Erderwärmung beschleunigt sich"