Seltsame Umfragen 3
Heute runden wir die Diskussion um Meinungsumfragen mit einem Plädoyer für eine gute Alternative ab: die Expertenbefragung.
Stellen Sie sich einen Moment vor, Sie müssten eine Entscheidung darüber fällen, ob Ihr Kind sich einer Herzoperation unterziehen sollte. Sie können zur Information unter zwei Dossiers wählen:
(a) Den Ergebnissen einer detaillierten Befragung unter einem Dutzend der besten Herzspezialisten weltweit über alle Vor- und Nachteile der möglichen Operationen.
(b) Den Ergebnissen einer multiple-choice Meinungsumfrage unter 200 anonymen Ärzten aller Fachrichtungen über Sinn und Unsinn dieser Operationen.
Sollten Sie (a) gewählt haben, dann sind Expertenbefragungen etwas für Sie. Expertenbefragungen haben eine lange Tradition als Werkzeug für die Berücksichtigung von Expertenwissen bei komplexen Entscheidungen (siehe die unten zitierten Bücher dazu von Morgan und Henrion sowie von Cooke). Expertenbefragungen vermeiden die Probleme von Umfragen, die wir in Teil 1 und Teil 2 angesprochen haben. Pioniere dieser sozialwissenschaftlichen Methode im Klimabereich waren Granger Morgan und David Keith, die im Jahr 1995 dazu eine klassische Studie veröffentlichten (siehe Literatur).
Was unterscheidet also konkret eine Expertenbefragung von einer Meinungsumfrage im Stile von Storch/Bray oder Post/Kepplinger? Vor allem zwei entscheidende Dinge: die Auswahl der Experten und die Tiefe der Befragung.
Auswahl der Experten
Bei der Expertenbefragung werden die zum Thema kompetentesten Experten gezielt ausgewählt – und sie werden in der Studie auch namentlich genannt. Die Antworten sind in der Regel halb-anonym – d.h. man erfährt nicht, welcher der Experten welche Antworten gegeben hat. Dieses Verfahren enthält ein subjektives Element beim Design der Studie – die Auswahl der Experten – aber zumindest ist diese Wahl transparent. Die Methode vermeidet so das Problem der intransparenten Schein-Autorität, unter dem Umfragen wie Post/Kepplinger leiden: dort werden politische Konsequenzen aus der Umfrage gefordert, weil ja „Experten“ befragt wurden - aber niemand kann nachprüfen, wer diese Experten sind und welche Kompetenz sie tatsächlich haben.
Bei Expertenbefragungen ist die Zahl der Befragten meist klein gehalten, weil es hier nicht die „Masse“ macht sondern die Qualität. Es geht nicht um eine statistisch repräsentative Stichprobe, sondern um die Einschätzung durch ganz bestimmte Individuen.
Qualität bedeutet einerseits die richtige Fachexpertise: man befragt zu Herzoperationen eben besser Herzspezialisten als Orthopäden. Ähnlich fachlich differenziert wie in der Medizin geht es natürlich auch in der Klimatologie zu, wo jedes Jahr mehr als 10.000 Fachpublikationen erscheinen, wovon jeder Forscher naturgemäß nur einen kleinen Teil verfolgen kann. Daher macht es auch wenig Sinn, eine große Gruppe von Klimaforschern (im weitesten Sinne) zu fragen, ob die Temperaturrekonstruktion von Mann und Jones (2003), die von Mann, Bradley und Hughes (1999) oder ein Dritte nun die beste ist. Nur eine kleine Minderheit, die sich intensiv mit der relevanten Fachliteratur auseinandergesetzt hat, kann dies fundiert beantworten.
Aber selbst bei weniger speziellen Fragen, etwa nach dem anthropogenen Anteil an der aktuellen Klimaerwärmung, gibt es im hoch spezialisierten Wissenschaftsbetrieb viele Forscher, die mit der relevanten Evidenz nicht gut vertraut sind, wenn sie sich nicht in ihrer Forschung mit dieser Frage befassen. So war einmal ein Kollege (ein Professor, der zum Klima forscht) verblüfft, als ich ihm auf einer Konferenz sagte, die starken Klimaschwankungen der Erdgeschichte sprächen für eine hohe Klimasensitivität, also auch für eine starke Erwärmung durch das CO2. Von der „Klimasensitivität“ hatte er noch nie gehört (er versprach, es nachzulesen). Das ist die wichtigste Kenngröße, die bestimmt, wie stark die Erwärmung durch unsere CO2-Emissionen ausfallen wird. Solche Wissenslücken sind insofern verzeihlich, als dieses Wissen für die konkrete Forschungsarbeit dieses Kollegen nicht relevant ist. Wenn man sich zum CO2-Erwärmungseffekt öffentlich äußert, sollte man aber das Konzept der Klimasensitivität verstehen. Leider nehmen sich noch zu wenige Kollegen die Zeit, die Fachliteratur auch über die eigenen Forschungsthemen hinaus zu verfolgen und sich ein breites und integratives Wissen zum Klimawandel anzueignen. (Bloggen, Bücherschreiben und die Mitarbeit in Gremien wie dem IPCC sind übrigens ein hervorragender Anstoß dazu.)
Zum Thema Qualität bei der Auswahl der Experten gehört neben der richtigen Fachrichtung ebenso, dass es natürlich gute und weniger gute Wissenschaftler gibt, genau wie es ja auch gute und weniger gute Fußballer gibt. Der Wettbewerb in der Spitzenforschung ist ebenso groß wie im Leistungssport, und nicht jeder ist ein Ballack der Wissenschaft. Bei der eingangs gestellten Frage würde sicher jeder die Einschätzung der besten Herzspezialisten am interessantesten finden. Leistung lässt sich zwar (wie beim Fußball) nicht direkt messen, aber am wesentlichen „output“ (beim Fußballer der Erfolg in Turnieren, beim Forscher die Fachpublikationen) doch ziemlich gut einschätzen. Die Standardindikatoren für wissenschaftlichen Erfolg – die
Publikationen und ihre Citations – sind dafür eine sinnvolle und transparente Grundlage.
Tiefe der Befragung
Der zweite wesentliche Unterschied zu einer Meinungsumfrage besteht darin, dass bei einer Expertenbefragung nicht in 20 Minuten ein paar einfache multiple-choice-Fragen zu beantworten sind, sondern dass eine intensive und ausführliche Befragung, meist von Angesicht zu Angesicht, mit der Möglichkeit von Rückfragen stattfindet. Diese erfordert eine sehr eingehende Vorbereitung.
Als Beispiel will ich die Expertenbefragung von Zickfeld et al. (2007) nennen, an deren Planung ich beteiligt war. Wir haben diese Expertenbefragung als Baustein eines internationalen Verbundprojekts im Jahr 2000 beim Bundesforschungsministerium beantragt, um auf diese Weise für das Projekt auch die Expertise einer Reihe nicht direkt beteiligter Forscher zu nutzen. Die Befragung wurde in Zusammenarbeit mit Granger Morgan und David Keith mehrere Jahre vorbereitet und im Herbst 2004 durchgeführt. Zwei Fachwissenschaftler führten die im Schnitt 6-stündigen Interviews mit den Experten. Am Ende galt es, u.a. rund 70 Stunden Tonbandmitschnitte auszuwerten. Im Februar 2006 war die Auswertung fertig und die Arbeit wurde bei der Fachzeitschrift Climatic Change eingereicht, wo sie im Frühjahr 2007 erschienen ist.
Diese Arbeit wurde von der Fachwelt mit großem Interesse aufgenommen und zählt nach ISI zu den top 3% der meistzitierten Klimapublikationen des Jahres 2007. In Science haben Michael Oppenheimer und Kollegen kurz darauf vorgeschlagen, solche Expertenbefragungen bei bestimmten Fragen auch in die Arbeit des IPCC einfließen zu lassen. Sie kann insofern als erfolgreiches Beispiel der häufig geforderten Zusammenarbeit von Naturwissenschaftlern und Sozialwissenschaftlern gelten (auch wenn wir in den Medien dafür gescholten wurden, dabei über den Tellerrand der harten Naturwissenschaft hinausgeblickt zu haben). Für diejenigen, die sich für den Diskussionsstand und die Denkweise von Forschern interessieren, ergibt eine solche Expertenbefragung jedenfalls einen wesentlich fundierteren Einblick, als es eine oberflächliche und mehrdeutige multiple-choice-Umfrage vermag. Aussagekräftiger als eine Expertenbefragung ist nur noch ein richtiges Assessment, bei dem die Experten nicht nur 6 Stunden befragt werden, sondern über einen längeren Zeitraum zusammen diskutieren und gemeinsam einen Text erarbeiten, wie es bei den IPCC-Berichten der Fall ist, die über mehrere Jahre Arbeit in einem intensiven Diskussionsprozess erstellt werden.
Zurück zu Teil 1 | Teil 2 von "Seltsame Umfragen".
Literatur
Cooke RM (1991) Experts in Uncertainty (Oxford Univ. Press, Oxford).
Morgan MG and Henrion M (1990) Uncertainty: A Guide to Dealing with Uncertainty in Quantitative Risk and Policy Analysis (Cambridge Univ. Press, New York).
Morgan MG and Keith DW (1995) Subjective Judgments by Climate Experts. Environ. Sci. Technol. 29:468-476.
Zickfeld K. et al. (2007) Expert judgements on the response of the Atlantic meridional overturning circulation to climate change. Clim. Change 82: 235-265.
Ähnliche Artikel:
- Seltsame Umfragen 2
- Klimaforscher-Befragungen und ihre Interpretation
- Klimaschutz pro & contra
- Seltsame Umfragen
- Klimaforscher-Konsens 97%
*Nur eine kleine Minderheit, die sich intensiv mit der relevanten Fachliteratur auseinandergesetzt hat, kann dies fundiert beantworten.*
Ich denke auch ein Orthopäde kann beantworten, ob ein Herzspezialist adäquat gearbeitet hat, oder ob ein Dilettant am Werk war.
*So war einmal ein Kollege (ein Professor, der zum Klima forscht) verblüfft, als ich ihm auf einer Konferenz sagte, die starken Klimaschwankungen der Erdgeschichte sprächen für eine hohe Klimasensitivität, also auch für eine starke Erwärmung durch das CO2. Von der „Klimasensitivität“ hatte er noch nie gehört (er versprach, es nachzulesen).*
Selbst Politstudenten und Schüler wissen heute was unter „Klimasensitivität“ zu verstehen ist. Die schreiben darüber sogar bei Wikipedia. Der Professor, welcher zum Klima forscht und nicht weiß, was unter der „Klimasensitivität“ zu verstehen ist, scheint kein Paradebeispiel zu sein.
Verblüffend finde ich auch, dass sich Naturwissenschaftler in Umfragen von Sozialwissenschaftlern einmischen wollen. Schuster bleib bei deinen Leisten, würde ich im Falle eines Sozialwissenschaftlers zu dem Naturwissenschaftler sagen.
[Antwort: Wenn Sie das Paper von Zickfeld et al. lesen, dann werden Sie verstehen, dass eine solche Befragung nur in Zusammenarbeit von Sozial- und Naturwissenschaftlern sinnvoll vorbereitet werden kann. Die Interviews wurden von Naturwissenschaftlern durchgeführt, die selbst auf dem betreffenden Gebiet arbeiten, da die Diskussionen bis in technische Details gingen und es wichtig ist, dass die Beteiligten sich genau verstehen, die gleiche Fachterminologie verwenden etc. Stefan Rahmstorf]
Sehr geehrter Herr Prof. Rahmstorf,
die empirische Sozialforschung kennt prinzipiell zwei unterschiedliche Kategorien von Befragungen:
(1) die repräsentative Meinungsumfrage und
(2) die qualitative Befragung.
Beide Methoden haben - abhängig vom jeweiligen Forschungsgegenstand und -zweck - ihre Berechtigung.
Die berühmte "Sonntagsfrage" beispielsweise ("Welcher Partei würden Sie Ihre Stimme geben, wenn morgen Bundestagswahl wäre?") ausschließlich einigen ausgewählten Mitgliedern des CDU-Bundesvorstands zu stellen, macht sicher keinen Sinn, wenn man aus dem Ergebnis ein repräsentatives Stimmungsbild über die aktuellen Parteipräferenzen der deutschen Wähler herleiten möchte. Andererseits wäre es ebensowenig zielführend, in der Fußgängerzone 1.000 zufällig ausgewählte Bundesbürger danach zu befragen, an welchen Stellschrauben der Gesetzgeber im geltenden Unternehmenssteuerrecht drehen sollte, um zu einer größeren Steuergerechtigkeit zu kommen, ohne die Wirtschaft zu stark zu belasten. Bei einer solchen Fragestellung wird man natürlich immer auf Intensivinterviews mit anerkannten Steuerrechtsexperten zurückgreifen.
Dies lässt sich grundsätzlich auch auf Umfragen unter Klimaforschern übertragen: Wenn es darum geht, ein einigermaßen repräsentatives Stimmungsbild darüber zu erstellen, was die in den Klimawissenschaften tätigen Forscher und Experten über bestimmte Aspekte in Bezug auf den Klimawandel denken, dann ist gegen ein standardisiertes Verfahren mit Multiple-Choice-Antworten, wie es von Storch/Bray oder Post/Kepplinger angewendet wurde, nichts einzuwenden. Gleiches gilt auch für Ihre eigene Studie: Bei bestimmten Fragestellungen können Intensiv-Interviews mit ausgewählten Vertretern einer speziellen Gruppe durchaus zielführender sein als statistische Erhebungen mit einer großen Anzahl von Befragten.
Beide Methoden bringen letztlich einen Erkenntnisgewinn, haben allerdings ihre jeweiligen Vor- und Nachteile, die man bei einer Bewertung der Aussagekraft ihrer Ergebnisse in Relation zu der dahinter stehenden Fragestellung beachten sollte. Bei der Wahl der Methode kommt es immer darauf an, was man eigentlich herausfinden möchte - darin unterscheiden sich die Sozialwissenschaften nicht von den Naturwissenschaften.
Vor diesem Hintergrund halte ich es für nicht angebracht, dass Sie die Studien von Bray/Storch und Post/Kepplinger als "seltsam" bezeichnen und ihnen die Relevanz absprechen, während Sie Ihrer eigenen Befragungsmethode attestieren, die einzig richtige und wahre, die „gute Alternative“ zu sein. Kannn es vielleicht sein, dass Sie weniger die Methodik der anderen Befragungen stört, sondern mehr das Ergebnis? Ist nur so ein spontaner Verdacht - ich lasse mich gerne eines Besseren belehren.
Gruß, Mundus
[Antwort: Durch welche Art von Beleg würden Sie sich denn eines Besseren belehren lassen? Ich meine, die Beiträge von Gavin Schmidt, Urs Neu und mir haben sehr konkret und anhand von spezifischen Beispielen die Methodik kritisiert und nicht die Ergebnisse. Ich (und ich glaube das gilt auch für meine beiden Kollegen) bin auch nicht grundsätzlich gegen Meinungsumfragen, sondern wir haben die konkreten Probleme mit den beiden genannten erläutert. Es bleibt Ihnen überlassen, ob Sie diese Methodenkritik überzeugend finden oder nicht, und auf dieser sachlichen Ebene sollten wir auch diskutieren. Stefan Rahmstorf]
Lieber Herr Rahmstorf,
Dies ist ein Blog der sich dem Thema Klimafoschung widmet. Ich kann mittlerweile nicht einmal mehr erkennen, was die verschiedenen Beiträge mit dem Thema Klima zu tun haben.
Jetzt geht es anscheinend um Spitzfindigkeiten bei Umfragen, "ohne" konkrete Beispiele, bzw. werden solche unterschlagen.
Wenn viele Klimaforscher es ok finden zu übertreiben, um die politischen Entscheidungsträger "positiv" zu beeinflussen, dann sollte man das 1) fragen können und 2) publizieren dürfen.
Abgesehen davon, dass es sich keinesfalls um eine kontruktive Kritik handelt, sondern um eine unfaire Abwertung der Umfragen, sind die Erklärungen vollständig abseits vom Thema Klimaforschung.
Unter dem Strich und zwischen den Zeilen handelt es sich imho bei Ihrer Arbeit hier, Herr Rahmstorf, um eine implizite Zensur objektiver Aufklärungsarbeit.
Wenn es Ihnen nicht gelingt die Forscher auf die Skeptikerschiene zu bugsieren, dann tun sie es halt so.
Meinen sie ernsthaft, dass das den anderen Lesern dieses Blogs nicht auffällt? Es wird den Ruf der Klimaforschung früher oder später vollständig ruinieren und der Klimabericht wird in Zukunft so kraftlos einschlagen wie der Waldschadensbericht, nämlich gar nicht mehr.
Wir haben zwar vieles aus den USA übernommen, aber das unsagbare realclimate wird m.E. in Europa nicht funktionieren.
Hochachtungsvoll
Eddy
[Antwort: Danke! Ohne Sie wäre uns nicht einmal selbst aufgefallen, dass es Zensur ist, wenn wir hier etwas kritisch diskutieren. Stefan Rahmstorf]
Sehr geehrter Herr Prof. Dr. Rahmstorf, sehr geehrter Herr Dr. Neu,
obwohl es verständlich ist, dass Vertreter oder Anhänger von Theorien, denen der physikalisch/naturwissenschaftliche Beweis fehlt, sich gerne auf einen wissenschaftlichen Konsens berufen - der von Ihnen postulierte Konsens in der Klimaforschung, bzw. unter den Klimaforschern gibt es schlicht und ergreifend nicht, noch nicht einmal unter den IPCC-Klimaforschern. Auch können wissenschaftliche Wahrheiten (leider) nicht per Mehrheitsbeschluss herbeigeführt, oder aus der Anzahl von Publikationen hergeleitet werden – die Physik entzieht sich beidem. Zur Erinnerung, die Anzahl von Publikationen, die sich aus wissenschaftlichen Studien ergibt, ist abhängig von den Geldern, die dafür zur Verfügung gestellt werden – auch in der Wissenschaft läuft nun einmal ohne Geld Nichts. Die Gelder wiederum werden dahingehend bewilligt, bzw. zuerst einmal bereitgestellt, inwieweit damit der Absicht der Geldgeber Rechnung getragen wird. Im Klartext, was erwartet wird.
Es ist schon bemerkenswert, wenn innerhalb kurzer Zeit, das Thema wissenschaftliche Umfrage, von zwei Blogautoren aufgegriffen und versucht wird, diese, vor dem Hintergrund der wissenschaftlichen Aussage, zu diskreditieren. Es zeigt, welche Furcht die Wissenschaftsfraktion des anthropogenen Klimawandels, denen auf Grund der realen Klimaereignisse alle Glaubwürdigkeit*) ihrer postulierten Aussagen und Rechenmodelle abhanden kommt, auf ein mögliches politisches und mediales Echo eines solchen Umfrageergebnisses hat, obwohl eine Umfrage doch nur eine Standortbestimmung wiedergibt.
*) In diesem Forum wurde mehrmals in kurzen Zeitabständen über die dramatischen Schmelzvorgänge in der Arktis berichtet und welche Notwendigkeit des (politischen und gesellschaftlichen) Handelns sich daraus ergeben. Ein Blick zur NSIDC (National Snow and Ice Data Centers), welche i.ü. dazu benutzt wurde, die dramatischen Schmelzvorgänge zu beweisen und das Handeln abzuleiten, zeigt, dass hiervon keine Rede sein kann. Unter dem Link (http://feww.wordpress.com/category/tourism/page/2/) ist in der Abbildung der arktischen Eisfläche (Stand 11.11.2008, NSIDC) zu sehen, dass die Eisfläche in der Arktis nicht nur wieder stark zugenommen hat, sondern sogar ihren langfristigen Durchschnittswert wieder erreicht hat.
Die Natur verhält sich halt nicht wie Rechenmodelle, zumal diese z.B. wegen unsinniger Flusskorrekturen nichts mit der Realität, also mit physikalischen Grundlagen zu tun haben.
Fazit:
All die Versuche der anthropogenen Klimawissenschaftler, die Realität zu verschweigen, bzw. die wissenschaftliche Autorität „anders denkender“ Kollegen direkt oder, wie im vorliegenden Fall, indirekt in Frage zu stellen, wird der Erfolg versagt bleiben, da sich zum einen, die Realität den Postulaten entzieht und zum anderen, das Themenwissen in der heutigen Zeit zu breit abrufbar ist.
@Herr Rahmstorf
Wie weit sind wir eigentlic durch die vermaledeite CO2 Diskussion eigentlich gekommen ?
Beispiel Mainz:
Da wir vor wenigen Jahren, schnell bevor die neue TA Luft (o.ä.) in Kraft trat, ohne Vorbelastungsstudien ein Müllheizkraftwerk "durchgewunken" und mittlerweile in Betrieb genommen, fast ohne Widerspruch, insbesondere auch nicht von Medizinern.
Jetzt steht ein Kohlekraftwerk an genehmigt und gebaut zu werden - unvorstellbar, wer sich dagegen alles wehrt - Mediziner ! wegen CO2 !!
Was da aus der Müllschleuder rauskommt interesseirt niemanden.
Das betrachte ich als "krank" und Folge von sinnloser Klima- und CO2 Diskussion und -verteufelung.
Vor soviel Schwachsinn gehört ein Riegel !
Ich weiß, das ist rein lokal......
@Herr Rahmstorf
Es ist doch klar und unbestritten, daß mit Umfragen Ziele verbunden sind, die über die neutrale "Neugierde" hinausgehen.
In der Regel werden Umfragen gestartet um zu prüfen, wie ein Produkt "am Markt" ankommt - seien es Politiker, Getränke, Seifen oder Klimathesen. Ich schreibe das mit Absicht so boshaft im Zusammenhang.
Denn Umfragen zu Klimathesen können eigenmtlich nur politisch gemeint sein, wissenschaftliches kann man so kaum erfahren.
Man kann aber feststellen, ob man, um ein bestimmtes, vorgegebens Ziel, nämlich die "Welt zu retten", erreicht oder ob man manipulatorisch im Sinne der Meinungsbildung noch eine Schippe drauf legen sollte.
Sie schreiben:
"Unter dem Link (...) ist in der Abbildung der arktischen Eisfläche zu sehen, dass die Eisfläche in der Arktis nicht nur wieder stark zugenommen hat, sondern sogar ihren langfristigen Durchschnittswert wieder erreicht hat."
Warum haben Sie nicht eine Grafik gewählt, auf der die Eisfläche quantitativ mit dem langjährigen Wert verglichen wird, so wie hier (http://nsidc.org/.../N_timeseries.png)?
Hier kann ja wohl vom Erreichen des langjährigen Durchschnittwertes keine Rede mehr sein.
Entweder haben Sie den Beitrag nicht gelesen oder nicht verstanden. Jedenfalls ist Ihr Kommentar einfach nur peinlich. Vielleicht sollten Sie besser wieder bei Spiegel Online bloggen.
"In diesem Forum wurde mehrmals in kurzen Zeitabständen über die dramatischen Schmelzvorgänge in der Arktis berichtet und welche Notwendigkeit des (politischen und gesellschaftlichen) Handelns sich daraus ergeben. Ein Blick zur NSIDC (National Snow and Ice Data Centers), welche i.ü. dazu benutzt wurde, die dramatischen Schmelzvorgänge zu beweisen und das Handeln abzuleiten, zeigt, dass hiervon keine Rede sein kann. Unter dem Link (http://feww.wordpress.com/category/tourism/page/2/) ist in der Abbildung der arktischen Eisfläche (Stand 11.11.2008, NSIDC) zu sehen, dass die Eisfläche in der Arktis nicht nur wieder stark zugenommen hat, sondern sogar ihren langfristigen Durchschnittswert wieder erreicht hat.
Die Natur verhält sich halt nicht wie Rechenmodelle, zumal diese z.B. wegen unsinniger Flusskorrekturen nichts mit der Realität, also mit physikalischen Grundlagen zu tun haben."
Das ist schon ziemlich unsinnig und falsch.
1) Der Trend im arktischen Meereis ist im Herbst/Winter kaum existent, weder in den Daten noch in den Modellen. Es handelt sich in beiden konsistent um ein Sommerphaenomen. Man kann sich auch leicht ueberlegen, warum das so sein muss.
2) Daher verhaelt sich gerade in Bezug aufs Winter und Herbstseeeis die Natur so wie es die Modelle vorhersagen, sie tut es aber nicht im Sommer, fuer den die Modelle enen weit schwaecheren Rueckgang als bisher beobachtet vorhergesagt haben.