Experimentalforschung mit Bürger:innen
Anke Greif-Winzrieth, Alexander Mädche und Christof Weinhardt, KIT
Seit den 1960er Jahren haben sich experimentelle Methoden als integrales Element in den Wirtschaftswissenschaften etabliert. Lag der Fokus erster experimenteller Arbeiten einzelner Forscher noch auf der Bildung von Marktgleichgewichten (Smith, 1962), ökonomischen Spielen wie dem Gefangenendilemma (Lave, 1962) oder dem Entscheidungsverhalten unter Risiko (Kahneman & Tversky, 1979), sind Experimente heute nicht mehr aus der Untersuchung menschlichen Entscheidungsverhaltens in weit umfassenderen Bereichen wegzudenken. Durch Experimente bekam der sogenannte Homo Oeconomicus, der rationale Nutzenmaximierer, der als Modell eines ausschließlich „wirtschaftlich” denkenden Menschen den Analysen der klassischen und neoklassischen Wirtschaftstheorie zugrunde liegt, Konkurrenz. Was uns allen intuitiv und aus eigener Erfahrung klar ist, konnte erst durch Experimente systematisch wissenschaftlich nachgewiesen werden: In der Realität entscheiden Menschen in den seltensten Fällen rein rational – wir lassen uns von Emotionen und äußeren Einflüssen lenken, müssen auf Basis unvollständiger Information Entscheidungen treffen und haben soziale Präferenzen wie das Streben nach Fairness. Die Bedeutung experimenteller Methoden in den Wirtschaftswissenschaften wurde mit der Verleihung des Alfred-Nobel-Gedächtnispreises für Wirtschaftswissenschaften an Daniel Kahneman und Vernon L. Smith im Jahr 2002 für deren experimentelle Arbeiten zum menschlichen Entscheidungsverhalten ganz besonders deutlich.
Doch warum konnten Experimente eine so lange als nicht-experimentell verstandene Disziplin (vgl. Samuelson & Nordhaus, 1985) derart wandeln und warum spielen sie heute eine so große Rolle, auch in anderen Disziplinen, wie der Wirtschaftsinformatik? In wirtschaftswissenschaftlichen Experimenten werden gezielt Veränderungen einzelner Parameter vorgenommen, um deren Einfluss auf das (Entscheidungs-)Verhalten zu testen. So hat beispielsweise Vernon Smith in einer seiner Nobelpreis-gekrönten Arbeiten in einem Experiment die Regeln für die Gebotsabgabe in einer Auktion verändert und konnte zeigen, dass ein Marktgleichgewicht schneller erreicht wird, wenn die Händler ihre Gebote während der Handelsperiode mehrfach anpassen konnten, als wenn sie den Preis nur einmalig für die komplette Handelsperiode setzen konnten (Smith, 1962). Die Schlussfolgerung, dass die Auktionsregeln die Preisbildung im Markt kausal beeinflussen, war nur möglich, weil im Experiment unter kontrollierten Bedingungen ganz gezielt ein Parameter (die Regeln für die Gebotsabgabe) variiert und alle anderen Faktoren (z.B. Wertschätzungen) gleich gehalten werden konnten.
Experimente ermöglichen also, Kausalität von Korrelation zu unterscheiden. Dass Korrelation nicht gleich Kausalität ist, lässt sich an vielen Beispielen verdeutlichen: Beispielsweise gibt es einen starken statistischen Zusammenhang zwischen der Siegerhöhe des deutschen Meisters im Stabhochsprung und der Anzahl der für Tierversuche eingesetzten Kaninchen1 . Können wir also neue Stabhochsprung-Rekorde herbeiführen, indem wir mehr Tierversuche machen? Wohl kaum. Weitere Beispiele für derartige sogenannte Scheinkorrelationen finden sich auf verschiedenen Webseiten2 . Die Nicht-Unterscheidung zwischen Korrelation und Kausalität scheint dort amüsant, kann jedoch in der Wissenschaft zu fatalen Fehlschlüssen mit schwerwiegenden Folgen führen. Und diese sind nicht immer so leicht zu erkennen, wie im obigen Beispiel mit den Stabhochspringern und den Kaninchen.
Gut designte Laborexperimente ermöglichen es, im Gegensatz zu „einfachen“ Beobachtungen, kausale Beziehungen von Korrelationen zu unterscheiden. Ausschlaggebend dafür ist das hohe Maß an Kontrolle über nahezu alle möglichen Einflussfaktoren. Wie oben beschrieben, können also ganz gezielt einzelne Faktoren (sog. unabhängige Variablen oder Treatmentvariablen) verändert werden, um deren Einfluss auf andere Faktoren (sog. abhängige Variablen) unter Gleichhaltung aller nicht interessierenden Faktoren zu untersuchen. Der prominenteste Weg, einen hohen Grad an Kontrolle aufrechtzuerhalten, besteht darin, Experimente in speziell dafür eingerichteten Laboren durchzuführen. Ein solches Labor ist das von der Deutschen Forschungsgemeinschaft (DFG) geförderte Karlsruhe Decision & Design Lab (KD²Lab) im Herzen von Karlsruhe. Das KD²Lab (https://www.kd2lab.kit.edu/) ist weltweit eines der größten computergestützten Experimentallabore. Es verfügt über 40 schallisolierte und klimatisierte Computerkabinen, zwei technisch und räumlich getrennte Laborbereiche, barrierefreie Experimentalkabinen und zwei große Teamräume zur Durchführung von Gruppenexperimenten. Einzigartig ist die Möglichkeit, mit bis zu 40 Teilnehmenden gleichzeitig neuro-physiologische Studien durchzuführen, die es z.B. ermöglichen, Veränderungen von Parametern wie der Herzrate oder des Hautleitwertes im Verlauf von Interaktionsszenarien, wie beispielsweise Auktionen zu untersuchen (z.B. Adam, Ku, & Lux, 2019).
Das hohe Maß an Kontrolle in Laborexperimenten hat eine hohe interne Validität der Ergebnisse zur Folge. Alternative Erklärungen für die gezeigten Effekte können also weitestgehend ausgeschlossen werden, da die Veränderung der abhängigen Variable eindeutig auf die Variation der unabhängigen Variable zurückgeführt werden kann. Diese große Stärke der Methode ist aber auch gleichzeitig eine ihrer größten Schwächen: Die hochkontrollierten Laborbedingungen wirken oft künstlich und realitätsfern, wodurch die ökologische Validität, also die Generalisierbarkeit und Übertragbarkeit der Ergebnisse auf reale Situationen, in Frage gestellt werden muss. Würden Sie in einer Laborkabine, wenn Sie genau wissen, dass Sie gerade an einem Experiment teilnehmen, genau so bieten, wie wenn Sie von der Couch aus an einer Ebay-Auktion teilnehmen?
Zusätzlich werden für die meisten Experimente Teilnehmer:innen in der Studierendenschaft rekrutiert. Studierende haben geringe Opportunitätskosten für ihre Teilnahme (u.a. halten sie sich ohnehin auf dem Campus in der Nähe des Labors auf), lernen schnell und haben in der Regel kaum Verständnisprobleme. Zusätzlich können sie mit relativ geringen monetären Anreizen zur Teilnahme motiviert werden. Es stellt sich aber oftmals die Frage, ob das Verhalten dieser spezifischen Gruppe mit dem der Allgemeinheit vergleichbar ist und es gibt sehr interessante Fragestellungen, die sich mit Studierenden nur sehr schwer oder gar nicht beantworten lassen.
Ein Ansatz zur Adressierung der oben genannten Probleme besteht darin, Bürger:innen in die Experimentalforschung einzubeziehen. Das ist jedoch ein schwieriges Unterfangen, da die Proband:innen außerhalb des Campus rekrutiert werden müssen und sich die Motivationen von denen der Studierenden unterscheiden. Es bedarf also neuer Rekrutierungsstrategien und Anreizstrukturen.
Als einen möglichen Lösungsansatz zur Rekrutierung von Bürger:innen im öffentlichen Raum haben wir das „Kiosk-Konzept“ entwickelt. Mit stationären und mobilen Kiosk- bzw. Terminalsystemen wird das Labor an belebten öffentlich zugänglichen Orten wie dem ZKM oder der Touristeninformation in der Karlsruher Innenstadt sichtbar und erlebbar. Die Kioske, von denen wir hier sprechen, sind allerdings keine kleinen Verkaufsstände, sondern große Touchscreens. Es gibt keine Verkäufer:innen, sondern einen zentralen Server, der die Inhalte bereitstellt. Der oder die Kioskbesucher:in hat über den Bildschirm Zugriff auf verschiedene Inhalte: Es gibt Informationen zum KD²Lab, zur Experimentalforschung und zu den Möglichkeiten aktiv mitzumachen. Man kann direkt am Kiosk an kleinen Experimenten teilnehmen und man kann sich im Bürgerpanel registrieren, um zu weiteren Studien eingeladen zu werden. Gerade in Zeiten, in denen das öffentliche Leben stark eingeschränkt werden muss und kaum „Laufkundschaft“ an öffentlichen Plätzen zu erwarten ist, braucht es aber auch alternative Möglichkeiten, um die Bevölkerung zu erreichen. Daher kann auf die Inhalte auch mobil und auf dem persönlichen Endgerät zugegriffen werden – beispielsweise über Links oder QR-Codes, die über Plakate, Print- und Onlinemedien oder Social-Media-Kanäle gestreut werden.
Hinsichtlich der Anreizstrukturen sind Arbeitnehmer:innen im Unterschied zu Studierenden in vielen Fällen terminlich stärker eingebunden, sodass die Möglichkeit zur Studienteilnahme in deren Freizeit, also vermehrt am Abend oder Wochenende, gegeben sein muss. In einer kleinen Umfrage haben wir bereits erfahren, dass viele Bürger:innen eher intrinsisch, also beispielsweise aus Interesse an den Forschungsergebnissen, und weniger extrinsisch, also beispielsweise durch die Erwartung einer monetären Belohnung, motiviert sind, sich an Forschungsprojekten zu beteiligen.
Im Rahmen von digilog@bw widmen wir uns im Teilprojekt „Bürgerpanel“ der spezifischen Fragestellung, wie ein Bürgerpanel erfolgreich auf Basis neuer Rekrutierungsstrategien und Anreizstrukturen aufgebaut werden kann. Für den langfristigen Projekterfolg wird es entscheidend sein, Bürger:innen nicht nur einmalig, sondern immer wieder zu erreichen – auch das ist ein zentrales Ziel unseres Vorhabens. Im Teilprojekt werden hierzu Konzepte entwickelt sowie innovative Prototypen realisiert und pilotiert. Weitere Informationen finden Sie unter https://digilog-bw.de/projekte/buergerpanel und https://www.kd2lab.kit.edu/203.php.
1 https://scheinkorrelation.jimdofree.com/
2 http://www.tylervigen.com/spurious-correlations, https://hbr.org/2015/06/beware-spurious-correlations
Referenzen:
Adam, M. T. P., Ku, G., & Lux, E. (2019). Auction fever: The unrecognized effects of incidental arousal. Journal of Experimental Social Psychology, 80, 52–58. https://doi.org/10.1016/j.jesp.2018.07.009
Kahneman, D., & Tversky, A. (1979). Prospect Theory: An Analysis of Decision under Risk. Econometrica, 47(2), 263. https://doi.org/10.2307/1914185
Lave, L. B. (1962). An Empirical Approach to the Prisoners’ Dilemma Game. The Quarterly Journal of Economics, 76(3), 424–436.
Samuelson, P. A., & Nordhaus, W. D. (1985). Economics. McGraw-Hill.
Smith, V. L. (1962). An Experimental Study of Competitive Market Behavior. Journal of Political Economy, 70(2), 111–137. https://doi.org/10.1086/258609