„Es gibt Gründe optimistisch zu sein“

Brian Nosek erforscht die Diskrepanz zwischen gesellschaftlichen Werten und menschlichem Verhalten. Als Mitbegründer und Geschäftsführer des Center for Open Science (COS) versucht er diese Lücke im Verhalten von WissenschaftlerInnen zu schließen. Der GID hat ihn zu Problemen im Wissenschaftssystem und Lösungsansätzen befragt.

www.gen-ethisches-netzwerk.de/publikationen/gid/244

In den letzten Jahren wurde viel über die Verlässlichkeit wissenschaftlicher Evidenz und eine „Reproduzierbarkeitskrise“ diskutiert. Was ist mit reproduzierbarer Forschung gemeint?

Reproduzierbarkeit ist eine grundsätzliche Annahme darüber, wie Wissenschaft funktioniert. Das heißt wenn jemand eine wissenschaftliche Behauptung aufstellt, dann glauben wir die Behauptung nicht nur weil die Person sagt: „Ich habe das einmal beobachtet, also muss es wahr sein.“ Wissenschaftliche Behauptungen bekommen ihre Validität und Glaubwürdigkeit zum Teil dadurch, dass sich Ergebnisse unabhängig wiederholen lassen.

Und warum steckt die Reproduzierbarkeit in einer Krise?

Der Gedanke einer Reproduzierbarkeitskrise entstand als Konsequenz von theoretischen und empirischen Erkenntnissen, dass publizierte Studienergebnisse möglicherweise nicht so reproduzierbar sind wie gedacht. Versuche, dieselben Ergebnisse zu erhalten scheiterten öfter als erwartet. Man redet jetzt von einer „Krise“ - diesen Begriff benutzt man normalerweise wenn etwas Neues passiert ist. Es wird viel darüber diskutiert, ob diese Probleme schon existieren seitdem wir Wissenschaft betreiben, oder ob sie ein spezielles Thema der Gegenwart sind. Für beides gibt es Argumente. Einige Faktoren sind schon immer problematisch gewesen, zum Beispiel der schlechte Austausch von Methodik. Ebenso die Anreize für Forscher_innen, ihre Abhängigkeit von publizierten Ergebnissen. Als Wissenschaftler_in benötige ich Ressourcen, ich brauche eine Anstellung, ich will meine Karriere voranbringen. Dazu kommen persönliche Anreize: Ich will fantastische Dinge herausfinden. Und ich will diese publizieren, damit Leute mich bewundern oder auch nur, damit ich meine Sicht der Funktionsweise von Mechanismen voranbringen kann.

Andere Faktoren sprechen wiederum dafür, dass fehlende Reproduzierbarkeit ein zunehmendes Problem ist. Der wissenschaftliche Wettbewerb war noch nie so stark wie jetzt und es gibt nicht genügend Jobs. Wir müssen herausragende Ergebnisse produzieren um in den Zeitschriften Science, Nature oder Cell publizieren zu können, weil das die Publikationen sind, auf denen man eine Karriere aufbauen kann. Der Begriff „Krise“ zeigt aber auf jeden Fall an, dass es eine Vertrauenskrise gibt.

Welche Probleme in der Wissenschaftskultur fördern dieses Phänomen?

Neben Reproproduzierbarkeit gibt es ein weiteres Prinzip, das glaubwürdige Evidenz produziert: Transparenz. Eigentlich ein Grundwert der Wissenschaft - aber um in der momentanen Kultur Erfolg zu haben, benötige ich keine Transparenz sondern spektakuläre Ergebnisse. Publikationen sind die Währung der Wissenschaft. Einige Dinge werden mit höherer Wahrscheinlichkeit publiziert als andere. Daher werde ich versuchen, ein positives Ergebnis mit einer neuartigen Erkenntnis zu publizieren, untermauert von Versuchen, die ein schönes, sauberes Narrativ ergeben. Es ist großartig das zu schaffen, aber auch schwer, weil wir komplizierte Dinge erforschen, die wir noch nicht verstehen. Leider werden wir dazu angeregt Ergebnisse, die unsere Story nicht bestätigen, beiseite zu lassen. Manchmal passiert das, ohne dass ich es merke, aus Voreingenommenheit: Ich suche nach Dingen, die zu dem passen, was ich sehen möchte, finde andere Arten, meine Daten zu analysieren, Dinge die ich weglassen kann. Ich mache meine Ergebnisse publizierbarer und opfere dabei ihre Genauigkeit.

Was halten Sie von Wissenschaftler_innen, die sich in ihrer Arbeit selbst als objektiv und Bias-frei sehen?

Das deutlichste Zeichen dafür voreingenommen zu sein ist zu denken, dass man es nicht ist. Ein übermäßiges Vertrauen darauf, ein objektiver Denker zu sein. Es gibt sogar Studien zu dem Thema, in denen gerade die Personen, die sich als objektiv einschätzen, am Ende eine befangenere Entscheidung treffen. Wenn wir uns statt „ich bin objektiv“ die Mentalität „ich versuche objektiv zu sein“ aneignen, dann können wir Voreingenommenheiten bekämpfen.

Im April 2017 sind auf der ganzen Welt Wissenschaftler_innen in einem „March for Science“ auf die Straße gegangen, um gegen den Vertrauensverlust in die Wissenschaft zu protestieren. Was halten Sie davon, dass viel die Rede davon war, dass Wissenschaft „Fakten“ produziere?

Ich glaube, dass Menschen sich Fakten und Gewissheit wünschen, aber die Wissenschaft uns zeigt, dass es so nicht funktioniert. Wissen wird nicht in einem deduktiven Prozess gewonnen wie in der Mathematik. Richtige Mathematik ist wunderbar, weil sie sauber und stimmig ist. Aber - ohne Mathematiker_innen zu nahe treten zu wollen - in der echten Welt ist es schwieriger, die Wahrheit herauszufinden. Wissenschaft ein Prozess der Unsicherheitsreduktion. Wir sagen: „Hier ist unser aktuelles Modell, wie die Welt funktioniert“, und dieses Modell ist notwendigerweise unvollständig. Wissenschaft versucht, die Probleme unseres aktuellen Blicks auf die Welt zu identifizieren. Wo ist er unvollständig, wie kann er mit der Zeit weniger inkorrekt werden. Daraus entstehen keine Fakten sondern Modelle, die eine bessere Beschreibung sind als die älteren Modelle. Die Herausforderung ist natürlich, dass die durchschnittliche Person, auch ein_e Wissenschaftler_in, Fakten will. Was ist wahr und wie funktioniert die Welt? Die Tatsache, dass Wissenschaft als Unsicherheitsreduktion funktioniert, kann sehr unbefriedigend sein und regt dazu an, zu sagen: „Dann brauchen wir einen anderen Weg um an Fakten zu kommen - denn wir wollen Fakten.“ Aber die Realität ist, dass wir nie an diesen Punkt kommen werden. Wissenschaft ist unser bester verfügbarer Ansatz, unsere Annahmen darüber, wie die Welt funktioniert, zu formulieren, und dann zu überprüfen, wo wir falsch liegen.

Einige Stimmen sagen, es sei besser, nicht zu öffentlich über die Schwachstellen im Wissenschaftssystem zu reden, um den Vertrauensverlust in die Forschung nicht zu vergrößern.

Wir vertrauen Wissenschaft, weil sie sich selber nicht vertraut. Das ist der Kern ihrer Glaubwürdigkeit. Wissenschaftler_innen sind skeptisch gegenüber ihren eigenen Ergebnissen und hinterfragen sie ständig. Ich verstehe die Tendenz zu sagen: „Nein, wir zeigen die schlechten Nachrichten aus der Wissenschaft nicht, damit die Menschen uns vertrauen.“ Aber das Gegenteil macht Wissenschaft langfristig glaubwürdig: konstante Selbst-Skepsis, so dass die Ergebnisse, die den wissenschaftlichen Prozess überstehen, die glaubwürdigste Evidenz besitzen. Wir sollten feiern, dass die Wissenschaft sich tatsächlich mit ihren Problemen konfrontiert. Welches andere Gebiet menschlicher Organisation zeigt diesen starken Grad der Selbstkritik mit dem schlichten Ziel der Selbstverbesserung?

Sie haben vor knapp fünf Jahren das COS gegründet, was sind seine Ziele?

Das COS ist eine gemeinnützige Organisation, die sich der Erneuerung von Technologie und Kultur verschrieben hat. Unsere Mission ist es mehr Offenheit, Integrität und Reproduzierbarkeit in der Forschung zu schaffen. Und wir machen das vor allem indem wir Software zur Verfügung stellen, die Forscher_innen verwenden können, um ihre Forschung glaubwürdiger zu machen. Mit dem Open Science Framework (OSF) können sie alle ihre Materialien und Ergebnisse in der Cloud speichern, diese teilen und zusammenarbeiten.
Gleichzeitig arbeiten wir mit allen Interessensgruppen in der Community daran, dass Offenheit und Reproduzierbarkeit zu einem Bestandteil des Anreizes werden, erfolg- reich zu sein, statt nur arbeitsintensive Ideale zu bleiben. Dafür haben wir beispielsweise die TOP Guidelines (1) entwickelt, Standards für Transparenz, die Fachzeitschriften, Institutionen oder Forschungsförderer verwenden können. Wir fördern auch ein Publikationsmodell namens Registered Reports (registrierte Berichte). Die Idee dahinter ist, dass Fachzeitschriften den Peer Review (Fachgutachten) in die Design-Phase vorverlegen, statt ihn erst nach Abschluss der Forschungsarbeit durchzuführen. Ich entwickle also die Fragestellung, die ich erforschen will und das Versuchsdesign, um sie zu untersuchen. Und dann begutachtet die Zeitschrift: Ist es eine interessante Frage? Ist sie wichtig? Brauchen wir die Antwort? Ist die Methodik überzeugend? Die Zeitschrift geht eine Verpflichtung ein: Wenn du die Arbeit durch- führst und die Daten gut erfasst, dann werden sie veröffentlicht, egal wie das Ergebnis ist. Diese einfache änderung im Review-Verfahren führt zu einer dramatischen Veränderung der Anreize. Mein Ziel als Autor_in ist es nicht mehr, schöne Ergebnisse zu haben und Dinge zu tun, die ihre Glaubwürdigkeit verringern, sondern mein Ziel ist es, wichtige Fragen zu stellen und eine gute Methodik zu entwerfen. So reduzieren wir viele Faktoren, die in die Krise mit hineinspielen.

Haben Sie inzwischen schon eine Veränderung bei Forschungsförderern oder Fachzeitschriften festgestellt?

Ja, es finden Veränderungen statt. Langsam - eine Kultur zu verändern dauert seine Zeit. Aber auf dem OSF sind inzwischen schon über eine Million Dateien veröffentlicht. Viele Millionen Menschen haben diese Dateien heruntergeladen, Daten neu analysiert, Materialien und Protokolle von anderen Forscher_innen verwendet - ein sehr positives Ergebnis. Grundlagenforscher_innen aus einer Vielzahl von Forschungsbereichen haben vor Durchführung ihrer Studien mehr als 10.000 Protokolle registriert. So können sie robuste Überprüfungen ermöglichen und zwischen explorativen und hypothesenprüfenden Ergebnissen (2) unterscheiden. Mehr als 5.000 Fachzeitschriften überprüfen momentan, welche Empfehlungen der TOP-Guidelines sie umsetzen; über 360 Fachzeitschriften haben diesen Prozess schon abgeschlossen. 80 Fachzeitschriften haben die Registered Reports eingeführt. Unser Metawissenschafts-Team überprüft jetzt, wie wir evaluieren können, ob unsere Ziele tatsächlich erreicht werden.

Sollen beispielsweise staatliche Forschungsförderer Ihre Technologie übernehmen? Soll das COS in diesem Fall weiter existieren?

Wir sind gemeinnützig und das OCF ist kostenlos, also erschaffen wir öffentliches Gut und unser Ziel ist, dies auszuweiten. Momentan wachsen wir um 150 Benutzer_innen pro Tag und diese Zahl steigt. Wenn es sich als nützliches Werkzeug für einen großen Querschnitt der Forschungscommunity erweist, würden wir die Steue- rung des OSF zukünftig an ein Konsortium von staatlichen Behörden, Wissenschaftsgesellschaften und Universitäten übergeben. Alle Interessensgruppen sollten global gemeinsam für die wissenschaftliche Infrastruktur verantwortlich sein. In dieser Vision ist das COS nicht mehr notwendig. Es könnte aber auch als Technologiepartner für das Leitungsgremium dienen, der das OSF verwaltet. Die Infrastruktur, die die Wissenschaft trägt, sollte nicht einer einzelnen Organisation unterstehen. Das könnte gefährlich für die Wissenschaft sein. Also müssen wir sicher stellen, dass das nicht passiert.

Kann Wissenschaftskultur überhaupt verändert werden, wenn die gleichen Machtstrukturen im Wissenschaftssystem erhalten bleiben? Also beispielsweise der Druck auf Nachwuchswissenschaftler_innen sehr groß bleibt?

Es ist schwer eine Kultur zu verändern, besonders wenn die Anreize zum Erhalt des Status quo stark sind. Aber es gibt Gründe optimistisch zu sein! Einer ist, dass es sehr wenige Befürworter_innen des existierenden Systems gibt. Das Hauptargument zur Verteidigung des existenten Systems ist, dass es zu schwer ist etwas zu ändern. Da können wir ansetzen und sagen: Lasst uns ein paar alternative Lösungen testen und gucken, ob die praktikabel sind. Damit hätte niemand ein Problem. Eine weitere Chance ist, dass wir die Lösungen kennen. Also es gibt eindeutige Maßnahmen, die Wissenschaft mehr zu dem machen könnten, wie sie eigentlich sein sollte. Transparenter sein, mehr Daten teilen, klarer zwischen explorativer und hypothesenprüfender Forschung differenzieren. Es gibt sehr wenig Widerstand gegen solche Veränderungen.

Wenn sich das Wissenschaftssystem verändert und dann von allen publizierten Ergebnissen nur ein geringer Teil signifikant sind, wie könnte man das der öffentlichkeit kommunizieren?

Ich glaube nicht, dass das ein Problem ist. Ich denke, dass die Öffentlichkeit versteht, dass Wissenschaft oft scheitert. Eine öffentliche Debatte über dieses Thema hat den großen Vorteil, dass die breite öffentlichkeit lernt, wie Wissenschaft funktioniert und wie Dinge glaubwürdig werden. Die Kopf-in-den-Sand-Strategie, bei der wir nicht wissen, inwieweit wissenschaftliche Literatur verlässlich ist, ist kein gutes Szenario. Es ist besser, Probleme und mögliche Lösungswege klar zu sehen. Das neu entstehende Feld der Metawissenschaft, bei der wir konstant unsere eigenen Forschungsprozesse untersuchen, wird uns dabei helfen effizienter zu werden. Wir werden schneller Entdeckungen machen und bessere Lösungen entwickeln, wenn wir konstant überprüfen, wie wir unsere eigene Methodik verbessern können.

Vielen Dank für das Gespräch!

Das Interview führte Isabelle Bartram.

Fußnoten:

(1) www.cos.io/our-services/top-guidelines.

(2) Explorative Forschung verschafft einen ersten Überblick und dient der Hypothesenbildung. Sie ist die Grundlage für Forschung, bei der eine vorhandene Hypothese überprüft werden soll.