Peer Review ist ein Entscheidungsprinzip, welches angewendet wird, um ein knappes Gut zu vergeben. So ein knappes Gut wäre in der Wissenschaftswelt etwa eine Publikation eines Artikels in einem renommierten Journal. Oder die Förderung zur Durchführung eines Forschungsprojekts. Andere Prinzipien gibt es auch: das Zufallsprinzip (etwa durch Verlosung); eine szientometrische Vermessung; das Prinzip des "wer zuerst kommt, malt zuerst"; Klientelismus bzw. Nepotismus.

Die meisten der genannten Prinzipien setzen einen verbindlichen (wenngleich nicht unbedingt immer nachvollziehbaren) Rahmen für die Entscheidungsfindung. Im Wesentlichen besteht es im Festlegen einer Schwelle, die zu überschreiten ist, um das knappe Gut zu erreichen. Die Schwelle selbst ist spezifisch und flexibel definierbar. Peer Review delegiert die Beantwortung der Frage, ob die Schwelle erreicht ist, an Fachkollegen (peers). Jeder dieser Fachkollegen liefert ein entsprechendes Gutachten (review), und auf Basis aller Gutachten wird dann über die Vergabe des knappen Guts entschieden.

Das Prinzip allein macht allerdings noch keine gute Entscheidung aus. Dafür braucht es spezifische Regeln, die das Verfahren der Entscheidungsfindung festlegen. Tatsächlich ist, wenn "Peer Review" draufsteht, sehr Unterschiedliches gemeint. Als ersten groben Unterscheidungspunkt lässt sich zwischen Peer Review für Publikationszwecke und Peer Review in der Forschungsförderung unterscheiden.

Qualitätssicherung

Bei Journals geht es in erster Linie um Qualitätssicherung, also darum, ob ein eingereichter Artikel überhaupt jenen Kriterien entspricht, die für eine Publikation in dem jeweiligen Journal notwendig sind. Ist diese Schwelle erreicht, dann steht einer Publikation im Grunde nichts im Wege. Hier betreffen Verfahrensregeln die formale Gestaltung des eingereichten Artikels, die Anonymisierung des Textes, wie viele Gutachten eingeholt werden, welche Fragen an die Gutachter gestellt werden, etc.

Bei der Förderung von Forschungsprojekten geht es um eine "gerechte" Allokation von Ressourcen (meistens in der Form von Geld). Neben dem qualitativen Schwellwert gibt es auch noch einen zweiten, nämlich die verfügbaren Mittel: es kommt also vor, dass Projekteinreichungen, die eigentlich als gut genug eingestuft werden, dennoch nicht finanziert werden. Ein paar der hier etablierten Verfahrensregeln ähneln denen der Journalpublikation, aber es gibt noch deutlich mehr, nicht zuletzt, weil es um die Vergabe von (öffentlichen) Mitteln, mithin: Steuergeldern geht. Wer darf überhaupt einen Antrag stellen? Gibt es eine Deadline, bis zu der ein Antrag gestellt werden muss? Gibt es externe Gutachter, oder ein Evaluationspanel, oder beides? Und wer von ihnen entscheidet?

Mystifiziertes Peer Review

Peer Review ist beides: ein Prinzip und zugleich auch immer ein spezifisches Verfahren. Und es wird seit rund hundert Jahren zur Qualitätssicherung im akademischen Journalwesen eingesetzt, und seit ungefähr Mitte des 20. Jahrhunderts bei der Forschungsförderung. Das hat zu einer Mystifizierung geführt; dabei lassen sich doch ein paar andere nicht besonders positive Eigenschaften über Peer Review festhalten, die seit langem bekannt sind.

• Peer Review ist ziemlich aufwändig und zeitintensiv. Bei der redaktionellen Arbeit von Journals werden inzwischen mindestens zwei, oftmals aber auch deutlich mehr Gutachter angefragt. Bei Forschungsförderungsverfahren werden – je nach Agentur und je nach Ausschreibung – bis zu acht Gutachten eingeholt. Über den Anteil an Arbeitszeit, die ein Wissenschafter fürs Schreiben eines Antrags oder das Schreiben eines Gutachtens verwendet, gibt es keine robusten Zahlen; aber für Forschungsförderer wird der Aufwand langsam zum Problem.
• Peer Review wird regelmäßig verdächtigt, dass es nicht ganz fair ist. Entweder, dass es bewusste Schieflagen in den ausgewählten Artikeln bzw. Forschungsprojekten gibt: etwa, dass ein renommiertes Journal in den Sozialwissenschaften vor allem quantitative Studien bevorzugt. Oder, dass unbewusste Verzerrungen zutage treten: "berühmt" ist etwa der Gender Bias, der 1997 erstmals und öffentlichkeitswirksam bei einer schwedischen Forschungsförderungseinrichtung nachgewiesen wurde. Seitdem haben einige Studien diesen Bias nachgewiesen, während andere das Gegenteil gefunden haben.
• Peer Review wird zu guter Letzt auch der Vorwurf gemacht, dass es eine starke Ausprägung zu konservativen Entscheidungen habe. Das ist nicht weiter überraschend: die "peers" haben oftmals wenig Interesse, Publikationen oder Forschungsvorhaben, welche innovativ sind und somit die eigenen epistemischen Grundlagen in Frage zu stellen, besonders positiv zu bewerten. Es gibt legendäre Erzählungen von Verfahren, die alle möglichen Widersprüche hervorgerufen haben; und es gibt ironische Texte, die sich über all das lustig machen.

Bei all diesen nicht besonders wunderbaren Nebenwirkungen und Effekten stellt sich die berechtigte Frage: warum wird Peer Review eingesetzt? Adepten haben sich dafür eine etwas schwurbelige Antwort zurechtgelegt: Peer Review sei wie Demokratie: die schlechteste Form des Regierens sei, außer allen anderen. Der (nicht ganz akkurate) Verweis auf Churchill gibt dem Ganzen dann noch eine besondere Schwere.

Schwieriger Wechsel

Etwas analytischer betrachtet, gibt es drei Gründe, warum es schwer ist, ein anderes Entscheidungsprinzip in Stellung zu bringen. Erstens wird seit ein paar Jahrzehnten viel Zeit und Energie darauf verwendet wurde, die Verfahrensregeln von Peer Review zu verfeinern und spezifischen Anforderungen anzupassen. Bestehende Kritik wurde aufgegriffen und neue antizipiert. Im Bereich des Journalwesen hat das dazu geführt, dass das Peer Review Prinzip teilweise ziemlich neu interpretiert wird. Bei der sensiblen Projektmittelallokation verfassen Forschungsförderer mittlerweile ganze Handbücher über ihr spezifisches Peer Review Verfahren, um transparent und objektiv zu erscheinen.

Zweitens: Peer Review schafft es wie kein anderes Prinzip, eine Entscheidung abzusichern – zu legitimieren. Und zwar, indem auf die Expertise der involvierten "peers" verwiesen wird. Bei Journals ist das eine "einfache" Legitimation unter den Fachkollegen; bei Projektmitteln ist es eine "duale" Legitimation, die nicht nur innerhalb der akademischen Welt erreicht wird, sondern auch gegenüber den politisch Verantwortlichen, welche die Mittel ja für Forschungsprojekte überhaupt erst zur Verfügung gestellt haben.

Und drittens hat Peer Review für arrivierte Wissenschafter noch einen Vorteil: Es lässt sie in der Entscheidungsposition, weil es letztlich auf qualitativer Analyse beruht. Das ist so, selbst wenn Gutachter für ihre Einschätzung gelegentlich auf quantitative Metriken zurückgreifen, und auch wenn das Erreichen der Schwelle in ein Notensystem übersetzt wird (wie bei Forschungsförderung mittlerweile häufig der Fall). Einen derartigen Einfluss auf eine Entscheidung haben Wissenschafter bei einem auf szientometrischen Werten basierenden Verfahren nicht. (Thomas König, 6.4.2018)