Deadlines gehören zum Arbeitsalltag vieler Menschen. Oft kollidiert angesichts des herannahenden Stichtags ein anfänglicher Perfektionismus mit dem tatsächlich verfügbaren Zeitbudget.
Kompromisse werden notwendig, um fertig zu werden. Der zeitgerechte Abschluss muss vielleicht mit Qualitätseinbußen erkauft werden. Zwangsläufig stellt sich die Frage, ob die veranschlagten Zeiträume überhaupt richtig gewählt wurden?
Deadlines von Fördereinrichtungen
Dieser Problemkreis ist in besonderer Weise auch für die Produktion wissenschaftlicher Erkenntnisse relevant. Projekt- oder Evaluierungszeiträume und die dazugehörenden Deadlines werden hier oft von Fördereinrichtungen vorgegeben, die nach Ablauf der Frist die Qualität der Arbeit bewerten.
Die Zahl der Publikationen, die dann vorgewiesen werden kann, spielt bei der Bewertung der Forschungstätigkeit naturgemäß eine wichtige Rolle – es heißt nicht umsonst: "publish or perish" – publizieren oder untergehen.
Eine aktuelle Studie hat diesen "Deadline-Effekt" in der Wissenschaft anhand eines konkreten Beispiels im Detail untersucht. Bernhard Knapp vom Department Computer Science der Fachhochschule Technikum Wien und Moqi Groen-Xu von der School of Economics and Finance der Queen Mary University of London und Team analysierten die Publikationstätigkeit britischer Wissenschaftstreibender, die in vielen Fällen einer regelmäßigen Evaluierung unterzogen wird.
Evaluierung mit Folgen
Seit 2014 wird der Forschungsoutput britischer Hochschulen im Rahmen des Research Excellence Framework (REF) bewertet. Davor wurde das ähnliche Research Assessment Exercise ?(RAE) angewandt, das die Evaluierungen alle fünf Jahre vorsah. Die einheitlichen Bewertungszeiträume und die Deadline, die für alle gilt, erleichterten die Analyse der Auswirkungen des Evaluierungssystems. Das Ergebnis von Knapp und Groen-Xu spricht eine eindeutige Sprache: Es zeigt, dass vor den Evaluierungsdeadlines viel mehr und insgesamt qualitativ schlechtere Studien veröffentlicht werden.
"Wir haben eine Reihe von Kriterien herangezogen, um die Qualität der Publikationen bestimmen zu können. Dazu gehört nicht nur die Zahl der Zitierungen, die in verschiedenen Zeiträumen nach Erscheinen erfolgt sind", erklärt Moqi Groen-Xu. "Wir haben uns beispielsweise auch die Qualität der Journals angesehen, in denen veröffentlicht wurde, oder die Zahl der Veröffentlichungen, die wieder zurückgezogen wurden." Insgesamt lagen der Untersuchung mehr als 3,5 Millionen Studien zugrunde, die seit Anfang der 1990er-Jahre in Großbritannien erschienen sind.
Geringerer Impact Factor
"Im Jahr vor der Deadline zur Evaluierung durch das REF war die Zahl der Journal-Publikationen um 29 Prozent höher als im Jahr danach", erklärt Knapp die Ergebnisse im Detail. Sogar wenn man alle Publikationen von britischen Studienautoren – also auch jene, die nicht vom REF evaluiert werden – betrachtet, ist die Anzahl im Jahr vor der REF-Deadline um vier Prozent höher als im Jahr danach.
Auch die Analyse der Qualität bringt eindeutige Ergebnisse: "Publikationen, die im Jahr der Deadline veröffentlicht wurden, wurden in den darauffolgenden fünf Jahren um 16 Prozent weniger oft zitiert als die Studien, die im Jahr nach der Deadline veröffentlicht wurden", resümiert Groen-Xu. Die Zahl der zurückgezogenen Papers liegt im Jahr vor der Deadline sogar um 79 Prozent über jener im Jahr danach. Der Impact Factor der Journals, in denen unmittelbar vor der Deadline veröffentlicht wird, ist zudem signifikant schlechter.
Ambivalente Auswirkungen
Diese Ergebnisse verweisen auf ein Phänomen, das in der Förderpraxis oft unter den Tisch fällt. "Der Druck, der durch die Evaluierungen aufgebaut wird, führt nicht nur zu guter Arbeit, sondern zum Teil auch zu schlechter. In den Fördersystemen fehlt aber noch das Bewusstsein für diese ambivalenten Auswirkungen", sagt Groen-Xu, die ein ähnliches Phänomen auch bei ihrer Analyse der Vertragslaufzeiten bei Top-Managern zeigen konnte. Auch hier werden risikoreichere Projekte eher nach Vertragsbeginn angegangen. Gegen Ende herrscht eher risikoaverses Verhalten.
Eine weitere Studie wies vor kurzem darauf hin, dass die ERC-Grants der Europäischen Kommission risikofreudige Forschung eher bremsen, obwohl gerade diese mit den Geldern gefördert werden sollte. Misserfolge, die mit ambitionierter Grundlagenforschung zwangsläufig einhergehen, verringern demnach die Wahrscheinlichkeit, weitere Fördergelder zu erlangen.
Knapp weist darauf hin, dass sich auch kurze Finanzierungszeiträume negativ auf bahnbrechende Projekte auswirken können: "Falsch gewählte Deadlines schaffen Anreize, die langfristigen Forschungsvorhaben eher schaden." Abhilfe könnten Fördersysteme bieten, die den individuellen Rahmenbedingungen eines Projekts oder einer Fachdisziplin stärker Rechnung tragen. (Alois Pumhösel, 10.3.2023)