Wien – Wer die Teleskope der Europäische Südsternwarte (Eso) in Chile nutzen darf, entscheidet ein Expertengremium, das unter der Flut von Anträgen stöhnt. Genauso gut könnten die Astronomen ihre Projekte gegenseitig bewerten, nachdem intelligente Computerprogramme für jeden Vorschlag die Kollegen mit der größten Expertise dazu herausgesucht haben, erklären Forscher im Fachjournal "Nature Astronomy".

Ein Team um Wolfgang Kerzendorf von der Michigan State University (USA), dem auch Glenn van de Ven vom Institut für Astronomie der Universität Wien angehörte, testete neben dem aktuellen Begutachtungsmodus für Projektanträge an der Europäischen Südsternwarte (European Southern Observatory, Eso) eine neues Verfahren. Derzeit treffen sich regelmäßig kleine Expertengremien, um die besten Anträge herauszusieben. Vorab müssen sie riesige Mengen an Projektanträgen lesen. Das neue Verfahren soll sie entlasten und auch gerechter sein, weil nicht nur eine kleine, etablierte Gruppe entscheidet.

Gleichwertige Methode

Jeder Antragsteller bekam eine gewisse Anzahl von Projekten seiner Konkurrenten zur Bewertung. Zugeteilt wurden ihm die Anträge von intelligenten Maschinen, die Menschensprache verarbeiten können (natural language processing) und sich ständig durch ihre Arbeitserfahrung weiterentwickeln (machine learning). "In der Arbeit konnten wir zeigen, dass dieses aufgeteilte Experten-Gutachten (distributed peer review) gleichwertig mit dem traditionellen Gremien-Verfahren ist", schrieben die Forscher in der Studie.

Das getestete Auswahlverfahren habe ein paar Vorteile: Jedes Projekt könne von mehr Personen begutachtet werden als bei kleinen Experten-Gremien. Die Begutachter werden trotzdem nicht mit einer hohen Zahl an Anträgen überfordert und können dadurch mehr Zeit auf die Bewertung einzelner Vorschläge aufwenden. Sie sind zudem so gut wie möglich vertraut mit der Materie. Es gäbe keine Verzerrung durch ein fix aufgestelltes Gremium.

Demokratischer und hoch gelobt

Es bezieht mehr Leute aus der Forschungsgemeinschaft ein und ist damit demokratischer, und die Antragsteller sehen, wie hoch die Qualität der Projekte ihrer Konkurrenten ist. Dadurch können weniger erfahrene Forscher lernen und ihre eigene Arbeit besser einschätzen. In anonymen Feedback-Befragungen wurde die neue Begutachtungsvariante jedenfalls "überwältigend gelobt", berichten die Autoren.

Sie ermutigen in ihrer Arbeit andere Organisationen, ähnliche Studien durchzuführen. Damit könnte man aus der Situation herauskommen, in der das klassische Peer-Review-Verfahren ungeachtet seiner Beschränkungen in Ermangelung besserer Alternativen verwendet werde. (APA, 8.4.2020)