Wenn Computersysteme Entscheidungen treffen, welche bisher von Menschen gefällt wurden, löst dies bei Betroffenen oft Unbehagen aus. Auch Gesetzgeber, allen voran der Unionsgesetzgeber, versuchen, des Schreckgespensts "automatisierte Entscheidungsfindung" habhaft zu werden. So räumt beispielsweise Artikel 22 DSGVO betroffenen Personen das Recht ein, keiner "ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden", sofern diese "ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt".

Auch im medial viel diskutierten Entwurf der EU-Kommission zur Regulierung von Systemen künstlicher Intelligenz wird die Wichtigkeit der "menschlichen Aufsicht" betont. Systeme künstlicher Intelligenz, von welchen laut Ansicht des Unionsgesetzgebers eine hohe Gefahr ausgeht, müssen daher "so konzipiert und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen können". Dies soll nicht nur mit geeigneten technischen Maßnahmen sichergestellt werden, sondern auch dadurch, dass überwachende Personen über die erforderliche Kompetenz verfügen, diese Aufgabe wahrzunehmen. Beide regulatorischen Beispiele implizieren, dass Entscheidungen eines Menschen immer vertrauenswürdiger seien als jene von Computersystemen. Doch ist die menschliche Entscheidungsqualität dabei wirklich jener von Algorithmen überlegen?

Wieso der Mensch schlecht entscheidet

Um komplexe Sachverhalte einfach entscheiden und schwierige Aufgaben lösen zu können, benutzt jeder Mensch Entscheidungsheuristiken. Diese Heuristiken helfen uns, kognitive Überlastung zu vermeiden, indem bei der Entscheidungsfindung der Fokus auf bestimmten Entscheidungsmerkmalen liegt. Andere entscheidungsrelevante Informationen werden dabei einfach weggelassen. Durch diese selektive Gewichtung von Entscheidungsfaktoren entstehen Verzerrungen in unserer Wahrnehmung und unserem Denken.

Eine bekannte kognitive Verzerrung (auch Cognitive Bias genannt) ist zum Beispiel der Confirmation Bias, bei dem wir Informationen überbewerten, die unseren Annahmen und Erwartungen entsprechen. Auch der Halo-Effekt, der einzelnen Eigenschaften eine dominierende Wirkung verpasst, gehört in diese Kategorie der Wahrnehmungsstörungen. Weitere bekannte Vertreter sind beispielsweise der Spielerfehlschluss, also der Fehlglaube, ein zufälliges Ereignis werde wahrscheinlicher, wenn es längere Zeit nicht eingetreten ist, oder auch der Gender Bias. Der Cognitive Bias Codex, eine grafische Aufbereitung aller bekannten Bias, listet momentan 188 verschiedene kognitive Verzerrungen auf – Tendenz steigend.

Neben diesen kognitiven Verzerrungen gibt es einen weiteren Grund für die Unzuverlässigkeit menschlicher Entscheidungen: Sie lassen sich von äußeren Einflüssen lenken. So führen beispielsweise Müdigkeit oder Emotionen dazu, dass unsere Entscheidungen nicht immer fair sind. Wir sind nicht konstant in unseren Entscheidungsergebnissen, und idente Ausgangslagen werden oftmals unterschiedlich beurteilt. Eine Studie an der University of Louisiana hat gezeigt, dass äußere Einflüsse wie ein schlechtes Ergebnis von Lieblingssportteams regelmäßig zu strengeren Verurteilungen von Angeklagten führen. Dabei verkörpern richterliche Entscheidungen in unserer Gesellschaft bereits das höchste Maß an Fairness und Neutralität. Wenn jedoch auch diese unbewusst durch äußere Einflüsse gelenkt werden können, warum messen wir der menschlichen Entscheidungsqualität so hohe Bedeutung zu? Die Antwort liegt nahe – es handelt sich um einen Bias.

Sind Algorithmen voreingenommen?

Bedeutet das, dass Computersysteme jedenfalls die bessere, gerechtere oder diskriminierungsfreiere Entscheidung treffen? Selbstverständlich nicht – die Erfahrungen der letzten Jahre haben gezeigt, dass oftmals sogar das Gegenteil der Fall ist. Auch Computersysteme können diskriminierende Entscheidungen treffen und zum Beispiel Menschen aufgrund ihres Geschlechts benachteiligen. Diese Problematik wird als Algorithmic Bias oder AI Bias bezeichnet und trägt dazu bei, bestehende Diskriminierungsmuster festzuschreiben. Die Verantwortung hierfür liegt jedoch nicht bei den Computersystemen, sondern bei den dahinterstehenden Menschen.

Algorithmen, die auf maschinellem Lernen basieren, werden mithilfe von Daten trainiert. Bereits die Auswahl der Datensätze sowie deren Zusammensetzung stellen dabei gewichtige potenzielle Fehlerquellen dar. Bilden die Daten bestehende Diskriminierungsmuster ab, gibt es eine Diskrepanz zwischen der abzubildenden Realität und der abbildenden Datenlage. Oder werden die Datensätze bereits nach diskriminierenden Grundsätzen ausgewählt, ist dies ein Garant für verzerrte Ergebnisse. Dieser Umstand wird oft verkürzt mit dem Term "rubbish in, rubbish out" beschrieben. Auch die Aufbereitung der Daten, die Definition der Zielvariablen oder die Auswahl der Faktoren in einem Modell – all diese Elemente (und mehr) spielen in eine Entscheidung des Computersystems hinein und können schlussendlich zu diskriminierenden Entscheidungen führen. Diesen Fehlerquellen gemein ist jedoch die menschliche Komponente. Algorithmen spiegeln bei ihren Entscheidungen schlussendlich nur die Voreingenommenheit der Gesellschaft und ihrer Erschaffer wider.

Korrektur möglich

Wissenschaftliche Untersuchungen zeigen, dass das Vertrauen in automatisierte Entscheidungen bereits dann hoch ist, wenn Personen selbst von der Entscheidung betroffen sind. Sind die Voraussetzungen gegeben, bergen Algorithmen und darauf aufbauende künstliche Intelligenz daher großes Potenzial für eine objektive und faire Entscheidungsfindung. Die Grundlage dafür kann mit entsprechendem Bewusstsein und aktivem Gegensteuern bereits vor der Implementierung geschaffen werden. Nur die technische Seite eines Algorithmus zu beleuchten ist hierbei jedoch zu wenig.

Vielmehr muss die soziale und gesellschaftliche Komponente beachtet werden, denn alleine die Definition einer "gerechten" Entscheidung kann sehr komplex sein. Wichtig ist jedenfalls die Zusammenarbeit von Experten und Expertinnen aus mehreren Forschungsdisziplinen – Forschende im Bereich der Ethik sollten genauso beigezogen werden wie beispielsweise solche des Fachgebiets der Soziologie. Data Scientists, Developer und andere Beteiligte sollten thematisch sensibilisiert werden und sich noch vor der Planungsphase im Entwicklungsprozess mit dem Forschungsstand und den bekannten Problemen auseinandersetzen.

Auch die Diversifizierung in Entwicklungsteams wird als wichtiger Ansatz angesehen, damit die Perspektive unterschiedlicher Personen besser einfließen kann. Immer wichtiger wird zudem die Einhaltung von ESG-Standards, also die Berücksichtigung von Umwelt-, sozialen und Governance-Faktoren. Am wichtigsten ist jedoch tatsächlich das Bewusstsein über die Problematik, das einigen im Informatikbereich noch fehlt, jedoch stetig weiter verbreitet wird. Aus diesem Grund ist die positive Entwicklung im Bereich "Responsible AI" besonders erfreulich. Auch "best practices" für die Softwareentwicklung haben sich herausgebildet, wozu zum Beispiel die AI Practices von Google inklusive des "test test test"-Ansatzes gehören.

Zusätzlich sind Algorithmen und Computersysteme adaptierbar. Wird bemerkt, dass ein System diskriminierende Entscheidungen trifft (und dies ist bei Algorithmen besser erkennbar, als bei Menschen!), kann durch Anpassung des Programmcodes verhältnismäßig leicht gegengesteuert werden. Einem Menschen jedoch, der für die Entscheidungsfindung zuständig ist, kann ein Vorurteil oder Bias nicht einfach "abtrainiert" werden. Ein in der KI-Wissenschaft weit verbreitetes Credo lautet daher: "Biased algorithms are easier to fix than biased people."

Auch Gesetzgeber sehen die Chancen, welche automatisierte Entscheidungsfindung birgt, wie diversen Gesetzes- und Entwurfsmaterialien zu entnehmen ist. Der Fokus der entstehenden Regulatorien liegt jedoch auf den Risiken und Szenarien, die es zu verhindern gilt. Dies spiegelt sich im öffentlichen Diskurs wider, wo oft nur die negativen Seiten von KI beleuchtet werden. Natürlich ist es wichtig, aus den Fehlern der Vergangenheit zu lernen, jedoch kann ein Blick auf die künftigen Chancen, die sich durch automatisierte Entscheidungen ergeben, lohnend sein. (Lukas Feiler, Silvia Grohmann, Ariane Müller, 31.10.2022)