Im Videomeeting sind wir alle gleich? Nein, denn die Technologien dafür bevorzugen noch immer oft Menschen mit heller Hautfarbe.
Allhutter: "Die Daten, auf denen die Vorhersage basiert, reflektieren soziale Dynamiken und Ungleichheit."
Auch Maschinen stehen unserem Geschlecht oder unserer ethnischen Herkunft nicht neutral gegenüber. Denn die Daten, auf denen künstliche Intelligenz (KI) basiert und mit denen Vorhersagemodelle trainiert werden, basieren auf Sprache und Alltagswissen. Und dort halten sich Stereotype bekanntlich sehr hartnäckig. Doris Allhutter hat untersucht, wie die Perspektive der weißen, männlichen Mittelschicht unsere Computerprogramme dominiert und so als beherrschende Sicht reproduziert wird.
STANDARD: Wo diskriminieren Maschinen Menschen?
Allhutter: Viele Systeme sind auf einen männlichen, weißen "Normaluser" ausgerichtet. Nehmen wir Zoom: Bei Videokonferenzen mit virtuellem Hintergrund wurde bei Menschen mit dunkler Hautfarbe das Gesicht weggeblendet. Es wurde als Teil des Hintergrunds wahrgenommen, weil das Gesichtserkennungssystem die Konturen nicht erkannte. Dieses Problem ist nicht neu, sondern setzt sich seit der Erfindung der Fotografie fort. Die ersten Fotomaterialien leuchteten schwarze Menschen nicht genug aus. Geändert wurde das erst, als Unternehmen sahen, dass sie Möbel oder Schokolade so nicht gut abbilden konnten.
STANDARD: Die Computerwissenschaft befasst sich erst seit einigen Jahren mit derartigen Problemen. Warum hat das so lange gedauert?
Allhutter: Einige kritische Bereiche der Computerwissenschaften hatten schon früher einen Blick darauf. Auch die Wissenschafts- und Technikforschung, besonders die feministische Technikforschung, haben gezeigt, dass Technologien nicht neutral sind und soziale Ungleichheit reproduzieren. Mit einer sozialwissenschaftlichen Brille sehen wir, dass formale Modelle auch soziale Annahmen in sich tragen. Es gibt aber immer noch einen Teil der Computerwissenschaften, der sagt, dass Daten die Referenzmenge der Realität sind, und ob das nun gerecht ist, das müssten andere entscheiden. Das lagert man gerne an die Ethik aus.
STANDARD: Welche Folgen hat das?
Allhutter: Nehmen wir etwa Vorhersagemodelle: Sie sind im Machine-Learning ein wichtiges Feld. Ein Entscheidungsunterstützungssystem für Bewerbungen kann vorhersagen, wie hoch das Verkaufsvolumen eines Bewerbers sein wird. Das System lernt von früheren Daten, und schlussendlich sagt das Modell, dass beispielsweise eine Kandidatin mit dunkler Hautfarbe ein geringes Verkaufsvolumen haben wird – und die Bewerberin wird ausgeschieden. Wir können fragen: Ist das eine korrekte Vorhersage? Oder: Ist das gerecht? Die Daten, auf denen die Vorhersage basiert, reflektieren gesellschaftliche Dynamiken und soziale Ungleichheiten. Wenn Kundinnen und Kunden Vorurteile haben, dann wird ein Mensch mit dunkler Hautfarbe tatsächlich weniger verkaufen. In dieser ungerechten Welt ist das also eine korrekte Vorhersage. Aber wir müssen uns fragen: Wollen wir einem System so etwas wie Ungleichbehandlung und Rassismus beibringen? Und wer ist dafür zuständig, das zu entscheiden?
STANDARD: Das erinnert an die Debatte um den AMS-Algorithmus, der zum Beispiel Frauen und Menschen aus Drittstaaten unabhängig vom Bildungsgrad weniger Chancen auf dem Arbeitsmarkt vorausgesagt hat.
Allhutter: Ja, das zeigt die Studie, die das ITA (Institut für Technikfolgen-Abschätzung, Anm.) gemeinsam mit der TU Wien dazu veröffentlicht hat. Wenn wir diese Systeme im öffentlichen Bereich verwenden, dann müssen wir auch ein politisches Bewusstsein dafür schaffen, wie wir das Wissen aus den Daten nutzen. Wenn wir informierte Entscheidungen treffen wollen, dann müssen wir uns sehr genau überlegen, was so ein System optimieren soll. Wenn beim AMS-Algorithmus Effizienzsteigerung auf Kosten von Gleichbehandlung und Gerechtigkeit geht, dann werden grundrechtliche und demokratische Werte untergraben.
STANDARD: Sie befassen sich mit der Reproduktion von Zweigeschlechtlichkeit. Wie kann man die in Systemen erkennen?
Allhutter: Geschlechterdifferenz wird nicht nur in der Sprache, sondern auch in Technologien reproduziert. Das große Ziel der KI-Forschung ist, Computer mit menschenähnlichem Verstand auszustatten, ihnen ein Alltagsverständnis von der Welt beizubringen. Die Systeme lernen durch Textdaten aus dem Internet, die Welt zu interpretieren: Viele Texte erzeugen aber stereotype Vorstellungen über Geschlechterdifferenz. Dieses "Alltagsverständnis" der Maschinen von der Welt ist daher verkürzt und wiederholt eher hegemoniales Wissen, als die Vielfalt der Welt zu erfassen.
STANDARD: Wenn Maschinen einen menschenähnlichen Verstand haben, dann haben auch sie automatisch Vorurteile?
Allhutter: Ja, das ist eine interessante Ambivalenz. Der Hausverstand ist mit Vorurteilen beladen, gleichzeitig stellt er Expertenwissen auf Basis von Alltagserfahrungen infrage, was auch legitim ist. Es gibt die Annahme, dass, wenn Fairness in ein System eingebaut wird, die Treffergenauigkeit sinke. Denn so orientiere man sich an einer idealen Welt und nicht an den Daten.
STANDARD: Welche Probleme bringt das mit sich?
Allhutter: Nehmen wir noch einmal das Beispiel mit den vorurteilsbeladenen Kunden: Wenn ich mich nur an den Daten orientiere, dann ist es korrekt, dass eine Bewerberin mit dunkler Hautfarbe weniger Verkaufsvolumen hat. Wenn man sich an einer gerechten Welt ohne Einstellungsdiskriminierung orientieren möchte, dann geht das auf Kosten der Treffergenauigkeit. Das ist ein Dilemma: Im Machine-Learning ist das als Zielkonflikt oder Trade-off definiert. Doch ein Trade-off ist es nur für die privilegierte Gruppe. Denn für die diskriminierte Gruppe ist die Trefferquote von vornherein geringer, und sie steigt sogar, wenn das System fairer wird. Durch die riesigen Datenmengen, die uns heute zur Verfügung stehen, entstand das Versprechen, dass wir mit KI und Machine-Learning neues Wissen entdecken. Wissen, das man wie Puzzleteile zu einer Art Daten-Infrastruktur zusammensetzt. Je komplexer aber diese einzelnen Puzzleteile sind, desto intransparenter wird diese Infrastruktur, in die auch die sozialen Strukturen eingeschrieben sind.
STANDARD: Wie sieht es mit der Arbeit aus, die hinter der Entwicklung automatisierter Systemen steht?
Allhutter: Damit kommen wir zu einem anderen großen Versprechen: dass Automatisierung wirtschaftliche Prosperität hervorbringt. Dass Arbeit erleichtert wird, dass durch Datenauswertung bessere Entscheidungen getroffen und durch hohe Rechenleistungen Probleme gelöst werden, die den menschlichen Geist übersteigen. Diese Daten müssen aber für die Maschinen erst lesbar gemacht werden, und das ist sehr kostspielig. Den Usern wird gern vorgemacht, dass das alles automatisch passiert. Tatsächlich wird aber vieles davon händisch von Menschen gemacht.
STANDARD: Um welche Art von Arbeit handelt es sich dabei genau?
Allhutter: Plattformen wie "Amazon Mechanical Turk" oder "CrowdFlower" geben kleine digitale Arbeiten in Auftrag. Datenarbeiter können sich dort einschreiben und sogenannte Mikrotasks erledigen, für die man dann einen geringen Centbetrag bekommt. Das ist eine große Industrie, und diese Datenbereinigung wird vorwiegend an Menschen ausgelagert, die im Globalen Süden leben, technisch ausgebildet sind und gut Englisch sprechen. So ein Microtask wäre etwa, dass ein Crowdworker Fragen wie "Ist die Erderwärmung ein Teil der Domäne Klimawandel?" mit "Ja" oder "Nein" beantwortet. Derartige Tasks ordnen Wissen für Computer, machen Daten verwertbar. Es ist eine Schattenwirtschaft, die zwar Menschen in Niedriglohnländern ein Einkommen bietet, wirtschaftlich aber vorwiegend dem Globalen Norden nutzt. (Beate Hausbichler, 14.2.2021)