Black Lives, Trans Rights und Algorithmen – Wie Technik strukturelle Diskriminierung verstärkt
Laura Schelenz und Regina Ammicht Quinn, Universität Tübingen
Die Protestwelle im Zuge der Ermordung von George Floyd in den USA ist noch nicht abgeklungen. Noch immer begegnen sich Aktivist*innen der Black Lives Matter-Bewegung und Polizei sowie die Nationalgarde auf den Straßen Amerikas, wie etwa in der Stadt Portland im Bundesstaat Oregon.1 Die Anti-Rassismus-Proteste machen auf die anhaltende Benachteiligung und gewaltsame Unterdrückung von schwarzen Menschen in den USA aufmerksam. Aber auch in Deutschland gibt es Rassismus, der hartnäckig Vorurteile gegenüber nicht-weißen Deutschen aufrechterhält.
„Rassismus steckt überall in unserer Gesellschaft“, schreibt Alice Hasters. Alltagsrassismus wird sichtbar in Witzen, Bemerkungen und Fragen, die davon ausgehen, dass weiße und schwarze Menschen grundlegend unterschiedlich sind.2 Deutsche mit dunkler Hautfarbe, aber auch weiße Deutsche mit „fremden“ Gesichtszügen werden zum Beispiel immer wieder gefragt, woher sie eigentlich kommen. Dahinter stecken mehr als „nur“ gesellschaftlich verbreitete und von früher Kindheit an sozialisierte Vorurteile. Rassismus ist ein System, welches über Jahrhunderte zur Verstärkung und Unterstützung der Überlegenheit weißer Menschen aufgebaut und gefüttert wurde. Obwohl eine hohe Anzahl von Menschen von sich selbst sagen würden, sie seien nicht rassistisch, ist der Rassismus tief in Strukturen verankert und bleibt für viele häufig unsichtbar. Rassismus spiegelt sich in unseren heutigen politischen und sozialen Institutionen, in Kinofilmen und Schulbüchern und eben auch in digitalen Technologien wider. Technik verstärkt mitunter die strukturelle Diskriminierung von schwarzen Menschen und insbesondere schwarzen Frauen. Wie kann das passieren?
Algorithmische Systeme sind Computermodelle, die anhand von Datensätzen trainiert werden, eine bestimmte Aufgabe zu lösen. Häufig verfügen diese Datensätze selbst über Verzerrungen, zum Beispiel indem sie über einen hohen Anteil von Daten weißer Menschen verfügen, aber nur über einen geringen Anteil von Informationen über Menschen mit dunkler Hautfarbe. Geht es beispielsweise um ein algorithmisches System, welches auf Bilddaten zurückgreift, kann dies benachteiligende Effekte für Menschen mit dunkler Hautfarbe haben. Das ist z.B. dann der Fall, wenn Gesichtserkennungs- und Überwachungssoftware für die Identifizierung von Straftäter*innen eingesetzt wird:
In einer Studie zu Gesichtserkennungssoftware in den USA wurde festgestellt, dass die Computermodelle insbesondere Frauen mit dunkler Hautfarbe fälschlicherweise als „Mann“ klassifiziert haben.3 Am besten konnte das algorithmische System weiße Männer klassifizieren. Hier machte es nur sehr wenige Fehler. Nicht nur die Hautfarbe, aber auch die Gesichtsform sowie die Haarstruktur und Frisur hatten einen Einfluss auf die Qualität der Gesichtserkennung. Wenn also algorithmische Systeme, die mit Bilddaten arbeiten, besonders gut für Menschen mit heller Hautfarbe funktionieren, aber weniger gut für Menschen mit dunkler Hautfarbe, sind Menschen mit dunkler Hautfarbe womöglich häufiger von Fehlidentifikationen betroffen. Das Beispiel der Gesichtserkennung zeigt, dass die Qualität der Trainingsdaten (in dem Fall Diversität der Bilddaten von hellen und dunklen Hauttypen) entscheidend für das Level an Fairness eines Algorithmus ist und Konsequenzen für Betroffene haben kann.
Strukturelle Diskriminierung durch Algorithmen erleben nicht nur schwarze Menschen, sondern häufig auch Menschen, die sich nicht in einem binären Geschlechterverständnis von „männlich vs. weiblich“ verorten. Hier ist ähnlich wie im oben genannten Beispiel das Problem, dass Datensätze, mit denen Algorithmen trainiert werden, nur binäre Geschlechterdaten (Mann, Frau) beinhalten. Häufig werden Daten von Menschen, die sich als Transgender, Queer oder Intersex identifizieren, nicht erhoben. Ein Beispiel sind Körperscanner in der Sicherheitskontrolle am Flughafen. Hier vergleicht ein Algorithmus das Bild eines „Normalmenschen“ mit dem Bild des aktuellen Menschen, der kontrolliert wird und kann so erkennen, ob Abweichungen sichtbar werden. Manche Algorithmen, die dem Körperscanner zugrunde liegen, bauen auf der Grunddifferenz „Mann-Frau“ auf, und Sicherheitskräfte müssen das Geschlecht nach eigener Einschätzung durch Sichtung der Person angeben. Bei Menschen, deren biologisches nicht mit dem sozialen Geschlecht übereinstimmt, kommt es vor, dass eine „Anomalie“ im Brust- bzw. Genitalbereich markiert wird. All dies erfordert ein in hoher Weise schambesetztes Zwangsouting mitten in der Sicherheitskontrolle.4
Wenn wir hier weiterdenken, betreffen „Anomalien“ zwischen den im Datensatz dokumentierten „Normalmenschen“ und der kontrollierten Person jedoch eine Reihe von Menschen. Denn ob eine Abweichung die wenig wahrscheinliche Bombe ist oder ein medizinischer Gegenstand (externe Brustprothese, ein Urinbeutel, ein künstlicher Darmausgang, eine leicht feuchte Erwachsenenwindel), kann die Technik in der Regel nicht erkennen, und vom Sicherheitspersonal wird eine Kontrolle erwartet. Körperscanner also produzieren Formen des Sicherheitshandelns, das auf (politische) Vulnerabilitäten reagiert (möglicher Terroranschlag), aber genauso neue Vulnerabilitäten hervorbringt – während die tatsächliche Flugsicherheit dadurch kaum gesteigert wird. Damit haben sie das Potenzial Formen der Diskriminierung im gegebenen Kontext neu zu schaffen, aufrechtzuerhalten oder zu verstärken.
Nicht nur Datensätze, auch ein Mangel an einer etablierten Praxis und Kultur der Selbstreflexion unter Designer*innen und Technikentwickler*innen führt zu der Reproduktion von struktureller Diskriminierung durch Technik. Digitale Lösungen sind nicht „neutraler“ als Menschen. Sie sind ebenso vorurteilsbehaftet, denn schließlich interagieren technische Systeme mit Menschen und ziehen bestehendes Wissen heran. Damit ist es möglich, dass sie (häufig unsichtbar) bestehende Benachteiligungen aller Art aufrechterhalten und dadurch verstärken, dass sie „neutral“ erscheinen. Neben der besseren Aufbereitung von Datensätzen und Trainings für Technikentwickler*innen ist also vor allem wichtig, dass jede*r von uns eigene Annahmen und Weltsichten überprüft. Diskriminierung durch Technik zu verhindern ist nur möglich, wenn sie Hand in Hand mit der Verhinderung gesellschaftlicher und alltäglich wirksamer Diskriminierung geht.
Literatur
1 „Süddeutsche Zeitung, 26. Juli 2020“
2 Hasters, Alice (2020): Was weiße Menschen nicht über Rassismus hören wollen, aber wissen sollten. 10. Auflage. München: hanserblau.
3 Buolamwini, Joy; Gebru, Timnit (2018): Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. In Proceedings of Machine Learning Research 81, pp. 1–15.
4 Costanza-Chock, Sasha (2020): Design Justice. Community-led Practices to Build the Worlds We Need. Cambridge: The MIT Press (Information Policy).
