Laura Schelenz und Maria Pawelec, IZEW

Rassismus, Sexismus und Diskriminierung durch Technik

Digitalisierung wird gemeinhin als Chance für mehr Gleichheit und Demokratie verstanden. Dazu gehört die Vorstellung, das Internet breche existierende Barrieren wie geographische und kulturelle Grenzen. Oder auch die, dass man in sozialen Plattformen nicht nur Kontakt zu Menschen aus entfernten Regionen halten kann, sondern auch die eigene Identität prägen, sich neu erfinden oder eine in der physischen Welt schlecht angesehene Identität ausleben kann. Digitalisierung in Industrie, am Arbeitsplatz und zu Hause (beispielsweise über smarte Geräte – ‚Internet of Things‘) bietet Flexibilität und (Selbst-)Optimierung beim Erreichen von beruflichen und privaten Zielen. Im Bereich der Entwicklungszusammenarbeit sollen Informations- und Kommunikationstechnologien Ungleichheiten überwinden und globalen Wohlstand schaffen. Dieser Digitalisierung-Optimismus ist zurückzuführen auf libertäre Denker wie John Perry Barlow (1996), welche das Internet als Utopie vollkommener Freiheit inszenieren.

Doch nicht in allen Kontexten und für alle Menschen haben sich die Hoffnungen rund um eine gleichheitsfördernde Digitalisierung erfüllt. Das zeigen zahlreiche wissenschaftliche Beiträge zur digitalen Spaltung (z.B. Schopp et al. 2019) und zur Diskriminierung durch Algorithmen (Heesen et al. 2021). Im letzteren Bereich wird argumentiert, dass digitale Techniken bestehende Ungleichheiten teils verstärken, anstatt sie aufzulösen. Wir berufen uns auf solche Kritik und richten ein Spotlight auf Sexismus, Rassismus und Diskriminierung durch Technik. Dabei zeigen wir, wie durch verzerrte Computersysteme manche Bevölkerungsgruppen benachteiligt werden. Hier geht es also um das Design von neuen Techniken, welche aufgrund von eingeschriebenen Werten diskriminierend wirken. Gleichzeitig zeigen wir mögliche Wege auf, wie diese Diskriminierung gesellschaftlich und politisch angegangen und bekämpft werden kann, um die Potenziale neuer Technologien zu verwirklichen.

Diskriminierung durch wertgeladene Technik

Technik beinhaltet immer Werte. Sie entsteht im Kontext einer wertgeprägten Gesellschaft durch Entwickler*innen, die auf Grundlage ihrer eigenen Wertvorstellungen arbeiten. Daher spiegelt die Technik sowohl die Werte und Normen einer Gesellschaft als auch die der Entwickler*innen wider (Simon 2016). Werte fließen teils bewusst und teils unbewusst in den Designprozess ein und prägen die Hardware, Software und die Benutzer*innenoberfläche eines Produkts. In ihrer Interaktion mit dem Produkt werden die Nutzer*innen durch diese Werte wiederum beeinflusst. Die ethischen Implikationen dieser Mensch-Technik-Interaktion diskutiert die Wissenschaft unter dem Stichwort „Wertgeladenheit von Technik“ (Nissenbaum 2005). Im Hinblick auf Rassismus wird kritisiert, dass vorrangig die Werte einer weißen und männlich geprägten Kultur des US-amerikanischen Silicon Valley in die Technik eingeschrieben werden.

Die Soziologin Jessie Daniels verurteilt die Idee eines vermeintlich ‚farbenblinden‘ Internets. Wer das Digitale als neutralen Ort für Menschen unterschiedlicher ethnischer Herkunft sieht, der vergisst den Entstehungskontext im Westen der USA (vgl. Daniels 2015). Außerdem sind schwarze, braune und indigene Menschen und insbesondere Frauen in der Technikbranche unterrepräsentiert. Daher fallen rassistische oder marginalisierende Tendenzen der Technik weniger auf – zum Beispiel in Testanwendungen oder Audits. Dies kann dann dazu führen, dass Technik für schwarze, braune und indigene Menschen nicht so gut funktioniert wie für Weiße.

So hat Gesichtserkennungssoftware schwarze Frauen in der Vergangenheit häufig als männlich klassifiziert oder im Rahmen einer Strafverfolgung fehlidentifiziert. Nach wie vor bestehen hier algorithmische Verzerrungen. Die Wissenschaftlerin Joy Buolamwini fasst diesen Affront in ihrem Gedicht auf YouTube pointiert zusammen. Hier geht es nicht nur um reale Konsequenzen für die betroffenen Frauen, sondern im Lichte der US-amerikanischen Geschichte auch um ihre politische und gesellschaftliche Anerkennung. Technikdesign ist also auch politisch und Technik hat enorme Macht.

Auch die Suchmaschine Google verdeutlicht das diskriminierende Potenzial von Technik. Google ist heute ein ‚Gatekeeper‘ von Information und politischer Debatte. Google bietet gewissen Inhalten eine vielfach erhöhte Reichweite und nimmt damit großen Einfluss auf öffentliche Diskurse, prägt Wissen und Einstellungen. Safiya Noble hat sich die Suchmaschine genauer angeschaut und rassistische Tendenzen aufgedeckt. Nicht nur werden schwarze Frauen in stereotyper Form in der Bildersuche repräsentiert, Googles ‚Definitionen‘ marginalisieren auch schwarze Kultur. Sucht man beispielsweise nach „black hair“, findet man weiße Frauen mit schwarzer Haarfarbe anstelle von Frisuren schwarzer Frauen– ein klarer Fall einer weißen Designbrille (Noble 2018).

Ein weiteres Problem besteht auch in den Geschäftsmodellen großer sozialer Medien: Deren Algorithmen priorisieren besonders sensationelle oder empörende – und daher häufig auch sexistische oder rassistische – Inhalte, da diese zu einer erhöhten Aufmerksamkeit und Verweildauer auf ihren Plattformen und damit tendenziell zu höheren Werbeeinnahmen führen. Hier geht es also um eine „Aufmerksamkeitsökonomie“ (Zuboff 2019).

Diskriminierung entsteht auch, wenn Algorithmen anhand von Trainingsdaten lernen, die bestehende gesellschaftliche Ungleichheiten abbilden. So gibt es Fälle, in denen Algorithmen unter verschiedenen Bewerber*innen auf eine Stelle vorwiegend Männer oder weiße Menschen auswählten, da in dem jeweiligen Unternehmen bisher insbesondere diese Personen erfolgreich beschäftigt waren. In solchen Fällen verstärken algorithmische Entscheidungssysteme gesellschaftliche Ungleichheiten weiter und schreiben sie fest (Kolleck und Orwat 2020).

In Bezug auf Sexismus bietet Sarah Wachter-Böttcher (2017) darüber hinaus zahlreiche Beispiele, wie heteronormative Geschlechterbilder in den Designs von Apps eingeschrieben sind und keinen Raum für Differenzierungen oder echte Diversität lassen. So kommt es vor, dass die Shopping-App einer homosexuellen Frau am Valentinstag vorschlägt, ein Geschenk für ‚ihn‘ zu suchen oder Menstruations-Apps ausschließlich in einem pinken Interface zu haben sind. Doch Sexismus geht weit über solche geschlechtsstereotypen Zuschreibungen hinaus und kann eine Bedrohung für die gesellschaftliche und politische Partizipation von Techniknutzer*innen darstellen.

Pornografische Deepfakes als Bedrohung für Frauen und ihre gesellschaftliche Gleichstellung

Ein Beispiel ist die zunehmende Nutzung von Deepfakes zur Erstellung nicht-einvernehmlicher Pornos. Deepfakes sind synthetische audio-visuelle Medien, also Bilder, Videos oder Audiodateien, die zumeist mit Hilfe künstlicher Intelligenz erstellt werden. Große Unternehmen wie Nvidia entwickelten die zugrundeliegende Technologie 2014. Erst 2017 wurde jedoch der Begriff „Deepfakes“ geprägt, als ein/e anonyme/r Nutzer*in der Online-Community Reddit unter diesem Pseudonym gefälschte Pornos berühmter Schauspielerinnen und Sängerinnen veröffentlichte und kurz darauf den Programmiercode dafür teilte. Seitdem wird die Technologie rapide verbessert – sowohl von großen Tech-Unternehmen und spezialisierten Start-Ups als auch von (oft anonymen) Programmierer*innen auf Plattformen wie GitHub. Die Ergebnisse sind teils sehr realistisch.

Deepfakes gibt es in den verschiedensten Anwendungskontexten, von Spezialeffekten in der Filmindustrie bis hin zur politischen Nutzung für Fake News und Desinformation. Laut einer Studie des Unternehmens Deeptrace waren 2019 jedoch 96% aller Deepfakes online pornografisch, und es waren zu 100% Frauen betroffen (Ajder et al. 2019). Auch wenn in den letzten Jahren vereinzelt Deepfake-Pornos von Männern aufkamen, bleibt dies eine absolute Seltenheit. Da die Hürden zur Erstellung von Deepfakes in Bezug auf benötigtes Wissen und Ressourcen stetig sinken, sind zudem nicht mehr nur prominente Frauen betroffen, sondern zunehmend auch Privatpersonen – etwa als Opfer von Rachepornografie.

Pornografische Deepfakes verletzen massiv die Persönlichkeitsrechte der Betroffenen. Sie können schwere psychische Schäden sowie persönliche Nachteile etwa im Arbeitsumfeld verursachen und als Grundlage für Mobbing oder strafrechtlich relevantes Verhalten wie Erpressung oder Verleumdung dienen. Darüber hinaus bedrohen sie die gesellschaftliche Gleichstellung von Frauen in einer digitalen Gesellschaft (Bieß und Pawelec 2020). Dies ist sowohl der Fall, wenn Deepfakes gezielt eingesetzt werden, um politische Gegner*innen oder kritische Journalist*innen ‚mundtot‘ zu machen, als auch wenn sie Internetnutzer*innen einschüchtern und davon abhalten, am politischen und gesellschaftlichen Leben teilzunehmen.

Viele Deepfake-Technologien sind auch für nicht-pornografische Zwecke nutzbar. Einige besonders verbreitete Programme wie die App DeepNude wurden jedoch nur an Bildern von Frauen trainiert und sind daher nur auf sie anwendbar. Darüber hinaus brachte erst die Nutzung und Entwicklung von Deepfakes zu pornografischen Zwecken die Technologie in den ‚Mainstream‘. Deepfakes sind somit eine neue, teils inhärent sexistische Technologie, die häufig gegen Frauen eingesetzt wird.

Wie können wir Diskriminierung durch Technik entgegenwirken?

Trotz vieler positiver gesellschaftlicher Effekte ist Technik also weit davon entfernt, diskriminierungsfrei und inklusiv zu sein. Bereits beim Design and spätestens bei den Auswirkungen bevorteilen wertgeladene Innovationen manche Gruppen und benachteiligen andere. Was bedeutet das nun für uns Nutzer*innen, für die Designer*innen von Technik und für die digitale Gesellschaft als Ganzes? Wie können wir die Potenziale von Technik nutzen, und gleichzeitig ihren diskriminierenden Tendenzen entgegenwirken?

Hierfür müssen unter anderem die folgenden Akteur*innen auf verschiedenen Ebenen zusammenwirken: Gesellschaft und Nutzer*innen, Unternehmen und Designer*innen, sowie der Staat. Als Gesellschaft müssen wir naiven Technik-Optimismus (insbesondere bezogen auf Künstliche Intelligenz) hinterfragen. Die technischen Anwendungen, die wir tagtäglich benutzen, sowie unsere Interaktion mit ihnen sollten wir kritisch betrachten. So bedarf es einer gesellschaftlichen Diskussion über die Werte, die in Technik einfließen (sollten). Zudem hat sich wiederholt gezeigt, dass Diskriminierung durch Technik eine Fortschreibung bestehender Voreingenommenheit und gesellschaftlicher Ungleichheiten ist. Nur wenn neben einem kritischen Umgang mit Technik(-entwicklung) auch die solcher Diskriminierung zugrundeliegenden gesellschaftlichen Tendenzen von Rassismus und Sexismus bekämpft werden, können Nutzer*innen in Zukunft wirksam vor Diskriminierung durch Technik geschützt werden. Als Nutzer*innen müssen wir einem erhöhten Problembewusstsein Taten folgen lassen: Wenn wir vermuten, dass wir (oder andere) durch Technik diskriminiert werden, dann sollten wir dem – auch rechtlich – nachgehen. 

Eine besondere Verantwortung tragen auch die Designer*innen von Technik. Sie sollten die in Technik eingeschriebenen Werte stärker reflektieren, sodass sie bewusstere Entscheidungen über ihre eigenen Designs treffen können. Dazu sollten sie in ihrer Ausbildung befähigt werden. Ethik sollte ein fester Bestandteil von (informations-)technischen Studiengängen und Berufsausbildungen werden. Um auch (teils anonym arbeitende) Freizeit-Entwickler*innen und Hacker*innen zu erreichen, könnten auf Plattformen wie GitHub Aufklärungskampagnen gestartet und die Diskussionen dort stärker moderiert werden. Designer*innen können zudem auf bestehende Diskurse über die Ethik und eine mögliche Zertifizierung von KI-Anwendungen zurückgreifen (siehe hierzu beispielsweise die Vorschläge der AI Ethics Impact Group für ein KI-Ethiklabel). Gerechtigkeit und Diskriminierungsfreiheit sind hier zentrale Werte.

Auch von den Unternehmen sollte die digitale Gesellschaft eine größere Verantwortungsübernahme verlangen, denn sie haben die Macht, unser tägliches Erleben durch Technik zu prägen. So können sie intern Rahmenbedingungen wie etwa Whistleblowing-Strukturen oder (unabhängige) Ethikgremien schaffen, um mehr Raum für diskriminierungsfreie Technikentwicklung zu schaffen. Finanzielle Ressourcen für unabhängige Forschung sind ebenso essenziell. Hier ist eine „Rechenschaftssteuer“ wie von Buolamwini (2019) vorgeschlagen sinnvoll: Bei diesem Modell zahlen Unternehmen 0,5 % ihres Umsatzes an ethisch fundierte kritische Wissenschaft im Bereich KI. Zuletzt sollten die großen IT-Unternehmen vor allem mehr Verantwortung für das Kuratieren von Inhalten in sozialen Medien (content moderation) übernehmen. Eine Überarbeitung der Algorithmen großer sozialer Medien könnte dazu führen, dass weniger Hassbotschaften und diskriminierende Inhalte verbreitet werden. Hierfür zentral sind auch die plattformeigenen Hausregeln, die auf der jeweiligen Unternehmensethik beruhen.

Rechtliche Regulierungsbemühungen

Gleichzeitig stehen auch der Staat und supranationale Institutionen in der Verantwortung, die entsprechenden rechtlichen Rahmenbedingungen sowohl für Nutzer*innen als auch für Unternehmen zu schaffen, um Diskriminierung durch Technik zu bekämpfen. Dabei muss zwischen a) dem Einsatz von Technik durch Kriminelle und b) teils unbeabsichtigter Diskriminierung durch Technik unterschieden werden. Im Falle von nicht-einvernehmlicher Deepfake-Pornografie beispielsweise ist eine private Rechtsdurchsetzung oft zu kostspielig und wenig erfolgversprechend, unter anderem da die Täter*innen meist nicht ermittelt werden können und sich häufig im Ausland befinden. Um Opfer von Deepfake-Pornos rechtlich besser zu schützen, müssen daher die Möglichkeiten der öffentlichen Rechtsdurchsetzung etwa über das Strafrecht verstärkt werden. Dazu sollte – so wie derzeit in Südkorea, den USA und Großbritannien erörtert – das Strafrecht entsprechend angepasst und konkretisiert werden.

Um Rassismus, Sexismus und Diskriminierung durch Technik breiter einzudämmen, bedarf es weiterer (supra-)staatlicher Regulierung. Derzeit wird in der Europäischen Union (EU) beispielsweise der Digital Services Act diskutiert. Dieses Gesetzespaket für digitale Dienste soll große Online-Plattformen stärker in die Verantwortung für die Moderation von Inhalten auf ihren Plattformen nehmen (ähnlich dem bestehenden deutschen Netzwerkdurchsetzungsgesetz). Dies soll unter anderem dazu führen, dass sexistische und rassistische Inhalte schneller und effizienter gelöscht werden.

Der jüngste Vorschlag der EU-Kommission zur Regulierung von KI betont zudem stark den Wert der Diskriminierungsfreiheit sowie der Geschlechtergerechtigkeit. Vor diesem Hintergrund klassifiziert die EU-Kommission bestimmte KI-Technologien etwa zur biometrischen Identifikation, zur Auswahl von Bewerber*innen oder zur Zuteilung von Krediten als Hochrisikoanwendungen, die besonderen Transparenz-, Kontroll- und Sicherheitsanforderungen unterliegen. Solche Regulierungsbemühungen müssen gestärkt werden, um – im Zusammenspiel mit vielen weiteren Akteur*innen – die Potenziale von Technik zu nutzen und Diskriminierung, Rassismus und Sexismus entgegenzuwirken.

Literaturverzeichnis

Ajder, Henry; Patrini, Giorgio; Cavalli, Francesco; Cullen, Laurence (2019): The State of Deepfakes. Landscape, Threats, and Impact. Deeptrace.

Barlow, John Perry (1996): A Declaration of the Independence of Cyberspace. Electronic Frontier Foundation. Davos, Switzerland. Online verfügbar unter https://www.eff.org/de/cyberspace-independence, zuletzt geprüft am 19.04.2021.

Bieß, Cora; Pawelec, Maria (2020): Schaden Deepfakes (wirklich) der Demokratie? Warum die Debatte um Deepfakes in der Politik oft zu kurz greift. Internationales Zentrum für Ethik in den Wissenschaften. BedenkZeiten Blog. Online verfügbar unter https://uni-tuebingen.de/de/199237, zuletzt geprüft am 13.04.2021.

Buolamwini, Joy (2019): Artificial Intelligence: Societal and Ethical Implications. Testimony at United States House Committee on Science, Space and Technology. Online verfügbar unter https://science.house.gov/imo/media/doc/Buolamwini%20Testimony.pdf.

Daniels, Jessie (2015): “My Brain Database Doesn’t See Skin Color”. Color-Blind Racism in the Technology Industry and in Theorizing the Web. In: American Behavioral Scientist 59 (11), S. 1377–1393. DOI: 10.1177/0002764215578728.

Heesen, Jessica; Reinhardt, Karoline; Schelenz, Laura (2021): Diskriminierung durch Algorithmen vermeiden: Analysen und Instrumente für eine demokratische digitale Gesellschaft. In: Gero Bauer, Maria Kechaja, Sebastian Engelmann und Lean Haug (Hg.): Diskriminierung und Antidiskriminierung. Beiträge aus Wissenschaft und Praxis. 1. Auflage. Bielefeld: transcript; Transcript Verlag (Gesellschaft der Unterschiede, 60).

Kolleck, Alma; Orwat, Karsten (2020): Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen – ein Überblick. TAB - Büro für Technikfolgenabschätzung beim Deutschen Bundestag (Hintergrundpapier, 24). Online verfügbar unter https://www.tab-beim-bundestag.de/de/pdf/publikationen/berichte/TAB-Hintergrundpapier-hp024.pdf, zuletzt geprüft am 20.04.2021.

Nissenbaum, Helen (2005): Values in Technical Design. In: Carl Mitcham (Hg.): Encyclopedia of science, technology and ethics. Detroit: Macmillan Reference, S. lxvi–lxx.

Noble, Safiya Umoja (2018): Algorithms of Oppression. How Search Engines Reinforce Racism. New York: New York University Press.

Schopp, Kerstin; Schelenz, Laura; Heesen, Jessica; Pawelec, Maria (2019): Ethical questions of digitalization in the Global South. In: TATuP 28 (2), S. 11–16. DOI: 10.14512/tatup.28.2.s11.

Simon, Judith (2016): Values in Design. In: Jessica Heesen (Hg.): Handbuch Medien- und Informationsethik. Stuttgart: Metzler, S. 259–366.

Wachter-Boettcher, Sara (2017): Technically Wrong. Sexist Apps, Biased Algorithms, and Other Threats of Toxic Tech. First edition. New York NY: W.W. Norton & Company.

Zuboff, Shoshana (2019): The Age of Surveillance Capitalism. The Fight for a Human Future at the New Frontier of Power. London: Profile Books.