Ekaterina Jussupow und Maximilian Schmidt, Universität Mannheim,
Peyman Toreini und Sebastian Friebe, KIT

I. Einleitung

Unsere Gesellschaft wird zunehmend abhängig von Algorithmen, die zum Teil auf künstlicher Intelligenz (KI) basieren. Automatische Systeme entscheiden über viele Dinge, wie z.B. darüber, welche E-Mails in unsere Postfächer gelangen oder ob wir einen Kredit bekommen. Durch die Fortschritte in Verfahren des maschinellen Lernens werden KI-Systeme immer mehr in operativen und sicherheitskritischen Systemen eingesetzt (in selbstfahrende Autos, bei medizinischen Entscheidungen und bei der Überwachung technischer Infrastruktur), in denen immer mehr Datenmengen immer schneller und komplexer ausgewertet werden. Auf der einen Seite wird die Verlässlichkeit solcher Systeme somit immer wichtiger. Gleichzeitig können aktuelle Lösungen in ihrer Funktionsweise aber selbst von Experten nicht mehr verstanden und überprüft werden – ein inhärentes Problem von maschinellem Lernen. So sind Fehler in statistisch verzerrten Daten nur schwer zu finden und inhaltliche Gründe für die Entscheidungen der Algorithmen kaum nachzuvollziehen. Dies resultiert in neuen Problemen: So können sich soziale Ungerechtigkeiten in den Algorithmen weiter fortsetzen, indem bestimmte benachteiligte Gruppen durch die Systeme weiterhin benachteiligt werden (Angwin et al. 2016). Auch kann es passieren, dass Fehlentscheidungen von Verfahren nicht erkannt und somit nicht korrigiert werden.

Deshalb wird Transparenz von Algorithmen wird als eine wichtige Möglichkeit diskutiert um den Einsatz von Algorithmen nachvollziehbar und ethisch verantwortungsvoll zu gestalten. Mit Transparenz ist dabei die Verständlichkeit und Nachvollziehbarkeit der jeweiligen Entscheidung gemeint. Dabei ist es nicht ausreichend, den Programmcode der Algorithmen offen zu legen. Stattdessen muss dieser in einer Art und Weise dargestellt werden, dass seine Funktionsweise auch ohne Fachkenntnisse verständlich ist. 

In den folgenden Abschnitten stellen wir drei Herausforderungen und Handlungsfelder der Algorithmen-Transparenz näher dar: Wir beschreiben, welche Forderungen die aktuelle Forschung zur Interaktion zwischen Mensch und Algorithmus an das Thema stellt und legen anschließend dar, wie das Recht helfen kann diese sicherzustellen. Anschließend zeigen wir an einem Fallbeispiel, welche Rolle Transparenz bei der Nutzung von neuen Technologien hat.

II. Handlungsfelder

1. Einfluss von Algorithmen-Transparenz Mensch-KI Interaktion

Besonders beim Einsatz von KI-Verfahren wird oftmals von sogenannten Black-Box Systemen gesprochen. Dabei ist oft unklar, welche Zusammenhänge von Algorithmen in den Daten erkannt und gelernt werden.

In der KI-Forschung wird versucht diesem Problem aktiv zu begegnen, indem Verfahren entwickelt werden, die es erlauben, die Grundlage von KI-Entscheidungen für Menschen transparent zu machen. Hierbei entstehen allerdings zwei wesentliche Herausforderungen in der Mensch-KI-Interaktion:

1. Transparenz von Algorithmen bedeutet nicht automatisch Nachvollziehbarkeit von Algorithmen-Entscheidungen
2. Transparenz von Algorithmen führt nicht automatisch zu besseren Entscheidungen 

Die erste Herausforderung beschreibt eine Diskrepanz zwischen einem Vorgehen von Informatikern, um den Algorithmus auf einer technologischen Ebene erklärbar und transparent zu machen, und menschlichen Nutzern, die die Erklärung verstehen müssen. Insbesondere werden zur Transparenz von Verfahren des maschinellen Lernens oftmals komplexe statistische Darstellungen gewählt, die zwar das Ergebnis interpretierbar machen, aber nicht unbedingt für jeden nachvollziehbar sind. Insbesondere können von dem maschinellen System Zusammenhänge gelernt werden, die von Menschen als unwesentlich charakterisiert werden und dem menschlichen Entscheider einige offene Fragen lassen. 

Die zweite Herausforderung beschreibt, dass Transparenz nicht automatisch zu besseren Entscheidungen führt. Unsere Studien zeigen (Jussupow et al. 2021), dass Menschen oft die KI-Empfehlungen nicht objektiv bewerten, sondern ihre Entscheidungen auf eigenen Überzeugungen basieren, ob die KI richtig oder falsch liegt. In diesem Sinne werden Erklärungen von Entscheidungen oftmals gar nicht oder unzureichend in den Entscheidungsprozess einbezogen. Das bedeutet, dass viele Entscheidungen in der Interaktion mit der KI schnell und ohne eine gründliche Analyse des KI-Vorschlags erfolgen. Besonders wenn derartige Systeme sehr genau werden und Menschen lernen, dass sie KI Systeme nicht überprüfen müssen, stellen sich schnell Unachtsamkeiten ein und Fehler der KI werden nicht rechtzeitig entdeckt (automation bias). 

Um diesen Herausforderungen zu begegnen, ist es wichtig, besser zu verstehen wie Menschen mit KI Systemen interagieren und zu überlegen wie menschliche Fähigkeiten mit den Möglichkeiten der KI am besten zu kombinieren sind. So könnte etwa eine KI bei einer bestimmten Unsicherheit in ihrer Entscheidung den Menschen aktiv hinzuziehen. Auch ist es wichtig zu untersuchen, wie Menschen Erklärungen von KI-Systemen verstehen und welche Art von Erklärungen am besten dazu beitragen, Algorithmen-Transparenz zu erzeugen. Im Zusammenhang mit dem Einsatz von KI führt die Verbesserung der Algorithmen-Transparenz auch zu weitere Fragen zur Verantwortlichkeit für KI-Entscheidungen.

2. Rechtliche Verankerung von algorithmischen Transparenzpflichten am Beispiel der Regelungen für Medienintermediäre

Transparenzpflichten im Recht sind weder für den Gesetzgeber noch für die Rechtsprechung etwas Neues. Beispielhaft können hier die Kennzeichnungspflichten für Lebensmittel und die Offenlegungspflicht der Berechnungsgrundlage des Schufa-Wertes genannt werden.

Jede Transparenzpflicht muss jedoch zwei Probleme sinnvoll lösen:

1. Der Gesetzgeber muss eine Abwägung zwischen den Interessen des Verpflichteten (Unternehmen) und des Konsumenten treffen.
2. Die Kriterien der Transparenz müssen so gewählt werden, dass der Zweck jener Transparenzpflichten erreicht wird.

Bei der Interessenabwägung im Rahmen von algorithmischen Transparenzpflichten kommt jedoch erschwerend hinzu, dass es sich meistens um eine multipolare Beziehung handelt. So kollidieren bei einem einfachen Suchmaschinenalgorithmus die grundrechtlichen Positionen des Internetdienstanbieters, des aktiven Nutzers („Uploader“) und des passiven Nutzers („Konsument“). 

Beispielhaft für die Verankerung von Transparenzregelungen sind jene die Medienintermediäre. Hier stehen die Informationsinteressen der Nutzer, dem geistigen Eigentum der Unternehmen in Form der Algorithmen, gegenüber. Regelungen bzgl. der Transparenzpflichten finden sich in Deutschland u.a. im Medienstaatsvertrag (MStV) und auf Unionsebene im Digital Service Act (DSA).

§ 93 MStV regelt dabei Transparenzpflichten für die Medienintermediäre (= Online-Plattformen). Der § 93 Abs. 1 MStV stellt dabei drei Kriterien der Transparenz auf: leichte Wahrnehmbarkeit, unmittelbare Erreichbarkeit und ständige Verfügbarkeit. Diese drei Kriterien müssen die Medienintermediäre für die Informationen über den Zugang und Verbleib eines Inhalts (§ 93 Abs. 1 Nr. 1 MStV), und die Aggregation, Selektion und Priorisierung von Inhalten (§ 93 Abs. 1 Nr. 2 MStV), auf der Internetseite erfüllen. Als zusätzliches Kriterium der Transparenz müssen letztere Informationen auch in einfach verständlicher Sprache formuliert sein.

Eine ähnliche Herangehensweise wählte die Europäische Kommission bei der Herausarbeitung des Digital Service Act. Dieser sieht ein Stufenkonzept an sich-verschärfenden Transparenzvorschriften, je nach der Größe des Internetdienstanbieters, vor. Die strengsten Transparenzvorschriften treffen dabei sehr große Onlineplattformen. Diese müssen im Falle von Empfehlungssystemen (Suchmaschinen, Nutzeroberflächen, etc.) die wichtigsten Parameter der Entscheidungsfindung offenlegen.

Es ist noch unklar, inwieweit sich der durchschnittliche Internetnutzer einen Überblick über die Parameter der Algorithmen verschaffen wird und ob diese überhaupt einen Einfluss auf dessen Konsumverhalten haben. Hier ist in der Zukunft interdisziplinäre Forschung erforderlich, um die Zweckerreichung zu kontrollieren und ggf. die Transparenzkriterien anzupassen.

3. Fallbeispiel: Wie Transparenz die Nutzung von neuer Technologie erhöhen kann

Als letztes Handlungsfeld im Bereich Algorithmen-Transparenz stellt sich in dem folgenden Fallbeispiel der Interessenkonflikt zwischen Nutzern, Unternehmern und Gesellschaft dar. Hier verweisen wir auf unsere Forschungen zu Eye-Tracking Systemen. Bei der Zusammenarbeit über das Internet kann es vorteilhaft sein anhand der übertragenen Augenpositionen sehen zu können, wohin die anderen Teilnehmer ihre Aufmerksamkeit richten. Dies kann allerdings mit einem Eingriff in die Privatsphäre der Nutzer einhergehen. Daher ist es wichtig, diese Systeme privatsphäreschützend zu gestalten und deren Funktionsweise für die Nutzer transparent zu machen, um die Vorteile dieser neuen Technologie zukünftig nutzen zu können. Um diesem Bedürfnis gerecht zu werden, bieten immer mehr Unternehmen von Eye-Tracking Systemen entsprechende Lösungen, wie etwa moderne Verschlüsselungsalgorithmen, an, um sicherzustellen, dass die Daten der Benutzer nicht von Dritten gelesen werden können. Es ist notwendig, die Augenbewegungsdaten der Nutzer durch solche Algorithmen geschützt zu übertragen, damit Dritte keinen Zugriff auf sie haben. 

Wenn, wie aus wissenschaftlicher Sicht zu hoffen ist, ein allgemein bekannter Algorithmus zum Schutz verwendet wird, können sich die Benutzer darüber informieren. Die Algorithmen-Transparenz erlaubt somit den Benutzern, gegebenenfalls unterstützt durch unabhängige Untersuchungen von Experten, die Sicherheit und Vertrauenswürdigkeit eines Systems zu bewerten.

III. Zusammenfassung

Insgesamt zeigt sich, dass drei verschiedene Handlungsfelder für die Algorithmen-Transparenz adressiert werden sollten: 

1. Algorithmen-Transparenz muss auch hinsichtlich der Mensch-Algorithmus-Interaktion erforscht werden, damit transparentere Algorithmen zu besseren Entscheidungen führen.
2. Die rechtliche Verankerung von Algorithmen-Transparenz erfordert eine interdisziplinäre Zusammenarbeit, um sinnvolle Kriterien zur Zweckerreichung zu finden.
3. Die Transparenz von Algorithmen muss auf die Benutzer und Betreiber innovativer Technologien ausgerichtet sein. So muss bei der Verwendung von Eye-Tracking-Technologie die sichere Übertragung der Daten transparent gemacht werden.

Literatur

Jussupow, E., Spohrer, K., Heinzl, A., & Gawlitza, J. (2021). Augmenting Medical Diagnosis Decisions? An Investigation into Physicians’ Decision-Making Process with Artificial Intelligence. Information Systems Research.

Ralf Müller-Terpitz, Filter als Gefahr für die Meinungspluralität? – Verfassungsrechtliche Erwägungen zum Einsatz von Filtertechnologien, ZUM 2020, 365.

Julia Angwin, Jeff Larson, Surya Mattu und Lauren Kirchner (2016), ProPublica.

Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks.https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing