Das Problem
Künstlich intelligente (KI) Systeme unterstützen Menschen zunehmend; manche Aufgaben werden sogar vollständig von ihnen übernommen. Sie wählen aus, welches Video uns als nächstes gezeigt wird oder entscheiden, welche Suchergebnisse wir in welcher Reihenfolge auf unserer Browserseite sehen. Im medizinischen Bereich unterstützen sie Ärzt*innen, indem sie z.B. auf Röntgenaufnahmen Krebs erkennen oder Empfehlungen dazu geben, welchen Patient*innen eine bestimmte lebensverlängernde Maßnahme gewährt werden soll [1]. In den USA geben sie Prognosen über die Rückfallwahrscheinlichkeit von verurteilten Straftätern ab, auf deren Basis dann Richter über die Haftdauer entscheidet [2]. In nicht allzu ferner Zukunft werden sie selbstfahrende Autos durch den Verkehr navigieren [3]. Das hat viele Vorteile: Intelligente Systeme können viele Dinge besser als Menschen und ihr Einsatz entlastet z.B. Entscheidungsträger*innen.
Dass intelligente Systeme anspruchsvolle Aufgaben unterstützen oder übernehmen können, liegt daran, dass sie immer leistungsfähiger werden. Die Leistungsfähigkeit geht jedoch damit einher, dass die Systeme zunehmend zu „Black Boxes“ werden, ihr Verhalten immer weniger nachvollziehbar ist. Selbstlernende Systeme wie neuronale Netze z.B. werden nicht explizit programmiert, sondern erkennen eigenständig Muster aufgrund von Unmengen von Daten, mit denen sie trainiert werden. Entsprechend wird es selbst für ihre Programmierer*innen schwierig bis unmöglich zu verstehen, wieso sie die Outputs liefern, die sie liefern – von den Nutzer*innen der Systeme oder den Personen, die von ihren Entscheidungen betroffen sind, ganz zu schweigen.
Aus dieser Gemengelage erwachsen technische, moralische und rechtliche Herausforderungen für unsere Gesellschaft. Denn mit zunehmendem Einsatz intelligenter Systeme in sensiblen Bereichen steigt das Risiko, dass Menschen dadurch geschädigt oder in ihren Rechten verletzt werden. Und je weniger verständlich die Systeme, desto schwerer ist es, ihr Verhalten vorherzusagen oder zu steuern, um solche Risiken zu minimieren. Durch ihre Intransparenz wird es zugleich schwieriger, den Systemen angemessen zu vertrauen oder bei Fehlentscheidungen Verantwortung zuzuweisen. Dass niemand durch den Einsatz intelligenter Systeme geschädigt wird und dass die Systeme sich rechtskonform verhalten, dass wir ihnen angemessen vertrauen können und dass die Nutzung solcher Systeme mit der Zuweisung von Verantwortung vereinbar ist, sind dementsprechend gesellschaftliche Desiderata.
Gesellschaftliche Desiderata, Erklärbarkeit und Verständlichkeit
Dass intelligente Systeme diese und andere legitime Desiderata erfüllen müssen, ist weithin akzeptiert [4]. Ebenfalls weiten Anklang findet die Behauptung, dass die Systeme dafür erklärbar sein müssen [5]. Das heißt, dass gerade bei Blackbox-artigen Systemen Erklärungen dafür bereitgestellt werden müssen, wie ihr Output zustande kam oder nach welchen Kriterien ihre Entscheidungsprozesse ablaufen. Die Erklärungen werden gebraucht, damit die Systeme bzw. ihre Outputs eben doch verständlich werden. Und die Verständlichkeit intelligenter Systeme ist – wie oben angedeutet – in vielen Fällen eine Voraussetzung dafür, dass gesellschaftliche Desiderata erfüllt werden können.
Hier ein plakatives Beispiel für das Desideratum, Verantwortung zuschreiben zu können. Ein Personaler in einem Unternehmen, der sich in einem Bewerbungsverfahren auf die Vorauswahl durch ein intelligentes System verlässt, hat keine Ahnung, wieso bestimmte Bewerbungen vom System aussortiert wurden [6]. Nehmen wir an, eine schwarze Bewerberin kommt nicht in die Endrunde des Auswahlverfahrens. Stellen wir uns weiter vor, in der Vorauswahl des Systems spiegelt sich dessen Bias (oder Voreingenommenheit) gegen Schwarze und Frauen wider [7]. Hier lässt sich die Verantwortung für das ungerechte Auswahlverfahren doch wohl nicht auf den Personaler abwälzen, da er ja gar nicht wissen konnte, auf welchen Annahmen und Abläufen im System dessen Vorauswahl beruhte.
Stellen wir uns dagegen vor, das Auswahlsystem enthält einen Button, mittels dessen der Personaler die Gründe des Systems für seine Auswahl abrufen kann. D.h. das System wurde von seinen Entwicklern durch Anwendung technischer Hilfsmittel – durch Erklärbarkeitsmethoden – erklärbar gemacht [8]. Wenn der Personaler den Button anklickt, erscheint die Angabe, „die Bewerbung wurde aussortiert, weil die Bewerberin schwarz und eine Frau ist“. Auf Basis dieser Erklärung kann der Personaler verstehen, was zur Empfehlung des Systems führte. Gleichzeitig kann er für die diskriminierende Personalentscheidung verantwortlich gemacht werden, wenn er der Empfehlung des Systems folgt und die Bewerbung aussortiert. Das entsprechende gesellschaftliche Desideratum ist erfüllt.
Offene Fragen
Der skizzierte Zusammenhang zwischen Erklärbarkeit, Verständlichkeit und der Erfüllung bestimmter gesellschaftlicher Desiderata ist meines Erachtens sehr plausibel. Im Detail ist aber noch vieles unklar. Ist es wirklich immer nötig, dass ein System den relevanten Akteuren verständlich ist, damit ein gesellschaftliches Desideratum erfüllt werden kann? In manchen Zusammenhängen gibt es vielleicht andere, einfachere Mittel, um dieses Ziel zu erreichen.
Weiter kennen wir aus der Wissenschafts- und Handlungstheorie viele Arten von Erklärungen, z.B. kausale, mechanistische, statistische oder solche, die sich auf Naturgesetze oder auf (Handlungs-)Gründe berufen [9]. Da verschiedene relevante Akteure unterschiedliche Interessen und unterschiedliches Vorwissen haben, liegt es nahe, dass sie unterschiedliche Arten von Erklärungen brauchen, damit ein System oder sein Verhalten für sie verständlich wird.
Außerdem werden intelligente Systeme in den verschiedensten Kontexten eingesetzt: mal unter hohem, mal unter geringem Zeitdruck; dort wo viel und dort wo wenig auf dem Spiel steht; mal für vollautomatisierte Aufgaben und mal mit einem „human in the loop“. All dies läuft darauf hinaus, dass es kontextabhängig ist, auf welche Weise ein intelligentes System zur Erfüllung gesellschaftlicher Desiderata zu erklären ist. Folglich ist es eine sehr komplexe Aufgabe, intelligente Systeme erklärbar zu machen. Wir müssen nicht die eine Erklärung für das Verhalten intelligenter Systeme ausfindig machen, sondern herausfinden, in welchen Kontexten welche Erklärungen angemessen und hilfreich sind.
Ein Lösungsansatz
Als Teil eines Teams von Wissenschaftler*innen aus Informatik, Philosophie, Psychologie und Recht entwickle ich einen neuen Ansatz zur erklärbaren KI. Unser in Saarbrücken und Dortmund verortetes Projekt Explainable Intelligent Systems (EIS) hat das Ziel, die vielfach angenommene Verbindung zwischen Erklärbarkeit, Verständlichkeit und der Erfüllung verschiedener gesellschaftlicher Desiderata zu untermauern. Unser angestrebter „explainability-in-context“ (XiC) Ansatz kann als eine Art Rezept verstanden werden, das – gegeben ein bestimmtes Desideratum, einen bestimmten Kontext und bestimmte Akteure – Vorschläge generiert, welche Art von Erklärbarkeit ein bestimmtes intelligentes System verständlich machen kann, sodass das angegebene Desideratum erfüllt wird. Das Ziel sind also ganz konkrete Vorschläge zu den erforderlichen Erklärungen, aber auch zu den dafür benötigten informatischen Erklärbarkeitsmethoden und schließlich zu verschiedenen Möglichkeiten, erklärbare intelligente Systeme gesellschaftlich so einzubetten, dass die Erfüllung gesellschaftlichen Desiderata sichergestellt werden kann.