Ethische Probleme tödlicher autonomer Waffensysteme

    Tödliche Autonome Waffensysteme (LAWS, aus dem Englischen ‘Lethal Autonomous Weapons Systems’) sind eine neuartige Kategorie von Waffen, die, einmal aktiviert, ohne menschliche Mitwirkung ein Ziel identifizieren, suchen, auswählen und angreifen können.1 Der Begriff ‘ System ’ bezieht sich auf das Zusammenspiel der Waffe mit einer integrierten Software, welche es der Waffe ermöglicht, all diese Funktionen ohne den Menschen – das bedeutet, technologisch eben hochgradig ‘ autonom ’ – auszuführen.2 Autonome Software ist das Resultat jüngster Forschung vor allem in den Disziplinen KI und Robotik.3 Weil diese Forschungsfelder rasant wachsen, werden wohl auch die Fähigkeiten eines Waffensystems in Zukunft immer raffinierter werden.

    Ob ein Waffensystem nur dann ‘autonom’ genannt werden kann, wenn der Mensch gar keine Mitwirkungsmöglichkeit mehr hat – z.B. auch keinen Stopp-Knopf mehr drücken kann – wird noch diskutiert.4 Deshalb teilen sich die Meinungen, ob heute existierende Waffensysteme schon als LAWS gelten können. Selbstfliegende Flugzeuge mit hoch automatisierter Kampfsteuerung,5 stationäre Kampfroboter als Grenzschutz,6 Schwarmdrohnen7 und hoch automatisierte Software zur Abwehr von Cyberangriffen8 sind allerdings schon heute in Gebrauch.

    Verglichen zu Waffensystemen, die von Menschen gesteuert werden, haben LAWS einen entscheidenden militär-ökonomischen Vorteil: Da, z.B., ein autonomes Kampfflugzeug nicht mehr von einem Piloten bedient werden muss, fallen jegliche Schutzmechanismen für den Menschen weg. Deshalb kann ein LAWS viel kleiner sein als von Menschen bediente Systeme – und deshalb enorm viel günstiger.9

    Seit 2014 diskutiert ein spezielles UNO-Gremium sicherheitspolitische, operative, und vor allem international-rechtliche Probleme des Gebrauchs von LAWS im Krieg.10 Der gemeinsame Grundpfeiler dieser Debatten ist allerdings ein zutiefst ethisches Problem: LAWS werfen die Frage auf, ob die Entscheidung über Leben und Tod eines Menschen auf Maschinen oder Software ausgelagert werden darf. Darf der Mensch die Kontrolle über diese Entscheidung bewusst abgeben? Wie kann man über diese Frage nachdenken?

    Zuerst gilt es zu erörtern, ob LAWS aus ethischer Perspektive gar vorteilhaft sind. In diesem Zusammenhang wird einerseits angeführt, dass LAWS moralische und rechtliche Prinzipien besser respektieren könnten, da die Algorithmen,11 welche der autonomen Software zugrunde liegen, enorm genau rechnen können und es deshalb dem LAWS erlauben könnten, einen Angriff sehr präzise auf militärische Objekte und Personen zu richten. Dies würde Risiken für Zivilisten minimieren.12 Dieses Argument hängt allerdings vom Design und von der Kapazität der Software ab. Ob heutige Systeme tatsächlich zwischen einem Soldaten und einem Zivilisten unterscheiden können, ist höchst umstritten.13 Andererseits könnte man anführen, dass durch LAWS weniger Soldaten sterben, da sie durch Maschinen und Software ersetzt würden. Dieses Argument gilt aber gleichermassen für ferngesteuerte Waffen, da auch diese den Soldaten vom Schlachtfeld entfernen und sein Leben dadurch besser schützen. Ethische Argumente für LAWS scheinen also eher schwach, und können deshalb den jetzt zu diskutierenden ethischen Problemen kaum die Schwere nehmen.

    Wie oben angeführt, stellen LAWS die ethische Herausforderung, dass Entscheidungen über Leben und Tod eines Menschen von einer Software getroffen würden. Grob gibt es zweierlei Arten, wie man über dieses Problem nachdenken kann. Beide Gedankengänge führen zu ethischen Argumenten gegen LAWS.

    Das erste Argument beruft sich auf die Menschenwürde. Der Kerngedanke ist, dass nicht nur zählt, ob ein Mensch getötet wird, sondern auch wie . Zwei sich feindlich gegenüberstehende Soldaten teilen, weil sie beide Menschen sind, dieselbe Erfahrung des eigenen Lebens und seines Wertes. Sie besitzen also, weil sie Menschen sind, das mögliche Bewusstsein für die Tragweite ihres Tötens. Für ein LAWS ist ein menschliches Zielobjekt aber gerade eben nur das: ein Objekt – ein Datenpunkt. Man kann deshalb sagen, dass das Töten durch ein LAWS für den Getöteten entwürdigend ist,14 weil die Art dieses Tötens den Wert seines menschlichen Lebens minimiert.15

    Das zweite Argument bezieht sich auf die moralische Verantwortung für das Töten durch ein LAWS. Wenn jemandem Gewalt angetan wird, muss bei irgendeinem Menschen die moralische Verantwortung liegen können . Wenn ein LAWS einen Angriff berechnet und ausführt, dann müssen zwei Dinge diskutiert werden, die für moralische Verantwortung wichtig sind: Absicht und Handlungsfähigkeit.16 Da generell angenommen wird, dass eine Software kein Träger von moralischer Verantwortung sein kann, muss es sich also um menschliche Absicht und menschliche Handlungsfähigkeit handeln.17 Vor allem die menschliche Absicht scheint bei LAWS aber schwierig zu garantieren: Einige Experten argumentieren, dass die menschliche Absicht direkt mit dem durch das LAWS resultierenden Angriff verbunden sein muss, damit menschliche moralische Verantwortung überhaupt vorhanden sein könnte. Der einzige Ort, an dem menschliche Absicht für einen LAWS-Angriff gesucht werden kann, wäre beim militärischen Befehlshaber.18 Damit diese direkte Verbindung zwischen Absicht und Resultat aber gewährleistet sein könnte, müsste der Befehlshaber genau wissen, wie das LAWS funktioniert, und die Konsequenzen des von der Software ausgelösten Angriffs genau verstehen. Hier allerdings liegt der Hund begraben: Der ‘Output’ eines LAWS ist nicht vorhersehbar . Ein Mensch kann per Definition nicht wissen, wie sich ein LAWS genau verhält, da es den Angriff selbst initiiert. Es können zwar gewisse Zielgruppen und Zeiträume für einen Angriff vorprogrammiert werden. Innerhalb dieser Kategorien allerdings hat der Mensch keine ‘Wahl’ mehr – das LAWS berechnet, zielt und ‘schiesst’ von selbst. Ausserdem ist es bei technologisch sehr hochstehenden LAWS nicht einmal mehr möglich, rückwirkend den Rechenprozess zu verstehen, der zu einem bestimmten Angriff geführt hat. Denn LAWS Software integriert oft neueste KI Algorithmen, die auf ‘Machine Learning’ (ML)19 basieren. Diese Algorithmen sind aber derart komplex, dass der Mensch den von ihnen berechneten Prozess gar nicht verstehen kann .20 LAWS sind also aus zweierlei Gründen unvorhersehbar: aufgrund ihres Wesens, selber Handlungsmöglichkeiten zu sehen und zu wählen, und weil ihre Komplexität es dem Menschen verbietet, ihre Entscheidungsprozesse rückwirkend überhaupt zu verstehen. Folglich ist es kaum möglich zu sagen, wessen Absicht ein LAWS widerspiegelt. Die Grundidee der ‘Autonomie’ sowie die Komplexität von LAWS geben also folgende Antwort auf die Frage Wer ist verantwortlich? : Niemand .

    In Bezug auf die Frage moralischer Verantwortung stellt sich ein weiteres, sowohl ethisches als auch psychologisches Problem: Die obigen Ausführungen zeigen, dass das Töten mit Hilfe eines LAWS keine menschliche Entscheidung, sondern eine technologische Berechnung ist. Deswegen kann für dieses Töten niemand mehr wirklich verantwortlich sein. Nun ist es aber eine menschliche Entscheidung, LAWS zu entwickeln und zu verwenden . Der Mensch trägt deshalb die moralische Verantwortung dafür, dass er durch LAWS moralische Verantwortung für Gewaltanwendung abtritt .

    Das Kernproblem ist deshalb Folgendes: Mit der Entwicklung von LAWS verkleinert der Mensch den Raum für mögliche menschliche Verantwortung auf der Welt. Darf er das? Diese Frage differenziert zu betrachten, würde das Ziel des vorliegenden Texts übersteigen. Vorläufig scheint aber folgende Behauptung plausibel: Damit sich die Welt ihren aktuellen Herausforderungen (Klima, Viren, etc.) stellen kann, sollten die Menschen ihre Verantwortung für Gewaltanwendung sowie für andere ihrer weitreichenden Entscheidungen wohl nicht in die unsichtbare Komplexität von Softwareprozessen abtreten, sondern diese Verantwortung bewusst ergreifen.

     


    1 Diese sind die vier sogenannten ‘kritischen Funktionen’ eines Waffensystems, oder der ‘Angriffszyklus’. Siehe ICRC, 2016, Convention on Certain Conventional Weapons, Meetings of Experts on Lethal Autonomous Weapons Systems (LAWS), April 11 – 15, 2016, Geneva, Switzerland, 1.

    2 Für eine gute Diskussion technologischer Autonomie, siehe z.B. Watson, David P., und Scheidt, David H., 2005, Autonomous Systems, Johns Hopkins APL Technical Digest 26(44), 368-376.

    3 Sie basieren aber auch auf anderen Disziplinen, z.B. der Mathematik, Psychologie und Biologie. Siehe z.B. Atkinson, David J., 2015, Emerging Cyber-Security Issues of Autonomy and the Psychopathology of Intelligent Machines, Foundation of Autonomy and Its (Cyber) Threats: From Individuals to Interdependence: Papers from the 2015 Spring Symposium, 6-17, 7.

    4 GGE.

    5 Siehe z.B. Dassault nEUROn, Dassault Aviation, https://www.dassault-aviation.com/en/defense/neuron/introduction/ (Zugriff 10. Oktober).

    6 Siehe z.B. Samsung SGR-A1, J. Kumagai, A Robotic Sentry For Korea's Demilitarized Zone, in IEEE Spectrum, vol. 44(3), 16-17, March 2007, doi: 10.1109/MSPEC.2007.323429.

    7 Siehe z.B. STMs Kargu-Drohnen, https://www.stm.com.tr/en/kargu-autonomous-tactical-multi-rotor-attack-uav (Zugriff 10. Oktober 2020).

    8 Siehe z.B. Monstermind, Zetter, Kim, 2014, Meet MonsterMind, the NSA Bot That Could Wage Cyberwar Autonomously, Wired.com, https://www.wired.com/2014/08/nsa-monstermind-cyberwarfare/ (Zugriff 10. Oktober 2020).

    9 Dies birgt ein grosses sicherheitspolitisches Problem: Künftig könnten LAWS auf Kartoffelgrösse schrumpfen und als sich-selbst-koordinierende Kampfschwärme verwendet werden. Siehe z.B. Russel, Stuart, 2018, The new weapons of mass destruction?, The Security Times, February 2018, https://www.the-security-times.com/wp-content/uploads/2018/02/ST_Feb2018_Doppel-2.pdf (Zugriff 10. Oktober). Weitere Sicherheitspolitische Probleme sind das Risiko eines Rüstungswettlaufs sowie dasjenige der Proliferation, siehe z.B. Surber, Regina, 2018, AI: Autonomy, Lethal Autonomous Weapons, and Peace-Time Threats, Geneva: ICT4Peace Foundation.

    10 Group of Governmental Experts on Lethal Autonomous Weapons Systems, https://www.unog.ch/80256EE600585943/(httpPages)/5535B644C2AE8F28C1258433002BBF14?OpenDocument (Zugriff 10. Oktober). LAWS werden auch zu Friedenszeiten verwendet, siehe z.B. Heyns, Christof, 2016, Human Rights and the use of Autonomous Weapons Systems (AWS) During Domestic Law Enforcement, Human Rights Quarterly 38, 350-378.

    11 Ein Algorithmus ist eine mathematische Spezifikation dafür, wie man eine eine Klasse von mathematischen oder computerwissenschaftlichen Problemen lösen kann.

    12 Siehe z.B. Arkin, Ronald, 2013, Lethal Autonomous Systems and the Plight of the Non-Combatant, AISIB Quarterly, July 2013, https://www.unog.ch/80256EDD006B8954/%28httpAssets%29/54B1B7A616EA1D10C1257CCC00478A59/$file/Article_Arkin_LAWS.pdf (Zugriff 10. Oktober 2020).

    13 Siehe z.B. ICRC, 2018, Ethics and autonomous weapons systems: An ethical basis for human control? Geneva, 3 April 2018, file:///Users/reginasurber/Downloads/icrc_ethics_and_autonomous_weapon_systems_report_3_april_2018.pdf (Zugriff 10. Oktober 2020).

    14 Heyns, Christof, 2017, Autonomous weapons in armed conflict and the right to a dignified life: An African perspective, South African Journal on Human Rights 33(1), 46-71.

    15 UN Doc. A/HCR/34/47, § 109.

    16 Leveringhaus, Alex, 2016, Ethics and Autonomous Weapons Systems, London: Palgrave Pivot.

    17 Sparrow, Robert, 2007, Killer robots, Journal of Applied Philosophy 24(1), 62-77; Roff, Heather, Killing in War: Responsibility, Liability and Lethal Autonomous Robots, in Allhoff, Fritz, Evans, Nicholas, and Henschke, Adam (eds.) Routledge Handbook of Ethics and War: Just War Theory in the 21st Century, 2014, New York: Routledge.

    18 Siehe z.B. ICRC, 2018.

    19 Machine Learning (ML) ist ein moderner probabilistischer Ansatz für Künstliche Intelligenz. ML befasst sich mit Algorithmen, die ‘lernen’ können, auf Basis gewisser Datenmengen eigene Voraussagen zu berechnen. Dies erlaubt es den Algorithmen, sich selbst durch ‘Erfahrung’ (d.h. neue Dateninputs) stetig zu verbessern.

    20 Dies wird oft als das sogenannte ‘Black Box Problem’ bezeichnet. Für genauere Ausführungen, siehe z.B. Surber, 2018.