1 Einleitung

„Kriegsroboter“ steht in der Umgangssprache für autonome Waffensysteme, die in der Lage sind, militärische Ziele (Personen oder Einrichtungen) ohne menschliches Zutun auszuwählen und anzugreifen. Dieser Anwendungsbereich der Maschinenethik wird besonders kontrovers diskutiert. Bereits mehrfach sind offene Briefe erschienen, die zum Verbot von autonomen Waffensystemen auffordern (Future of Life Institute 2015, 2017). Diese Aufrufe wurden von einer Vielzahl von Experten und renommierten Forschern aus der Künstlichen Intelligenz (KI) und Robotik unterzeichnet. Sie betrachten tödliche autonome Waffensysteme (lethal autonomous weapon systems) als dritte Revolution nach der Einführung der Feuer- und Atomwaffen, die eine neue Qualität der Kriegsführung mit sich bringt. Es droht eine enorme Ausweitung bewaffneter Konflikte und eine extreme Dynamisierung der Kriegsführung, die das menschliche Reaktionsvermögen übersteigt. Gelangen autonome Waffensysteme in die falschen Hände, können sie besonders viel Leid anrichten. Sie eröffnen Despoten und Terroristen bislang ungeahnte Möglichkeiten, unschuldige Menschen zu terrorisieren. Grundsätzlich lässt sich nie ausschließen, dass die Waffen gehackt werden. Dadurch kommt es zu nicht vorhersehbaren und unkontrollierbaren Risiken.

In drastischen Farben wird ein solches Szenarium in dem Kurzfilm Slaughterbots (2017) ausgemalt. Dieser wirkt im ersten Moment wie ein Dokumentarfilm, es handelt sich jedoch um eine Fiktion. Im Mittelpunkt stehen kleine fliegende Roboter, ausgestattet mit KI, die ursprünglich mit dem Ziel entwickelt wurden, eine chirurgisch präzise Form der Kriegsführung zu ermöglichen. Diese metaphorische Verbindung von Krieg mit dem medizinischen Gebiet der Chirurgie wurde insbesondere im zweiten Golfkrieg im Zusammenhang mit der Offensive „Desert Storm“ im Irak eingesetzt, um die Unterstützung der Bevölkerung für dieses Unternehmen zu erhalten. Denn eine Operation ist zwar zunächst schmerzhaft, hat aber letztlich ein gutes Ziel. Durch chirurgische Präzision lässt sich sicherstellen, dass der dabei entstehende Schaden auf ein Minimum beschränkt ist. Diese Gedankenfigur wird nun auf Kriegsroboter übertragen.

Doch im Verlauf des Films werden die Roboter durch Unbekannte gekapert und schwärmen plötzlich in Horden aus. Sie verfolgen in atemberaubender Geschwindigkeit unschuldige Zivilisten und töten sie erbarmungslos. Am Ende des Films wird deutlich, dass es sich um das Werk der Initiative „Ban Lethal Autonomous Weapons“ handelt, die sich für ein Verbot von Kriegsrobotern ausspricht. Der Film erschien anlässlich eines Treffens der United Nations Group of Governmental Experts (GGE) über letale autonome Waffensysteme vom 13. bis 17. November 2017. Doch auch bei diesem Treffen wurden keine konkreten Schritte in Richtung eines Verbots autonomer Waffensysteme unternommen, sondern nur die Notwendigkeit weiterer Gespräche festgestellt.

Zum mangelnden politischen Willen insbesondere derjenigen Akteure, die in der Lage sind, autonome Waffensysteme zu entwickeln, kommen definitorische Schwierigkeiten. Denn es ist nicht einfach, autonome Waffensysteme hinreichend präzise von anderen Waffengattungen abzugrenzen. Schließlich geht es nicht nur um den aktuellen Stand der Technik, sondern es müssen auch zukünftige Entwicklungen antizipiert werden, um ein wirksames Verbot zu formulieren.

2 Definition autonomer Waffensysteme

Zur Definition autonomer Waffensysteme muss geklärt werden, was eine Waffe ist und wann eine Waffe als autonom gelten kann. Eine Waffe lässt sich nicht unbedingt an ihrer äußeren Gestalt erkennen. Grundsätzlich kann fast jeder Gegenstand zur Waffe werden, von der Bierflasche bis zum Kugelschreiber. Dennoch sind weder Bierflasche noch Kugelschreiber von Haus aus Waffen, weil sie nicht dazu entworfen und hergestellt wurden, jemandem Schaden zuzufügen. Ein letales Waffensystem ist ein System, das zu dem Zweck entworfen und hergestellt wurde, jemanden zu töten (Leveringhaus 2016, S. 35). Doch ist das Töten von Menschen wirklich der eigentliche Zweck, den Waffen haben? Dienen sie nicht vielmehr der Selbst- oder Landesverteidigung? Im Unterschied zu anderen Mitteln der Selbst- oder Landesverteidigung (beispielsweise Alarmanlagen oder diplomatischen Verhandlungen), erreichen Waffen diese Ziele jedoch gerade dadurch, dass sie jemanden verletzen oder töten können.

Nachdem wir den Begriff der Waffe geklärt haben, gilt es zu definieren, wann eine Waffe autonom ist. Man unterscheidet in militärischen Kontexten zwischen In-the-Loop -Systemen, On-the-Loop -Systemen und Out-of-the-Loop-Systemen, in Abhängigkeit davon, welche Rolle der Mensch in der Kontrollschleife spielt (United States Department of Defense 2011). Das Kriterium ist die Art und Weise, wie das Zielobjekt identifiziert wird und wer den Angriff auslöst: In-the-Loop -Systeme zeichnen sich dadurch aus, dass ein Mensch das System bedient und sämtliche Entscheidungen fällt. Das kann auch per Fernbedienung geschehen. On-the-Loop -Systeme hingegen folgen einem Programm. Sie sind in der Lage, in Echtzeit unabhängig von menschlichem Eingreifen zu operieren.Footnote 1 Der Mensch bleibt jedoch in der Kontrollschleife, weil er das System weiterhin überwacht und jederzeit die Möglichkeit zum Eingreifen haben soll. Out-of-the-Loop -Systeme gehen über On-the-Loop -Systeme hinaus, weil keine menschliche Kontroll- und Eingriffsmöglichkeit mehr vorgesehen ist.

Vom militärischen Standpunkt aus versprechen Out-of-the-Loop -Systeme die größten Vorteile im praktischen Einsatz. Das liegt unter anderem daran, dass sie in einer Geschwindigkeit agieren können, die das menschliche Reaktionsvermögen weit übertrifft, worin ein entscheidender strategischer Gewinn liegen kann. Anders als On-the-Loop- und In-the-Loop -Systeme erfordern sie auch keine permanente Kommunikation zwischen dem System und dem Menschen. Deshalb können sie weniger leicht vom Feind entdeckt, gestört oder außer Gefecht gesetzt werden. Je autonomer Kriegsroboter werden, desto wichtiger erscheint es, sicherzustellen, dass sie sich auch moralisch und rechtlich einwandfrei verhalten. An dieser Stelle kommt die Maschinenethik ins Spiel.

3 Moralische Grundsätze für Kriegsroboter

Der Grundgedanke im Kontext der Maschinenethik ist, autonome Waffensysteme mit einem Ethikmodul auszustatten. Als Richtschnur dient in erster Linie das humanitäre Völkerrecht, das in der Tradition der Theorie des gerechten Kriegs steht. Hinzukommen „rules of engagement“, die genauer festlegen, welche Regeln im Rahmen einer bestimmten Operation für den Einsatz von Gewalt und Zwangsmaßnahmen gelten. Sie werden etwa in Form von Handbüchern oder Taschenkarten bereitgestellt (Wissenschaftlicher Dienst des Bundestages 2009).

Im Unterschied zum Pazifismus, der die Anwendung von Gewalt und das Töten von Menschen moralisch strikt ablehnt, ist die Theorie des gerechten Kriegs eine bereichsspezifische normative Ethik, die die Anwendung von Gewalt und das Töten von Menschen unter bestimmten Umständen für moralisch zulässig erachtet.Footnote 2 Dafür gelten allerdings genau festgelegte Rahmenbedingungen.

Man unterscheidet drei Anwendungsbereiche: (1) das ius ad bellum , (2) das ius in bello und (3) das ius post bellum .Footnote 3 Das ius ad bellum bezieht sich auf das Anfangen einer Kriegshandlung und bestimmt, wann ein Krieg geführt werden darf. So muss es sich um eine gerechte Sache handeln. Außerdem muss der Krieg verhältnismäßig und notwendig sein, d. h. alle anderen Mittel müssen ausgeschöpft sein. Erforderlich ist weiterhin, dass der Krieg rechtmäßig erklärt wird und eine realistische Aussicht auf Erfolg besteht.

Das ius in bello betrifft die Art und Weise der Kriegsführung, wenn es einmal zum Krieg gekommen ist. Besonders wichtig ist, dass nur legitime Ziele angegriffen werden dürfen, also militärische Einrichtungen und Kombattanten. Dabei sollte nach Möglichkeit vermieden werden, nicht-militärische Ziele und Zivilisten zu schädigen oder zu töten. Darüber hinaus muss die eingesetzte Gewalt verhältnismäßig und militärisch notwendig sein.

Der Gegenstand des ius post bellum ist die Beendigung des Kriegs und die Zeit im Anschluss. Dieser Bereich ist bisher noch relativ wenig entwickelt. Eine Forderung ist beispielsweise, dass der Frieden öffentlich erklärt und aktiv vorangetrieben wird. Außerdem sollen die grundlegenden Menschenrechte respektiert und keine Rache genommen werden.

Entscheidend für die Ethik autonomer Waffensysteme ist in erster Linie das ius in bello . Das bislang am weitesten durchdachte Ethikmodul für letale autonome Waffensysteme wurde von Ronald Arkin entwickelt (Arkin 2009). Er hat eine Robotikprofessur am Georgia Institute of Technology inne. Besonders in den USA wird die Forschung im Bereich der Maschinenethik stark durch das Verteidigungsministerium gefördert, das gilt auch in diesem Fall.

Arkins System richtet sich nach vier ethischen Prinzipien (Arkin 2009, S. 72): (1) Diskrimination: Legitime und nicht-legitime Ziele müssen unterschieden werden. Legitime Ziele sind Kombattanten und militärische Ziele. Nicht-legitim sind Non-Kombattanten und nicht-militärische bzw. geschützte Ziele (z. B. Schulen oder Krankenhäuser). (2) Militärische Notwendigkeit: Auch der Angriff auf legitime Ziele ist nur dann erlaubt, wenn dadurch ein militärischer Vorteil zu erwarten ist. (3) Kein unnötiges Leid und keine unnötigen Kollateralschäden: Es ist zu gewährleisten, dass es nicht zu unnötigem Leid von Personen und Kollateralschäden kommt.Footnote 4 (4) Proportionalität: Außerdem muss die eingesetzte Gewalt verhältnismäßig sein.Footnote 5

Insbesondere die Prinzipien (3) und (4) erfordern die Unterscheidung zwischen beabsichtigten und bloß in Kauf genommenen Konsequenzen. Das klassische ethische Prinzip der Doppelwirkung schreibt vor, dass eine Schädigung von Non-Kombattanten (bzw. geschützten Zielen) nicht als solche beabsichtigt werden darf. Sie ist höchstens als eine Nebenfolge des eigentlich beabsichtigten Handlungszwecks zulässig. Das Kriterium dafür besteht in der Antwort auf die Frage, ob man die Handlung auch dann durchführen würde, wenn keine Non-Kombattanten (bzw. geschützten Ziele) dabei zu Schaden kämen. Lautet die Antwort ja, dann liegt eine Nebenfolge vor.

Dieses Prinzip ist jedoch als zu schwach kritisiert worden.Footnote 6 Die Schädigung von Non-Kombattanten (bzw. geschützten Zielen) darf zwar nicht der eigentliche Zweck oder ein Mittel zum Erreichen des Zwecks einer Handlung sein. Das Prinzip duldet sie aber, sofern sie nicht beabsichtigt ist. Aus moralischer Sicht erscheint es deshalb als zu schwach. Die Schädigung von Non-Kombattanten (bzw. geschützten Zielen) darf nicht nur nicht beabsichtigt sein. Es muss darüber hinaus die positive Absicht vorliegen, eine solche soweit wie möglich zu vermeiden, und zwar auch dann, wenn dies mit gewissen Nachteilen einhergeht, beispielsweise mit dem Risiko, selbst Soldaten zu verlieren. Walzer schlägt deshalb vor, das Prinzip der Doppelwirkung durch das Prinzip der doppelten Intention zu ersetzen, das in diesem Punkt strengeren moralischen Anforderungen entspricht als das humanitäre Völkerrecht (Walzer 1977, S. 155) . Dieser Sichtweise schließt sich auch Arkin an (Arkin 2009, S. 46 f.).

Er ist überzeugt davon, dass ein System, welches seinen vier Grundsätzen folgt, sich in moralischer Hinsicht positiv auf die Kriegsführung auswirkt. Seine Argumentation lässt sich in dem Slogan zusammenfassen, dass ein Krieg ohne Menschen menschlicher sei (Leveringhaus 2016, S. 62). Es ist zu erwarten, dass das Risiko des militärischen Personals, traumatisiert zu werden, sinkt. Das betrifft insbesondere Personen, die in Tötungshandlungen involviert sind. Doch ein Kriegsroboter mit Ethikmodul ist für Arkin einem Menschen auch vom moralischen Standpunkt betrachtet in vielen Hinsichten überlegen. Er muss nicht auf sein eigenes Überleben achten wie ein Mensch. Außerdem werden seine Reaktionen nicht durch emotionalen Stress beeinträchtigt. Eine Maschine unterliegt auch keinen psychischen Pathologien, die bei Menschen ebenfalls zu Kriegsverbrechen führen können. Insgesamt könnte der Einsatz von Kriegsrobotern deshalb zur Folge haben, dass die Ius-in-bello -Kriterien strenger ausgelegt werden. Auch das würde eine Humanisierung des Kriegs bedeuten. Es gibt bereits Beispiele für technische Entwicklungen, die eine solche Tendenz nach sich gezogen haben. So hat die Erhöhung der Zielgenauigkeit bei Angriffen gegenüber der Zeit des Vietnamkriegs dazu geführt, dass die Höhe der akzeptablen Verluste an Non-Kombattanten und zivilem Eigentum sich deutlich verringert hat. Dem Optimismus derer, die Kriegsroboter als einen Beitrag zur Humanisierung des Kriegs sehen, stehen jedoch die Einwände der Gegner autonomer Waffensysteme gegenüber, die zumeist sehr grundsätzlich sind.

4 Das Argument von der Verantwortungslücke

Ein wichtiges Argument gegen autonome Waffensysteme soll zeigen, dass sie die Zuschreibung von Verantwortung für Tötungshandlungen unmöglich machen. Robert Sparrow, auf den dieses Argument zurückgeht, spricht vom Entstehen einer Verantwortungslücke (responsibility gap). Für ihn ist eine Tötungshandlung im Krieg nur dann moralisch erlaubt, wenn sie die Kriterien des ius in bello erfüllt und es jemanden gibt, der die Verantwortung für die Handlung trägt (Sparrow 2007, S. 67). Autonome Waffensysteme mögen nun vielleicht die Ius-in-Bello -Kriterien besser einhalten als Menschen. Dennoch sind sie moralisch verboten, wenn niemand für ihr Handeln verantwortlich gemacht werden kann. Doch genau das ist nach Sparrow der Fall. Für die Handlungen eines solchen Systems kann aus seiner Sicht letztlich niemand moralisch zur Verantwortung gezogen werden, weder die Programmierer noch die Befehlshaber, das Bedienpersonal oder gar die Maschine selbst.

Zu den Kriterien für die Zuschreibung moralischer Verantwortung zählen Willensfreiheit, Kausalität, Absichtlichkeit und Wissen. Ein Handelnder ist demnach nur dann für eine Handlung verantwortlich, wenn sie auf seinem freien Willen beruht, wenn sie ohne seine Beteiligung nicht zustande gekommen wäre, er sie absichtlich durchgeführt hat (oder ihre Folgen zumindest in Kauf genommen hat) und ihm die Konsequenzen bekannt waren (er diese hätte vorhersehen können oder sich die entsprechenden Kenntnisse mit vertretbarem Aufwand hätte beschaffen können).

Es ist unumstritten, dass Maschinen diese Bedingungen nicht alle erfüllen. So besitzen sie keinen freien Willen; aber auch die Bedingungen der Absichtlichkeit und des Wissens werfen Probleme bei der Zuschreibung an Maschinen auf.Footnote 7 Deshalb können sie zwar keine moralische Verantwortung tragen, aber Verantwortungslücken erzeugen. Eine Verantwortungslücke entsteht, wenn ein Kriegsroboter das ius in bello verletzt, obwohl er (1) nicht absichtlich so programmiert (oder manipuliert) wurde, dass er die ethischen bzw. rechtlichen Normen der Kriegsführung missachtet; (2) es nicht vorhersehbar war, dass der Einsatz des Kriegsroboters dazu führen würde; und (3) ab dem Start der Operation keine menschliche Kontrolle mehr über die Maschine bestand.

Die Pointe des Arguments von der Verantwortungslücke besteht darin, dass es unfair wäre, jemandem unter diesen Bedingungen die Verantwortung für ein autonomes Waffensystem zuzuschreiben. Das liegt letztlich daran, dass die Kriterien der Verantwortungszuschreibung gar nicht erfüllt sind: Es liegt keine Absicht, keine Einsicht in die Folgen und keine kausale Kontrolle vor. Doch wenn niemand die Verantwortung für die Tötungshandlung eines solchen Systems trägt, dann ist diese moralisch nicht zulässig.

Es ist allerdings argumentiert worden, dass speziell im Krieg bereits die Inkaufnahme eines übermäßigen Risikos hinreichend ist, um verantwortlich für das Handeln eines Kriegsroboters zu sein. Damit eine Verantwortungslücke entsteht, müsste demnach noch eine weitere Bedingung erfüllt sein, nämlich (4): Es darf kein übermäßiges Risiko eingegangen werden (Leveringhaus 2016, S. 84). Die Zuschreibung von Verantwortung wäre demnach auch dann möglich, wenn zwar die Bedingungen (1) bis (3) erfüllt sind, aber gegen die Bedingung (4) verstoßen wird. Die Verantwortungslücke lässt sich dann grundsätzlich durch die Annahme schließen, dass im Krieg jedes Risiko übermäßig wäre. Wenn das richtig ist, mag es in anderen Bereichen Verantwortungslücken geben, nicht jedoch im Krieg. Denn zumindest die vierte Bedingung ist grundsätzlich niemals erfüllt, und es gibt somit immer einen Verantwortlichen.

Die Last der Verantwortung wird dann allerdings schier erdrückend. Denn ein autonomes Waffensystem erfordert zwangsläufig die Gewichtung von Kosten und Leben. So setzt Arkins Prototyp militärische Notwendigkeit ins Verhältnis zu Schäden an Nicht-Kombattanten (zu denen auch Verwundete oder Kriegsgefangene zählen). Doch sobald eine solche Abwägung möglich ist, kann es auch zu dem beschriebenen Szenarium kommen. Ein Waffensystem, das dazu nicht in der Lage ist, könnte kaum sinnvoll operieren. Jeder, der an der Entwicklung und Nutzung eines solchen Systems mitarbeitet, muss sich deshalb die Frage stellen, ob er bereit ist, die Verantwortung für ein Fehlverhalten eines solchen Systems auch dann zu übernehmen, wenn es unbeabsichtigt und unvorhersehbar war und keine Kontrolle mehr über die Maschinen bestand.

Bei diesen Überlegungen ist zu berücksichtigen, inwieweit ein solches System Kriegsverbrechen minimieren kann. Ein entscheidender Punkt ist, ob und wie die Verantwortung dafür, angesichts der Risiken des Einsatzes autonomer Waffensysteme aktiv ein solches System zu entwickeln, moralisch aufzurechnen ist mit der Verantwortung dafür, es zu unterlassen und dadurch auf mögliche Vorteile solcher Systeme zu verzichten.Footnote 8 Einzukalkulieren sind auch die Risiken, die drohen, wenn die Waffen gehackt werden und in die falschen Hände geraten. Es gibt gute Gründe, einem Vorsichtsprinzip zu folgen, welches vorschreibt, keine Risiken einzugehen, die die Substanz unserer Lebensgrundlage betreffen, auch wenn dies einen Verzicht auf erhebliche Vorteile bedeutet (Nida-Rümelin et al. 2012). Sollten autonome Waffensysteme gehackt und missbraucht werden, drohen sie über den Krieg hinaus zu einer Bedrohung globalen Ausmaßes zu werden.

Ein weiterer Ausweg könnte darin bestehen, den Menschen niemals ganz aus der Kontrollschleife herauszunehmen. Damit ist die Hoffnung verbunden, dass sich das Problem der Verantwortungszuschreibung für On-the-Loop -Systeme nicht stellt, bei denen der Mensch das System überwacht und bei Bedarf eingreifen kann. Allerdings gibt es begründete Zweifel an der Effektivität der Überwachungs- und Kontrollmöglichkeiten, die dem Menschen üblicherweise bei On-the-Loop-Systemen zugestanden werden.Footnote 9 Eine wirksame Ausübung der Urteilsfähigkeit ist in der Kürze der Zeit psychologisch nicht realistisch. Der Mensch befindet sich in einer schlechteren epistemischen Position als die Maschine, denn er ist zur Situationsanalyse auf die Daten angewiesen, die sie bereitstellt. Schließlich müsste er über sehr viel Selbstvertrauen und Kritikfähigkeit verfügen, um sich den Entscheidungen des Systems zu widersetzen.

5 Das Argument von der Möglichkeit, anders zu handeln

Ein weiteres grundsätzliches Argument gegen autonome Waffensysteme betont die Bedeutung des menschlichen Handelns.Footnote 10 Demnach ist es moralisch problematisch, wenn die Entscheidung und Umsetzung einer Tötungshandlung nicht einem Menschen obliegt, sondern einer Maschine überlassen wird. Denn ein Mensch kann aufgrund von Gewissensbissen, Mitleid oder Barmherzigkeit immer von einer Tötungshandlung Abstand nehmen. Ein Beispiel aus Literatur des gerechten Kriegs, in dem dieses Moment zum Tragen kommt, ist das Töten nackter Soldaten. Verschiedentlich haben sich Soldaten dagegen entschieden, nackte Soldaten der gegnerischen Seite anzugreifen, obwohl sie legitime Ziele sind, weil sie in diesem Moment in ihrer Verletzlichkeit in erster Linie als Mitmenschen erschienen und nicht als feindliche Kombattanten (Walzer 1977, S. 138 f.).

Eine Maschine verfügt nicht über diesen Entscheidungsspielraum und hätte ohne zu zögern getötet. Dieser Entscheidungsspielraum kann nicht darauf reduziert werden, keine nackten Soldaten zu töten. Das könnte man einer Maschine ja beibringen, sondern er bezieht sich auch auf unzählige andere Situationen, in denen eine ähnliche Problematik auftreten kann, etwa wenn ein Soldat Bilder seiner Kinder betrachtet, die er bei sich trägt. Es lassen sich nicht sämtliche solche Situationen antizipieren und es kommt auch nicht nur auf das Ergebnis an, sondern darauf, dass immer die Möglichkeit besteht, anders zu handeln. Dieser Möglichkeit kommt auch im Krieg ein moralischer Wert zu, insbesondere dann, wenn es um Leben und Tod geht.

Freilich neigen Menschen nicht nur zu Mitleid und Barmherzigkeit, sondern auch zu Fehlern und Grausamkeiten. Deshalb kann man gegen dieses Argument einwenden, dass menschliches Handeln im Krieg im Ergebnis dem Handeln der Roboter nicht unbedingt überlegen ist. Schließlich werden die Entscheidungen der Menschen sich im Normalfall nicht von denjenigen der Maschinen unterscheiden. Es wird also nicht zu deutlich weniger Toten kommen, wenn nur Menschen Tötungshandlungen vornehmen. Ganz im Gegenteil könnten die Vorgaben des ius in bello durch den Einsatz von Kriegsrobotern besser eingehalten und sogar strikter werden. Im Endeffekt wäre der Krieg dann sogar gerechter. Die Auswirkungen des Einsatzes von Kriegsrobotern scheinen deshalb im Vergleich zum menschlichen moralischen Handeln überwiegend positiv zu sein. Das könnte dafür sprechen, diese einzusetzen, auch wenn menschliches moralisches Handeln einen gewissen Eigenwert besitzt, sofern die positiven Folgen diesen Eigenwert überwiegen.

Diesem Einwand kann man jedoch empirisch entgegenhalten, dass es längst nicht klar ist, ob der Einsatz autonomer Waffen im Gesamtergebnis zu weniger Verlusten führen würde als ein von Menschen geführter Krieg und ob dadurch das ius in bello tatsächlich strenger interpretiert würde (Leveringhaus 2016, S. 96 f.). Ganz im Gegenteil könnten die hohen Kosten für die Entwicklung und Produktion autonomer Waffensysteme sogar einen Anreiz schaffen, diese Waffen auch möglichst effizient einzusetzen, und nicht dazu, die Verluste auf feindlicher Seite möglichst gering zu halten. Außerdem besteht der Verdacht, dass die Befürworter autonomer Waffensysteme stillschweigend von einer technologischen Asymmetrie zwischen den kriegsführenden Parteien ausgehen. So ist es nur dann sinnvoll, einen Roboter so zu programmieren, dass er erst dann schießt, wenn er angegriffen wird, wenn ihm als Gegner vorwiegend Menschen und nicht andere Roboter gegenüberstehen. Es ist jedoch fraglich, ob dies eine zutreffende Beschreibung typischer Kriegssituationen darstellt.

Schließlich könnte man argumentieren, dass das Argument von der Möglichkeit, anders zu handeln, nur Out-of-the-Loop -Systeme, nicht aber On-the-Loop -Systeme betrifft. Doch ist es fraglich, ob Menschen den Urteilsspielraum wirklich nutzen können, den On-the-Loop -Systeme theoretisch gewähren. Dagegen sprechen dieselben Gründe wie im Fall der moralischen Verantwortungszuschreibung. Auch wenn On-the-Loop -Systeme dem Menschen theoretisch einen Urteilsspielraum erhalten, führen sie doch zu einer starken Verminderung und Einschränkung der faktischen Ausübung seiner Handlungsfähigkeit.Footnote 11

Ein letzter Einwand erachtet das Argument von der Möglichkeit, anders zu handeln, als überholt durch die moderne Kriegsführung, die den Krieg auch schon vor den autonomen Waffensystemen grundlegend verändert habe. Der Vorwurf besteht darin, dass dem Argument eine Vorstellung des Kriegs „Mann gegen Mann“ zugrunde liegt, die durch die moderne technologische Entwicklung ohnehin längst obsolet gemacht wurde. Nehmen wir einen Bomberpiloten, der in sehr großer Höhe fliegt, oder eine ferngesteuerte Drohne. Zwar wird ein Mensch den Bombenabwurf auslösen, wenn der Computer das Signal gibt, dass das Zielgebiet erreicht ist. Man kann sich jedoch fragen, ob es wirklich einen moralisch relevanten Unterschied darstellt, dass er selbst noch den Knopf drückt und nicht das System automatisch die Zündung startet, wenn das Zielgebiet erreicht ist.

Dieser Einwand führt auch noch einmal zur Ausgangsprämisse zurück, die darin bestand, dass Krieg nicht grundsätzlich unmoralisch ist. So könnte man die Besonderheiten der modernen technologischen Kriegsführung zum Anlass nehmen, für einen eingeschränkten Pazifismus einzutreten. Dieser verwirft zwar den Krieg nicht grundsätzlich aus moralischen Gründen, erachtet aber den modernen Krieg aufgrund des Arguments von der menschlichen Fähigkeit, anders zu handeln, als unmoralisch. Alternativ dazu lässt sich jedoch auch bestreiten, dass die menschliche Handlungsfähigkeit ihre Bedeutung im Rahmen der modernen technologischen Kriegsführung verloren hat.

Möglicherweise ist sie zwar eingeschränkt, sie besteht aber wenigstens in rudimentärer Form fort. Doch selbst dieser Rest menschlicher Handlungsfähigkeit ist besser als nichts, auch wenn – vom moralischen Standpunkt – Formen der Kriegsführung vorzugswürdig wären, die der menschlichen Handlungsfähigkeit mehr Gewicht einräumen. Schließlich könnte man darauf pochen, dass das humanitäre Völkerrecht immer noch davon ausgeht, dass Menschen auch im modernen Krieg über die Fähigkeit verfügen, anders zu handeln, sonst könnte man sie gar nicht für Kriegsverbrechen verfolgen (Leveringhaus 2016, S. 102).

Ein weiterer Einwand gegen das Argument von der menschlichen Handlungsfähigkeit beruht auf einem Vergleich von Soldaten mit Robotern. Demnach sind Soldaten letztlich auch nichts anderes als Maschinen, die Befehle befolgen. Ein Urteilsspielraum sei gar nicht vorgesehen. Doch dieser Vergleich hinkt aus empirischen, erkenntnistheoretischen und ethischen Gründen. Faktisch widersetzen Soldaten sich immer wieder Befehlen im Krieg. So sind Fälle von absichtlichem Verfehlen des Ziels im Zweiten Weltkrieg wohl recht häufig vorgekommen, während es beispielsweise im Vietnamkrieg zur Ermordung von Vorgesetzten kam, die unsinnige Befehle erteilten (Leveringhaus 2016, S. 103 f.). Aus erkenntnistheoretischer Sicht müssen auch Soldaten auf ihr Urteilsvermögen zurückgreifen, um Befehle korrekt und sinnvoll auszuführen. Der American Sniper, ein Scharfschütze, dessen Erinnerungen dem gleichnamigen Film zugrunde liegen, erschoss beispielsweise ein Kind nicht, das eine Waffe aufhob, obwohl es dadurch eigentlich zu einer Bedrohung und damit zu einem legitimen Ziel wurde (Leveringhaus 2016, S. 93). Er wartete stattdessen ab, und tatsächlich warf der Junge nach einiger Zeit die Waffe weg und rannte davon. Andererseits können Soldaten auch entgegen ihrer Befehle Gräueltaten wie Plünderung, Vergewaltigung und Brandschatzung begehen, wie der Folterskandal in Abu Ghraib zeigt.

Das ist die Kehrseite der menschlichen Handlungsfähigkeit, die sich eben nicht im Befolgen von Befehlen erschöpft. Vom ethischen Standpunkt ist außerdem die Annahme zu hinterfragen, dass es eine Tugend von Soldaten ist, Befehlen bedingungslos zu gehorchen. So vertritt die Bundeswehr das Ideal der Inneren Führung, welches nahelegt, dass dies zumindest dort nicht so gesehen wird (Bundeswehr 2017).

Ein eher philosophischer Einwand dagegen, dass Menschen immer anders handeln können, erwächst aus der Willensfreiheitsdebatte. Sind Menschen nicht letztlich genauso determiniert wie Maschinen und setzt das Argument von der moralischen Handlungsfähigkeit nicht eine Form der Willensfreiheit voraus, die Menschen gar nicht zukommt?Footnote 12 Zu diesem Punkt ist zunächst zu sagen, dass auch der Indeterminismus keine Lösung darstellen würde. Denn selbst ein indeterministischer Akteur, für dessen Handeln Zufallsprozesse von Bedeutung sind, wäre noch nicht als frei zu bezeichnen. Nicht zuletzt lässt sich fragen, ob Maschinen nicht ebenfalls indeterministische Systeme in diesem Sinn sein können (Asaro 2014). Der Indeterminismus ist daher nicht hinreichend als Unterscheidungskriterium zwischen Mensch und Maschine.

Einig sind sich die meisten Beteiligten der Willensfreiheitsdebatte darin, dass Willensfreiheit in der für Personen charakteristischen Möglichkeit besteht, ihr Verhalten auf eine Art und Weise zu kontrollieren, die notwendig für die Zuschreibung moralischer Verantwortung ist (Eshleman 2016). Dies beinhaltet Fähigkeiten, die Maschinen nicht zukommen. Insbesondere können künstliche Systeme anders als Menschen ihre moralischen Entscheidungen und die ihnen zugrunde liegenden Werte nicht reflektieren, rechtfertigen oder gar selbstständig verändern. Diese Fähigkeiten genügen für das Argument von der moralischen Handlungsfähigkeit. Ob darüber hinaus noch andere Bedingungen erfüllt sein müssen, um von echter Willensfreiheit zu sprechen, kann offen bleiben.Footnote 13

Schließlich könnte man das Argument von der menschlichen Handlungsfähigkeit angreifen, weil es in Konflikt mit der Fürsorgepflicht gerät, die das Militär für sein Personal besitzt. Zwar verpflichten sich Soldaten grundsätzlich, im Krieg notfalls auch ihr Leben hinzugeben. Doch das Militär muss dafür Sorge tragen, dass seine Bediensteten nicht übermäßigen Risiken ausgesetzt oder grundlos in Gefahr gebracht werden. Der Einsatz autonomer Waffensysteme dürfte die physischen und psychischen Risiken verringern, denen Soldaten im Krieg ausgesetzt sind. Die Frage ist also, ob die Fürsorgepflicht des Militärs nicht zu der Pflicht führt, autonome Waffensysteme einzusetzen.

Es stehen jedoch auch andere Mittel zur Verfügung, um die physischen und psychischen Risiken bis zu einem gewissen Grad zu senken. Eine Möglichkeit ist die Verwendung unbemannter, aber nicht-autonomer Waffensysteme, eine andere der Einsatz autonomer Waffensysteme, die nicht tödlich sind (Leveringhaus 2016, S. 112). Erneut könnte man dieses Argument auch zum Anlass nehmen, den Pazifismus wieder ins Spiel zu bringen. Denn wenn das Töten für die Soldaten selbst so große Risiken birgt, vor denen sie geschützt werden müssen, sollte man dann nicht lieber gänzlich darauf verzichten, statt diese Risiken allein der Gegenseite aufzubürden? In jedem Fall hat die Fürsorgepflicht ihre Grenzen in den moralisch begründeten Ansprüchen der gegnerischen Soldaten und Zivilisten, insbesondere in ihrer Menschenwürde.Footnote 14

Ein letzter Kritikpunkt sieht die Gefahr, dass die menschliche Fähigkeit, aufgrund von Mitleid oder Barmherzigkeit vom Töten abzusehen, letztlich den Schurken zugutekommt. Einen bewaffneten Bankräuber zu erschießen, der gerade im Begriff ist, eine Geisel zu nehmen, scheint doch nur recht und billig zu sein (Leveringhaus 2016, S. 114). Aus moralischer Sicht fatal wäre es hingegen, ihn in einer Anwandlung sentimentalen Mitleids entkommen zu lassen. Die Fähigkeit, anders zu handeln, ist deshalb in Kontexten legitimer Gewaltanwendung nicht immer moralisch positiv zu bewerten.

Eine Möglichkeit, diesem Einwand entgegenzutreten, besteht darin, diese Situation als eine erweiterte Form der Selbstverteidigung zu begreifen. Allerdings geht es im Krieg primär darum, Soldaten zu töten, die sich – anders als der Bankräuber – moralisch zumeist nichts zuschulden kommen ließen. In den seltensten Fällen dient die Tötung eines gegnerischen Soldaten akut dem Schutz des eigenen Lebens, demjenigen eines Kameraden oder Zivilisten. Aus diesem Grund ist es nicht moralisch verwerflich, Mitleid oder Barmherzigkeit walten zu lassen.

Zusätzlich lässt sich auch schon beim Bankräuberbeispiel in Frage stellen, ob es sich überhaupt um eine Form der Selbstverteidigung handelt. Das zeigt sich bereits daran, dass der moralische Druck, den Bankräuber zu töten, um die Geisel zu befreien, größer ist, als in einer reinen Selbstverteidigungssituation, in der man sich letztlich auch gegen den Schutz des eigenen Lebens entscheiden kann. Man macht sich dadurch nicht moralisch schuldig, sofern niemand anderes darunter zu leiden hat. Zu prüfen ist, ob im Gegensatz dazu im Bankräuberfall nicht sogar eine moralische Pflicht besteht, den Bankräuber zu töten, wenn es keine andere Möglichkeit gibt, die Geisel zu retten. Entscheidend für die Diskussion autonomer Waffensysteme ist, ob sich dieser Gedanke auf den Krieg übertragen lässt.

6 Die Voraussetzung einer Pflicht zu töten

Eine klassische Situation, in der es einleuchten könnte, eine moralische Pflicht zu töten anzunehmen, ist der Tyrannenmord. Dies gilt insbesondere dann, wenn absehbar ist, dass dadurch wieder rechtsstaatliche Verhältnisse hergestellt und viele Menschenleben gerettet werden können. Einige Äußerungen der Hitlerattentäter vom 20. Juli 1944 lassen etwa den Rückschluss zu, dass sie es als ihre moralische Pflicht ansahen, das Attentat zu begehen (Hoffmann 2004, S. 389, 395). Besteht tatsächlich in bestimmten Fällen eine moralische Pflicht zum Töten, dann gälte das Argument von der menschlichen Handlungsfähigkeit in diesen Fällen nicht. Mitleid und Barmherzigkeit wären in einer solchen Situation verfehlt. Die Frage ist jedoch, ob Soldaten im Krieg grundsätzlich eine moralische Pflicht haben, zu töten, oder ob dies nur moralisch erlaubt ist.

Ronald Arkin ist offenbar der Auffassung, dass eine solche Pflicht besteht. Sein Prototyp darf nur in solchen Fällen eine Tötungshandlung initiieren, wenn eine moralische Verpflichtung dazu besteht und es nicht nur moralisch erlaubt ist (Arkin 2009, S. 96). Das Argument von der menschlichen Handlungsfähigkeit wäre zurückgewiesen, wenn eine solche Verpflichtung vorliegt. Es kann nur dann überzeugen, wenn eine Tötungshandlung moralisch zwar zulässig, aber nicht geboten ist. Eine moralische Pflicht zum Töten ergibt sich freilich nicht aus dem humanitären Völkerrecht. Vielmehr meint Arkin, dass eine solche Pflicht vorliegt, wenn eine Tötungshandlung im Krieg moralisch erlaubt und militärisch notwendig ist.

Nehmen wir einmal an, dass die Bedingungen des ius ad bellum erfüllt sind und der Krieg für eine gerechte Sache geführt wird. Gehen wir ferner davon aus, unter diesen Bedingungen sei das Töten im Krieg grundsätzlich moralisch erlaubt, und zwar im Rahmen der Einschränkungen des ius in bello. Die entscheidende Frage ist, ob allein die militärische Notwendigkeit genügt, um aus dieser moralischen Zulässigkeit eine moralische Verpflichtung zu machen. Die militärische Notwendigkeit soll in den Rules of Engagement festgelegt sein. Arkin erläutert dies jedoch lediglich an einem Beispiel, wonach es eine militärische Notwendigkeit sei, gegnerische Konvois anzugreifen (Arkin 2009, S. 193).

Eine solche „Notwendigkeit“ ist allerdings alles andere als streng definiert. Ob ein Konvoi anzugreifen ist, hängt u. a. davon ab, ob eine hinreichende Erfolgswahrscheinlichkeit besteht. Der Beschuss eines einzelnen Konvois wird jedoch kaum über den Ausgang eines gesamten Kriegs entscheiden. Nach Arkin gibt es fünf Grade der Notwendigkeit. Die Bewertung einer Tötungshandlung setzt den jeweiligen Grad der Notwendigkeit ins Verhältnis zu den erwarteten Schäden an Non-Kombattanten und zivilen Zielen. Doch daraus lässt sich schwerlich eine Pflicht zu töten ableiten, die ja sonst auch graduierbar sein müsste. Dieser Befund entspricht dem in der traditionellen Theorie des gerechten Kriegs vorherrschenden Verständnis, dass eine grundsätzliche moralische Pflicht besteht, andere nicht zu verletzen oder zu töten, vor deren Hintergrund die moralische Zulässigkeit von Verstößen dagegen im Krieg zu rechtfertigen ist.Footnote 15 Da es folglich im Krieg keine moralische Pflicht gibt, zu töten, bleibt das Argument von der moralischen Handlungsfähigkeit schlagend.

Wir haben nun die drei wichtigsten ethischen Argumente kennen gelernt, die gegen letale autonome Waffensysteme sprechen. Alle drei – das Argument von der Verantwortungslücke, das Argument von der Fähigkeit, anders zu handeln, sowie die Voraussetzung einer moralischen Pflicht zu töten – führen zu der Konklusion, dass autonomen Waffensystemen die Entscheidung, Menschen zu töten, nicht übertragen werden sollte.

Diese Schlussfolgerung stimmt mit der Forderung von Menschenrechtsorganisationen nach einer sinnvollen menschlichen Kontrolle (meaningful control ) überein, die sich nicht nur über Gesamtoperationen erstreckt, sondern auch über individuelle Angriffe (Roff und Moyes 2016). Ein weiterer neuralgischer Punkt besteht darin, dass die technischen Probleme noch keineswegs gelöst sind, die sich für ein System stellen, das die Ius-in-Bello -Kriterien erfüllen soll. Bislang kann etwa die Diskriminierung legitimer Ziele nicht wirklich sichergestellt werden. Selbst Arkin gesteht ein, dass sein Prototyp eine Idealisierung darstellt, die von solchen technischen Problemen absieht. Doch solange eine überzeugende Lösung nicht vorliegt, entsprechen letale autonome Waffensysteme nicht dem humanitären Völkerrecht.

7 Ausblick: Kriegsroboter und autonomes Fahren

Eine wichtige Frage ist, ob die Einwände gegen moralische Kriegsroboter sich auch auf andere Anwendungsbereiche der Maschinenethik übertragen lassen. Eine Analogie zwischen der Programmierung autonomer Fahrzeuge zum Zweck der Unfalloptimierung und der Zielbestimmung autonomer Waffensysteme stellt Patrick Lin vom Center for Internet and Society der Stanford University her (Lin 2016, S. 72). Wenn es sich bei einem Unfall nicht vermeiden lässt, Personen zu verletzen oder zu töten, ist es notwendig, Kosten-Funktionen anzugeben, die bestimmen, wer im Zweifelsfall verletzt oder getötet wird. Für den Fall einer unvermeidlichen Kollision müssten also in ähnlicher Art und Weise wie bei autonomen Waffensystemen legitime Ziele festgelegt werden, die dann vorsätzlich verletzt oder womöglich sogar getötet würden. Wenn etwa ein autonomes Fahrzeug ausschließlich die Möglichkeit hätte, entweder eine betagte Person am Ende ihres Lebens zu töten oder ein Kind, dann müsste im Vorhinein bestimmt werden, ob in dieser Situation die ältere Person angefahren werden soll oder das Kind.

Ein entscheidender Kritikpunkt am Einsatz autonomer Waffensysteme war, dass es keine moralische Pflicht gibt, im Krieg zu töten. Es besteht allenfalls eine moralische Erlaubnis zum Töten, die das allgemeine Tötungsverbot situativ einklammert. Aus diesem Grund sollte die Entscheidung, einen bestimmten Menschen zu töten, stets einem Menschen zukommen und nicht von einer Maschine getroffen werden. Die Frage ist nun, ob dieses Argument auch auf das autonome Fahren übertragbar ist. Die Antwort auf diese Frage hängt davon ab, ob es eine moralische Pflicht gibt, unschuldige Menschen zu verletzen oder zu töten, um Schlimmeres zu verhindern.Footnote 16

Festzuhalten ist jedenfalls, dass eine solche Pflicht in einem Spannungsverhältnis zur deutschen Rechtsprechung zu stehen scheint. Wegweisend ist in diesem Zusammenhang die Entscheidung des Bundesverfassungsgerichts zum Luftsicherheitsgesetz aus dem Jahr 2006, bei der es um den Abschuss entführter Passagierflugzeuge ging, die von Terroristen als Massenvernichtungswaffen eingesetzt werden sollen. Das Bundesverfassungsgericht stellte klar, dass ein Abschuss immer der Menschenwürde der Flugzeugpassagiere widerspricht (BVerfGE 115, 118, (160)). Denn es ist nicht mit dem Grundgesetz vereinbar, auf der Grundlage einer gesetzlichen Ermächtigung unschuldige Menschen vorsätzlich zu töten. Dieses Urteil steht zumindest auf den ersten Blick mit einer Pflicht zur Schadensminimierung im Widerspruch, sofern diese die vorsätzliche Verletzung oder Tötung unschuldiger Menschen beinhaltet. Folgt man diesen Überlegungen, so kann man daraus als eine allgemeine Richtlinie für gute Maschinenethik ableiten, dass Maschinen nicht die Entscheidung über Leben und Tod von Menschen überlassen werden sollte.