Autonome wapensystemen: algoritmes van de dood

In april vorig jaar laait het conflict tussen Armenië en Azerbeidzjan weer even op. Een bus vol Armeense soldaten is op weg naar het front in de betwiste enclave Nagorno-Karabach. Plots klinkt er een aanslepen gezoem. Even later is de bus een brandend wrak, vijf soldaten komen om het leven. De Harop heeft zijn intrede gedaan op het slagveld. Later zal het Azerbeidzjaanse leger een tweede Harop gebruiken tegen een Armeense militaire stelling.

De drone kan volledig autonoom opereren, zelf een doelwit selecteren en uitschakelen, hoewel een operator de beslissingen van de robot kan opheffen.

Op het eerste zich heeft de Harop iets weg van een V1 uit de Tweede Wereldoorlog, zowel qua uitzicht als werkwijze. Het tuig, ontworpen en geproduceerd door Israel Aerospace Industries, is in feite een vliegende bom, een drone die zich op zijn doelwit stort. Maar de Harop heeft een nieuwigheidje. De drone kan volledig autonoom opereren, zelf een doelwit selecteren en uitschakelen, hoewel een operator de beslissingen van de robot kan opheffen. En hoewel het Azerbeidzjaanse leger bevestigde dat er wel degelijk een operator achter de aanval met de Harop zat, valt dat niet te bevestigen. Zo werd het vergeten conflict in Nagorno-Karabach misschien wel het eerste strijdtoneel waar een volledig autonoom robotwapen gebruikt werd.

De Harop is maar een van de wapens die afglijden in de richting van volledige autonomie. De Verenigde Staten hebben verschillende projecten in de pijplijn. De Falcon onder andere, een hypersonisch projectiel dat binnen het uur overal ter wereld kan toeslaan. Het Russische paradepaardje, de Armata T-14 tank, zou in de toekomst ook autonoom kunnen opereren. Wapenfabrikant Kalashnikovs kondigde recent aan te werken aan een serie robotwapens die in staat zijn te leren uit voorgaande situaties door middel van artificiële intelligentie (AI) die gemodelleerd is naar de werking van het menselijk brein.

Er zijn vandaag al volledig autonome wapensystemen actief op het slagveld. De Iron Dome bijvoorbeeld, een volautomatisch afweergeschut dat projectielen in de vlucht uitschakelt, bewaakt de grens tussen Israël en Gaza. Maar deze wapens zijn louter defensief, en enkel gericht op objecten. Dezelfde technologie kan echter met gemak gebruikt worden om automatisch terug te slaan, een erg verleidelijke optie.

Dodelijke algoritmes

Ondanks het feit dat hij professor in artificiële intelligentie en robotica is, wist Noel Sharkey niet zoveel van killer robots. Tot op een dag hij een vraag van een journalist kreeg over autonome wapensystemen. Hij besloot zich in de materie te verdiepen, en schrok van wat hij vond. Vandaag is hij het gezicht van de internationale campagne Stop Killer Robots.

Een robot kan de legitimiteit van een doelwit eenvoudigweg niet inschatten

‘Als wetenschapper op vlak van robotica verontrustten deze ontwikkelingen me enorm’, vertelt Sharkey. ‘De technologie voor dergelijke autonome wapensystemen is veel minder geavanceerd dan men laat uitschijnen. We zijn mijlenver verwijderd van het punt dat dergelijke wapens het onderscheid kunnen maken tussen militairen en burgers, of weten wanneer een soldaat gewond is of zich wil overgeven. Een robot kan de legitimiteit van een doelwit eenvoudigweg niet inschatten.’

Ook de proportionaliteit van geweld vraagt om een menselijk oordeel, aldus Sharkey. ‘Proportionaliteit betekent een afweging tussen militaire winst en potentiële burgerslachtoffers. Dat is al een lastige kwestie voor ervaren soldaten en militaire bevelhebbers. Hoe kan een machine zo’n beslissing maken? Het is dus meer dan waarschijnlijk dat de inzet van geautomatiseerde wapens tot meer burgerslachtoffers zal leiden.’

Robotzwermen

‘Het is dus meer dan waarschijnlijk dat de inzet van geautomatiseerde wapens tot meer burgerslachtoffers zal leiden.’

De ontwikkeling van militaire robots heeft een nieuwe wapenwedloop op gang gebracht. En het heeft er alles naar dat dezelfde denkfouten zich herhalen. ‘Als je kijkt naar de scenario’s die op tafel liggen in het Pentagon, dan gaan die er onveranderlijk van uit dat het enkel de VS zal zijn die dergelijke wapens zal ontwikkelen, samen met een handvol Westerse landen. Dat is gevaarlijk naïef’, oordeelt Sharkey.

‘China, Rusland, en een hoop andere landen werken evengoed aan killer robots. In die militaire scenario’s hebben ze de rol van force multipliers. Dat betekent dat ze, of het nu om tanks, jet of drones gaat, in zwermen opereren aan de zijde van wapentuig dat wel nog door mensen bestuurd wordt. De robots echter worden volledig gestuurd door algoritmes. Op die manier kom je tot een situatie waarbij je wel je eigen militair algoritme kent, maar uiteraard niet dat van de tegenpartij. Wiskundig gezien is het onmogelijk te voorspellen wat de uitkomst van een dergelijke confrontatie zou zijn.’

‘Wat als twee dergelijke systemen met elkaar slaags geraken? Hoe stop je zo’n conflict?’

Die onvoorspelbaarheid dreigt haast apocalyptische gevolgen te hebben voor de toch al wankele veiligheid en stabiliteit in de wereld, legt Sharkey uit. ‘De kans om per ongeluk een oorlog te beginnen is erg reëel. Wat als twee dergelijke systemen met elkaar slaags geraken? Hoe stop je zo’n conflict? Want de partij die als eerste zijn systeem uitschakelt, verliest. Bovendien – en dat is een erg beangstigend gegeven – maken autonome wapens het eenvoudiger om een oorlog juist niet te beëindigen. Dat zien we vandaag al bij drones. De VS zijn niet meer in oorlog in Afghanistan, maar de drones vliegen nog steeds rond. Zo’n scenario is nog waarschijnlijker eens killer robots een realiteit worden. Zo dreigt de wereld te verworden tot een continu globaal strijdtoneel.’

Leren van de drones

Een argument dat vaak in het voordeel van killer robots op tafel gegooid wordt is dat ze de levens van de eigen soldaten sparen. Maar net dat kan een motiverende factor zijn om sneller naar de wapens te grijpen. Ook de democratische controle verzwakt, want er staan geen mensenlevens op het spel, althans niet aan de eigen kant. ‘Uiteindelijk komen de body bags er toch, zodra de technologie zich verspreidt’, zegt Sharkey. ‘De oorlog van de toekomst zal niet tussen robots worden uitgevochten. Geen enkele partij zal zo’n strijd zal niet als een overwinning erkennen, dan kun je evengoed een partijtje schaak spelen. Een propere oorlog bestaat niet.’

Het valt niet te voorspellen welke richting de ontwikkeling van volledig autonome wapens uit zal gaan. Maar het is leerrijk te kijken hoe het de drones is vergaan. Primitieve onbemande vliegtuigjes bestaan al sinds de Eerste Wereldoorlog, maar de inzet van drones kwam pas echt op gang tijdens de Amerikaanse invasie van Afghanistan. Eerst dienden ze als verkenningsvliegtuigen, maar als gauw evolueerden drones tot geduchte wapens. Ze gaven de VS een militair voordeel waarvan veel strategen dachten dat het lang zou meegaan. Drones bleken goedkoop, zowel militair als politiek. Onder president Obama nam de inzet van drones een hoge vlucht. Momenteel vliegen er Amerikaanse drones over ten minste zeven landen, waaronder staten zoals Pakistan waar de VS helemaal niet mee in oorlog is, met heel wat burgerslachtoffers als gevolg.

Het is wachten op de eerste aanslag met een drone.

Vandaag liggen de kaarten enigszins anders. De technologische voorsprong van de VS verdampte in ongeveer een decennia. China vulde het gat in de markt, en verkocht drones aan landen als Nigeria en Irak, terwijl bijvoorbeeld Iran eigen dronetechnologie ontwikkelde. Nog onrustwekkender is dat gewapende groeperingen zoals Hezbollah ondertussen ook over drones beschikken. Zelfs IS knutselde onbemande vliegtuigjes in mekaar die in staat zijn met een redelijke accuraatheid granaten te droppen. Het is wachten op de eerste aanslag met een drone. De kans is groot dat autonome wapens zich met een zelfde snelheid verspreiden, aldus professor Sharkey. ‘Er wordt gesproken van een derde revolutie in de oorlogsvoering, na de uitvinding van het buskruit en van nucleaire wapens. Zover zijn we vandaag niet, maar het omslagpunt komt snel dichterbij. Dat moeten we kost wat kost vermijden.’

Banale centenkwestie

Hoewel de technologie om autonome wapensystemen te maken zo goed als operationeel is, rest er misschien nog tijd om de ontwikkeling tegen te gaan of op zijn minst in te dijken. Normaal gezien stonden er in augustus twee sessies over deze wapens gepland in de schoot van de Convention on Certain Conventional Weapons (CCWC), het belangrijkste orgaan van de VN als het gaat om wapenregulering.

Zo’n sessie had een opstap kunnen zijn naar verdere regulering. Had, want de sessies werden afgelast. De reden? Enkele lidstaten, in de eerste plaats Brazilië lopen achter met hun financiële bijdragen. Te banaal voor woorden, aldus Miriam Struyk, programmadirecteur bij de vredesorganisatie PAX. ‘Binnen de CCWC zijn alle grote spelers vertegenwoordigd. De gesprekken hadden de voorlopers van een additioneel protocol kunnen zijn dat autonome wapens aan banden zou leggen, maar nu zijn we terug naar af.’

De Campaign to Stop Killer Robots waar Pax deel van uitmaakt, focust op een verbod van autonome wapens en op de verplichting om menselijke controle te behouden. ‘Het gevaar is dat we verzanden in technische discussies’, legt Struyk uit. ‘Menselijke controle is een fluïde begrip, maar het is een conversatie over wat we willen behouden, over wat we op moreel, juridische en veiligheidsvlak acceptabel vinden.’

‘Er zijn een hele reeks argumenten om een significante menselijke controle over wapensystemen te bewaren, maar in de eerste plaats is het een morele kwestie. Uiteindelijk dient een een mens te beslissen of een ander mens een legitiem doelwit is of niet. Anders besteden we onze moraliteit uit aan een machine, aan een algoritme.’

Robots houden hun mond

Eigenlijk zijn volledig autonome wapens het eindresultaat van een ontwikkeling in de oorlogsvoering die zo oud is als de pijl en boog. Altijd al is er gezocht naar een steeds grotere afstand tussen strijder en doelwit. Killer robots bieden de ultieme afstand. Een gevaarlijke evolutie, zegt Struyk. ‘De drempel om geweld te gebruiken, is opgehoogd door het democratisch debat, maar dat dreigt verloren te gaan. Vaak zijn het net de verhalen van soldaten die terug naar huis keren die dit debat op gang trekken. Maar met autonome wapens komen er niet alleen geen body bags meer naar het thuisfront, ook getuigenissen blijven uit. Dat zie je nu ook al met drones.’

Militaire onderzoeksinstellingen zoals het Amerikaanse DARPA (Defense Advanced Research Projects Agency) steken enorm veel middelen in het ontwikkelen van robotica en artificiële intelligentie. Maar de meeste technologie die gebruikt kan worden voor volledig autonome wapensystemen komt uit civiel onderzoek naar automatisering en AI. ‘Vroeger keken we als vredesbeweging vooral naar het zogenoemde militair-industriële complex’, vertelt Struyk. ‘Maar bij dit type wapens komt veel technologie voort uit de civiele industrie. Daar gebeurt er heel wat rond autonomie, robotica en AI, waar de militaire industrie dan weer gretig op inspeelt. Dat maakt een eventuele controle ook weer een stuk ingewikkelder.’

‘We leven in een steeds meer onberekenbare wereld. Gooi dan ook nog eens dergelijke wapens in de mix, en de uitkomst wordt een nachtmerrie.’

‘Er spelen natuurlijk ook gigantische economische belangen. De potentiële markt voor dergelijke wapens is enorm. Veel landen geven aan niet echt op autonome wapens te zitten wachten, maar zien het als een onvermijdelijke ontwikkeling. Dus als één land ermee begint, zal iedereen volgen.’ Autonome wapens typeren als de derde revolutie in oorlogsvoering is zeker niet overdreven, aldus Miriam Struyk. ‘Als de geest uit de fles is, zal deze ontwikkeling nog maar moeilijk te stoppen zijn. Zo dreigt een nieuwe wapenwedloop met wel heel verregaande en vervelende gevolgen.’

Valt de opmars van de killer robots eigenlijk wel te stoppen, als het zo verleidelijk is voor staten om ze in te zetten? ‘Ik denk van wel. Je hoort toch dat veel staten er tegen zijn, en ook wetenschappers willen het niet. Maar dan moeten we echt wel snel zijn, voordat de technologie ons inhaalt. Een lastige zaak wordt het zeker. Maar we leven in een steeds meer onberekenbare wereld. Gooi dan ook nog eens dergelijke wapens in de mix, en de uitkomst wordt een nachtmerrie.’

Belgische ban

De onderhandelingen in de VN mogen dan wel stil gevallen zijn, toch beweegt er wat. Verschillende Europese landen werken aan wetgeving die de ontwikkeling en gebruik van autonome wapensystemen aan banden dienen te leggen. Ook in het Belgisch parlement ligt een dergelijke resolutie op tafel op initiatief van Ecolo en Groen.

Een van de initiatiefnemers is Wouter De Vriendt van Groen. ‘We zien over de partijgrenzen heen een bereidheid om een verbod in te stellen. De tijd dringt, want de technologie bestaat eigenlijk al, hoewel deze systemen nu nog een menselijke interventie vragen. Wat wij voor ogen hebben, is een volledig verbod op de ontwikkeling, productie en gebruik van deze wapens, en een engagement van België om op een actieve manier deel te nemen aan internationale discussies over killer robots.’

Een van de argumenten van de tegenstanders van een verbod is dat het vooruitgang in de sectoren van automatisering en de ontwikkeling van artificiële intelligentie zou hinderen.

België heeft een relatief omvangrijke defensie-industrie, en ook op vlak van automatisering en de ontwikkeling van artificiële intelligentie gebeurt er veel onderzoek in ons land. Een van de argumenten van de tegenstanders van een verbod is dat het vooruitgang in deze sectoren zou hinderen. De Vriendt ziet dat anders. ‘Er zijn al verschillende oproepen geweest van wetenschappers uit het veld van de artificiële intelligentie en robotica die zich uitspreken voor een verbod. Zij zien daarin geen belemmering voor hun civiel werk. Er zijn precedenten. Het verbod op chemische wapens bijvoorbeeld staat civiele toepassingen niet in de weg. Het kan dus zeker.’

Ondanks het feit dat België maar een klein land is, heeft het een traditie inzake wapenwetgeving. Het was België dat het voortouw nam bij het verbod op clustermunitie. Op dat elan moet worden verder gewerkt, aldus De Vriendt. ‘Bij het verbod op clustermunitie was de Belgische voorzet erg belangrijk bij het tot stand komen van het internationaal verdrag. Ik hoop dat het ook nu lukt. Er groeit alleszins een bewustzijn dat de beslissing over leven en dood niet aan een machine mag overgelaten worden.’

Kwestie van menselijke waardigheid

Noel Sharkey zit op dezelfde lijn. ‘We horen inderdaad vaak de bezorgdheid dat een verbod innovatie zou tegenhouden, maar eerdere verdragen bewijzen dat dit niet zo is. De ontwikkeling naar meer autonome wapensystemen valt niet te stoppen, maar we willen dat het kritieke punt van het selecteren en het doden van doelwitten onder de controle van een mens blijft. Onder betekenisvolle menselijke controle bovendien.’

‘Het is onwaardig – zelfs in een oorlog – dat een algoritme besluit je te doden, en een machine die beslissing uitvoert.’

Het idee van betekenisvolle menselijke controle is niet zo eenvoudig te definiëren. Patriot-afweergeschut bijvoorbeeld gaat al mee sinds de eerste Golfoorlog, en vraagt om een beslissing van een operator om een object uit de lucht te halen. Die heeft daar echter slechts zeven seconden voor, wat een aantal keer tot foute beslissingen met ernstige gevolgen heeft geleidt. Het Amerikaanse luchtafweersysteem haalde zo een Brits vliegtuig neer. Ook de huidige drones vragen dan wel om een operator die op de knop drukt, de beelden die de machines doorsturen zijn vaak weinig accuraat.

Zulke systemen valt niet onder betekenisvolle menselijke controle, aldus Noel Sharkey. ‘Controle betekent weloverwogen nadenken, gefocust op wat nu precies het doelwit is, en of het legitiem is of niet. In een complex conflict zoals Syrië bijvoorbeeld zouden autonome systemen zo’n ravage aanrichten. Deze technologie kan ook makkelijk om de tuin geleid worden, en de kans is groot dat ook allerlei groeperingen deze technologie in handen krijgen. Dat zagen we ook bij de drones. Er vallen massa’s argumenten aan te brengen om af te zien van volledig autonome wapens. Maar het belangrijkste argument is de menselijke waardigheid. Het is onwaardig – zelfs in een oorlog – dat een algoritme besluit je te doden, en een machine die beslissing uitvoert.’