Votre ouvrage porte plus sur la question de l’intelligence artificielle (IA) que sur celle du robot en tant que tel. Certes, les IA s’immiscent un peu partout, y compris dans la sphère du soutien militaire. Mais le passage des IA au combat s’effectuera-t-il ? Autrement dit, est-on certain que l’on va vers cela ?
Effectivement, je m’intéresse plus largement dans le livre à l’intelligence artificielle qui sera responsable de la prise de décision au combat qu’à la robotique « mécanique ». Le raisonnement que devra conduire une IA au combat doit en effet reproduire le même cheminement que celui du soldat humain, afin de respecter les règles d’engagement, les procédures tactiques, mais également le discernement moral propre à chacun. C’est donc par l’analyse de la psychologie humaine au combat que l’on peut à mon sens décrire l’architecture de programmation d’une IA capable de décider de l’ouverture du feu sur un champ de bataille. Mais si la « robotisation » du champ de bataille est désormais une réalité, il n’est pas gravé dans le marbre que nous emploierons des Systèmes d’Armes Létaux Autonomes (SALA). Il y a de grandes chances que l’utilisation des robots se limite à des missions de soutien, d’accompagnement logistique ou encore de reconnaissance.
Il y a, à mes yeux, deux raisons qui pourraient faire basculer l’emploi des IA dans le domaine du combat proprement dit pour nos forces armées : il faudrait qu’il y ait un besoin tactique particulier à cela, ou qu’une grande puissance militaire étrangère franchisse le pas. Je pense que la logique de compétitivité prendrait alors rapidement les rênes et que toutes les grandes armées s’équiperaient en conséquence. Mon livre est une réflexion pour anticiper cette éventualité, mais je crois que les conclusions du raisonnement que j’y tiens sont valables pour toutes les applications de la robotique et de l’IA intégrée à des systèmes. Doter une IA d’un certain degré d’autonomie implique de tenter de la rendre moralement autonome. C’est tout l’objet de mon propos, en partant de l’éthique humaine et en passant par les techniques de programmation de la morale.
Votre titre est intéressant : le fameux « robot tueur » qui a animé la littérature pour le meilleur et pour le pire est mis entre guillemets, mais vous y voyez un « soldat de demain » ; ce qui est perturbant dès lors qu’un soldat est, jusqu’ici, humain… Ne craignez-vous pas une dévalorisation du soldat humain ?
Ce titre, que je n’aime pas, est la victoire du marketing sur le travail d’édition ! Le premier titre que nous avions imaginé avec la chargée d’édition était Robots-soldats, en quête d’une éthique artificielle, ce qui reflète bien mieux le contenu de l’ouvrage. Mais il a fallu se plier aux décisions commerciales, et j’ai simplement sauvé les meubles en ajoutant les guillemets. Cela dit, ce titre pose effectivement la question du remplacement du soldat humain par la machine, non seulement sur le champ de bataille, mais aussi dans l’imaginaire guerrier de la société et de sa culture. Le risque est effectivement qu’à terme le soldat humain soit dévalorisé par le SALA, à la fois techniquement au combat et dans le contenu des récits de guerre. L’avènement des SALA pourrait bien s’accompagner de la fin des héros humains, ce qui serait une catastrophe pour l’entretien des forces morales nécessaires à nos armées. Ce point milite pour que l’usage des SALA soit restreint à un accompagnement des unités humaines, en plus des considérations morales qui interdisent à mon sens leur emploi isolé. C’est également pour éviter cette dévalorisation que je préconise des limitations physiques : une machine trop anthropomorphique ou trop imposante entraînerait en effet des conséquences sociologiques importantes.
Vous écrivez que le robot ne devra pas servir de contrôleur comportemental des humains. Mais que faire si le robot constate des fautes humaines ? Est-il envisageable qu’un robot se retourne contre son unité ou la dénonce si elle s’apprête, par exemple, à faire feu sur des civils ?
Faire feu sur des soldats alliés doit être et demeurer une interdiction absolue, quel que soit le contexte. Il suffit pour comprendre de se mettre à la place d’un soldat d’une unité équipée d’un SALA : auriez-vous confiance si vous saviez qu’à la moindre erreur de comportement considérée par la machine, celle-ci peut faire feu sur vous ? De nombreuses autres solutions sont envisageables si le robot observe une action humaine qu’il juge immorale : le SALA pourrait s’interposer physiquement, ou encore contacter le supérieur tactique pour rendre compte de son désaccord. Je crois que, dans un premier temps, ce seront surtout les humains qui contrôleront le comportement du SALA. Dans le cas où ces machines seraient équipées d’une intelligence artificielle qui s’adapterait à chaque nouvelle situation, il faudrait bien que quelqu’un juge l’action effectuée pour que la machine « apprenne » et améliore son raisonnement. Ce sont donc les humains qui jugeront chaque action du SALA afin de lui donner une note éthique. L’inverse sera sans doute un jour possible, l’histoire militaire nous prouve en effet que le soldat humain est parfois capable du pire. Mais je préfère partir du principe que nos soldats sont bien formés et recherchent le meilleur comportement en toutes circonstances, plutôt que de les équiper d’une machine qui contrôlerait leurs moindres faits et gestes, au détriment d’une relation de confiance indispensable à l’efficacité tactique.
Dans les guerres régulières, les choses sont relativement simples : si des SALA avaient été disponibles dans une hypothétique guerre contre le Pacte de Varsovie, sans doute n’auraient-ils pas suscité autant de questionnements – les années 1980 furent d’ailleurs l’âge d’or de l’automatisation. Mais la vraie difficulté est dans l’irrégulier, y compris pour des soldats entraînés… Un SALA pourrait-il être mis hors de combat par un enfant armé ?
Les conflits irréguliers sont en effet la source de toutes les situations ambiguës, comme la présence d’enfants soldats, l’imbrication avec les civils, l’absence d’uniforme caractéristique chez l’ennemi, la permanence et la diffusion de la menace. Les particularités de ce type de conflit rendent bien plus difficile la programmation d’un module de décision tactique pour le SALA. Tout comme le soldat humain, la machine pourrait se laisser berner par l’apparence civile des combattants, à plus forte raison s’il s’agit d’enfants. Un SALA pourrait donc tout à fait être mis hors de combat par un enfant armé. D’autant plus qu’il serait sans doute une cible de choix : symbole de la supériorité technologique de nos armées, il deviendrait la cible à abattre, le Goliath dont la chute serait une victoire psychologique bien plus forte que tout le reste. Cette faiblesse intrinsèque milite là encore pour une apparence discrète, loin des illustrations habituelles des œuvres de science-fiction.
Les logiques de mise en réseau et de combat cloud sont un des vecteurs de la convergence technologique autour des SALA. Certes, on peut se dire que c’est une affaire de cybersécurité distante de la réflexion sur l’éthique des IA ; mais, d’un autre côté, une IA est plus simple à reparamétrer par cyber interposé que le « logiciel moral » d’un humain. Comment prendre en compte ce risque ? Par plus d’IA ?
La protection cyber des matériels militaires n’est pas un problème nouveau. Il faudra effectivement se prémunir au maximum d’attaques qui pourraient modifier le comportement du SALA, car les conséquences d’un « retournement » seraient catastrophiques. Mais je ne pense pas qu’un surplus de technologie puisse beaucoup mieux protéger qu’une discipline d’utilisation draconienne. Nous sommes d’ores et déjà habitués à travailler en réseaux internes protégés, à intégrer dans nos aéronefs des données informatiques préparées sur des stations sol « blanches », etc. Ces règles de sécurité cyber seraient sans doute similaires dans le cas du SALA. On peut également imaginer des procédures de test internes pour se prémunir de modifications non planifiées, pour détecter d’éventuelles intrusions. Bien sûr, aucune protection n’est inviolable, et le risque d’attaque cyber sera toujours présent. C’est pourquoi il faudra toujours que l’humain puisse reprendre le contrôle d’un SALA, qu’il soit capable de bloquer une de ses actions, de le mettre en veille, de le redémarrer ou de l’éteindre s’il le faut. Il faudra absolument garder à l’esprit qu’un robot ne sera jamais qu’un programme informatique dans une carcasse mécanique. La prééminence de l’humain sur la machine doit demeurer à tout prix, malgré les risques de fascination devant la technologie autonome.
Votre ouvrage est une très belle réflexion, bien charpentée, sur ce que devrait – ou pas – être une IA de combat. Mais il est toujours difficile d’en terminer un et il arrive fréquemment aux auteurs de se dire, après parution, que tel ou tel aspect aurait mérité d’être abordé, ou de l’être différemment. Avez-vous ce sentiment ?
Je n’ai qu’un seul véritable regret, c’est de ne pas avoir eu le temps de tenter de programmer le réseau de neurones que j’inclus dans l’architecture de programmation du module d’éthique artificielle. Ce réseau de neurones aurait la charge de donner une valeur éthique à une action, dans un contexte perçu par le SALA. J’aimerais tenter l’expérience, à partir d’une modélisation simplifiée de situations de combat, afin de déterminer quelles seraient les données d’entrées réellement nécessaires. J’aurais voulu pouvoir développer beaucoup plus ce point dans le livre, afin de rendre l’architecture de programmation que je propose plus détaillée, et peut-être plus percutante. Les premiers retours de lecteurs sont intéressants, car ils diffèrent selon le degré de connaissance du monde militaire. J’ai par exemple été contacté par des ingénieurs de l’armement qui ont beaucoup aimé le livre et ont trouvé très pertinent le raisonnement qui y est conduit. Mais certains lecteurs, très peu au fait des équipements militaires actuels, me reprochent de ne pas avoir établi un état des lieux des SALA existants. Or le fait est qu’il n’en existe encore aucun, mais je crois qu’ils auraient aimé que je liste les différents robots militaires qui sont employés dans le monde en démontrant qu’ils ne sont pas autonomes. Je n’avais pas envie de perdre de temps avec cela, mais peut-être que le lectorat novice en la matière aurait eu les idées plus claires sur la différence entre technologie autonome, automatique et téléopérée, que je définis pourtant en introduction. Je soupçonne également certains d’être déçus de ne pas y trouver des prédictions apocalyptiques sur la fin de l’homme ou des paris sur la célèbre singularité technologique. Le fait est que le conditionnel est très présent dans mon raisonnement, et que je tente de demeurer le plus réaliste possible. Je déteste les faiseurs d’oracles, dignes héritiers du devin d’Astérix, qui assènent des certitudes sur le devenir de la technologie pour faire peur à madame Michu. C’est certainement bien plus vendeur, mais ils participent ainsi à maintenir la plupart des gens dans une méconnaissance nourrie de craintes exagérées. J’ai voulu mener une réflexion plus pragmatique, à partir de mes connaissances du combat et de la psychologie humaine qui y est associée, et j’espère avoir réussi à respecter une certaine rigueur scientifique tout au long de l’ouvrage.
Propos recueillis par Joseph Henrotin, le 15 mars 2018.
Traduit de l’anglais par Gabriela Boutherin.
Légende de la photo en première page : La robotique de combat est encore loin d’avoir acquis son autonomie. Torpilles et missiles fire and forget sont certes autonomes, mais au regard d’une catégorie spécifique de cibles et dans des conditions d’emploi qui le sont tout autant. (© Pavel Chagoshkin/Shutterstock)
