Magazine DSI HS

Intelligence artificielle et robots militaires

En matière d’armement des drones, des débats internes ont empêché toute initiative française pendant près de quinze ans, jusqu’à ce que la ministre des Armées annonce l’armement des drones Reaper (1) lors de l’Université d’été de la Défense de 2017. On notera que cette décision est intervenue après l’armement de leurs drones par les Américains, les Russes, les Chinois, les Israéliens, les Britanniques… et surtout après l’utilisation de drones armés par Daech contre nos propres forces.

Ainsi, il aura donc fallu être rattrapé par la réalité des opérations militaires et la réalité de l’équipement des armées étrangères pour clore des débats internes juridico-éthiques sans pour autant corriger les biais de perception qui accompagnent le monde de la robotique et de l’Intelligence Artificielle (IA). Les progrès de l’IA aidant, il est incontestable que la prochaine génération de systèmes d’armes disposera d’un niveau d’automatisation beaucoup plus poussé et performant que celui que nous connaissons à ce jour. À moins de vouloir courir le risque d’un nouveau décalage avec la réalité des enjeux opérationnels et de la menace militaire, nous devons donc anticiper l’arrivée de ces futurs niveaux d’automatisation et clarifier la terminologie, les concepts d’emploi opérationnels ainsi que les corpus juridique et éthique accompagnant l’ensemble.

Des choix terminologiques bien hasardeux…

Les débats sociétaux et l’agitation médiatique auxquels nous assistons sur l’IA n’auraient probablement pas eu lieu si nous avions gardé la terminologie scientifique et technique initiale, certes peu attrayante, à savoir « traitement du signal », « traitement des données », « algorithmie » et « automatisme ». L’utilisation de ce nouveau champ lexical (intelligence, réseau de neurones, algorithme génétique, autonomie…), qui s’appuie sur des caractéristiques du vivant et de l’homme, est malheureusement source de confusions et de fantasmes dont on a du mal à gérer les conséquences. Elle présente néanmoins le gros avantage de la vulgarisation facile, et donc d’un marketing efficace : un doctorat en intelligence artificielle est nettement plus vendeur qu’un doctorat en automatisme industriel…

Malgré cette nouvelle terminologie, et sans dénier les vrais potentiels de l’IA, nous devons rester lucides quant aux performances réellement accessibles, pour ne pas dire limitées, de cette technologie, car, à ce jour, il apparaît clairement que l’intelligence artificielle reste plus artificielle qu’intelligente. Les déconvenues rapportées dans l’emploi des techniques d’IA dans de nombreux domaines (assistants vocaux, chatbot…) démontrent régulièrement que les seuls mérites de l’IA résident plus dans la puissance de calcul et la réactivité que dans la qualité de ses interactions avec l’humain.

Idéalement, nous devrions donc parler d’informatique algorithmique et non pas d’intelligence artificielle. Luc Julia, cocréateur de Siri, le logiciel de reconnaissance vocale d’Apple, a d’ailleurs publié un livre dont le titre accrocheur résume bien le besoin de revenir à du rationnel : L’intelligence artificielle n’existe pas. L’objectif affiché par l’auteur est bel et bien de « déconstruire le mythe de l’IA ». On pourrait compléter le panorama avec la déclaration récente d’Andrew Moore, vice-président de Google : « L’IA est actuellement très, très stupide »…

Sans aller jusqu’à nier l’existence de l’IA, force est de reconnaître qu’il en existe à ce jour de nombreuses définitions, certaines reposant sur des notions très anthropocentriques et implicitement sur un mythe fantasmagorique : la machine « intelligente ». On notera également que la plupart de ces définitions restent particulièrement absconses pour les non-initiés (voire également pour certains initiés). L’Organisation internationale de standardisation (ISO) doit se pencher prochainement sur le sujet, espérons qu’il en sorte une définition rationnelle et intelligible.

IA et autonomie

L’IA est souvent associée à l’autonomie des systèmes évoluant dans des environnements ouverts ou en interaction avec l’homme. De fait, l’IA consiste bien à développer des algorithmes ultra-­complexes permettant à des systèmes d’évoluer dans des situations où pour l’instant seul l’homme sait réagir à bon escient. Néanmoins, ce n’est pas parce qu’un système évolue dans un environnement ouvert et complexe à l’instar de l’homme que cela en fait un système intelligent ou autonome. Cela en fait surtout un système très bien conçu par des femmes et des hommes ultra-­formés et ultra-­qualifiés. À ce jour, très peu de sociétés peuvent se vanter d’avoir les compétences nécessaires en IA pour garantir, si besoin était, la sécurité des personnes et des biens.

L’autonomie, tout comme l’intelligence, est une des caractéristiques de l’homme qui a acquis un certain savoir-­faire et des connaissances.

Étymologiquement, l’autonomie consiste à être gouverné selon ses propres règles : l’homme est donc bien autonome, puisqu’il lui est toujours possible de sortir, à ses risques et périls, du cadre qui lui est fixé. Dans de nombreux cas, le non-­respect de la règle et la capacité à changer les règles établies dans des environnements nouveaux permettent à l’homme, par un processus quasi darwinien, d’évoluer. La désobéissance est donc également le propre de l’homme et une conséquence de l’autonomie.

Dans cette acception de la notion d’autonomie qui consiste à pouvoir « désobéir », il est peu probable que des systèmes pleinement autonomes aient leur place dans la vie publique, et encore moins dans les forces armées. Alors que tous les médias parlent de véhicule autonome pour la fin de la prochaine décennie, ce qui concourt à l’idée que l’autonomie des machines serait une réalité, le NHTSA (National Highway Transportation Safety Authority), très sérieux organe américain régulateur en matière de véhicules, n’évoque quant à lui dans sa stratégie à aucun moment un quelconque véhicule autonome, mais seulement des « automated driving systems », des « automated vehicles » et des « automation levels », suivant en cela la normalisation internationale (SAE International) en matière de véhicules sans chauffeur.

Selon SAE International et le NHTSA, le niveau ultime du véhicule automatisé, à savoir le véhicule sans volant, serait donc un véhicule « pleinement automatisé » et non pas autonome. Et pour cause, un véhicule autonome aurait la capacité de rouler sur un trottoir en prétextant que cela est plus rapide. Dans ces conditions, personne ne veut de véhicule vraiment autonome ! L’autonomie est donc essentiellement un concept de marketing et un outil de vulgarisation qui accompagne le cortège terminologique marketing de l’IA.

IA et apprentissage

On évoque souvent le fait que l’intelligence artificielle fait de l’« autoapprentissage ». On pourrait préciser utilement qu’il s’agit d’apprentissage automatique, donc non intelligent. Les travaux en matière d’apprentissage, transverses à plusieurs sciences (neurosciences, psychologie, informatique…), donnent lieu à de nombreuses théories et on peut s’accorder sur le fait qu’un processus d’apprentissage se traduit par un changement significatif et permanent des savoir-­faire, des savoirs, des connaissances et donc des règles de comportement. Pour l’humain, l’apprentissage est consubstantiel de la compréhension. Dans le cas de l’IA, l’« apprentissage » se distingue donc de la simple « mise en mémoire », en ce qu’il modifie les règles de comportement de l’IA. Il est cependant peu probable que l’IA comprenne ce qu’elle « apprend » et donne du sens à son apprentissage.

Ainsi, la mémorisation de la fable Le Lièvre et la Tortue de La Fontaine ne constitue pas un apprentissage fondamental en soi. Seule constitue un apprentissage la morale de la fable « Rien ne sert de courir, il faut partir à point » qui devient alors une nouvelle règle ayant du sens et qui modèle un comportement. De même, un joueur d’échecs électronique « mémorise » la position des pièces sur l’échiquier, en déduira le meilleur coup possible selon des algorithmes qui lui sont propres, mais en aucune manière ne réinventera les règles du jeu d’échecs et encore moins ne sortira du cadre de l’échiquier.

Enfin, la « mise en mémoire » d’une cartographie tridimensionnelle par un véhicule dit « autonome » n’aboutit pas à modifier les règles du Code de la route, mais seulement à alimenter son algorithme d’optimisation qui lui permet d’accomplir son déplacement au mieux. De fait, l’IA n’apprend pas, elle ne fait que des calculs d’optimisation, des calculs de cohérence, des calculs statistiques… : l’IA est avant tout un « agent computationnel » et c’est bien là une de ses définitions.

Même reposant sur des « agents computationnels », un apprentissage entièrement autonome, c’est-à‑dire aboutissant à de nouvelles règles de comportement non validées par l’homme, est techniquement possible. Dans les faits, ce sont ces apprentissages qui ont construit des chatbots racistes et sexistes du fait que l’environnement d’apprentissage dans lequel ils ont été plongés était raciste et sexiste. La tentation d’un apprentissage autonome (donc non supervisé et non validé par l’homme) est extrêmement forte, car elle permet, d’une part, de traiter des quantités de données gigantesques en temps quasi réel et, d’autre part, de s’affranchir des coûts monstrueux de la validation par l’homme de l’IA produite.

L’apprentissage autonome est néanmoins fondamentalement dangereux, car il n’y a que l’homme pour s’assurer, conceptuellement, que le domaine d’apprentissage n’est pas biaisé et que les résultats de l’apprentissage sont solides. Une « doctrine » possible pour « l’apprentissage autonome » consisterait donc à n’en autoriser l’utilisation que dans les phases de recherche et de développement. Lors du passage en production, la validation par l’homme devrait alors être obligatoire.

Le point de vue de la doctrine interarmées en matière d’IA

Pour les forces françaises, une doctrine interarmées (2) portant sur « l’emploi de l’intelligence artificielle et des systèmes automatisés » a été publiée en 2018. Cette doctrine était indispensable, car elle a permis de faire un pont entre une terminologie rationnelle (l’automatisme) et une terminologie marketing (l’autonomie).

Conceptuellement, la doctrine française a donc fait le choix de parler d’automatisme, qui s’appuie bien entendu sur de l’IA. Néanmoins, pour des raisons de communication, il a été nécessaire de faire référence à des systèmes semi-­autonomes et pleinement autonomes, cette terminologie étant largement utilisée dans les médias, les organisations non gouvernementales et les instances internationales (ONU, UE) alors même qu’il n’y a pas de définitions agréées et partagées sur ces concepts.

Le recours à l’IA et à des moyens matériels de plus en plus automatisés est nécessaire pour de nombreuses raisons. On retiendra surtout que le modèle d’armée française repose à ce jour sur un nombre « relativement » limité d’hommes : pour être à la hauteur de leurs missions sur le territoire national ou à l’extérieur, les armées doivent donc compenser par un recours à des moyens matériels de plus en plus automatisés et de haute technologie. En clair, si demain l’emploi de l’IA devait être limité, il faudrait envisager de revoir à la hausse le modèle d’armée actuel ou de revoir à la baisse ses missions. Dans ce contexte, que dit la doctrine ?
• Les systèmes automatisés peuvent être supervisés, semi-­autonomes ou pleinement autonomes.
• Les systèmes semi-­autonomes sont subordonnés à la chaîne de commandement qui garde la responsabilité de l’emploi de ces systèmes.
• Les systèmes pleinement autonomes ne sont pas subordonnés à une chaîne de commandement et sont capables entre autres de redéfinir leur cadre d’emploi (règles, mission…). Outre le fait que ces systèmes n’existent pas, il n’y a pas à ce jour de concept d’emploi identifié associé à ce type de système dans les armées conventionnelles respectueuses du droit international.

Pour la doctrine interarmées, le commandement est responsable de la décision de l’emploi des systèmes en tout temps et en tout lieu, ces derniers devant rester subordonnés à l’homme. Par ailleurs, le droit international humanitaire reste applicable.

Le respect du droit international humanitaire

Le droit international humanitaire, qui s’est fixé pour objectif de limiter les effets des guerres sur les populations civiles, repose sur quatre grands principes : humanité, nécessité, distinction et proportionnalité. Les débats à l’ONU en matière de SALA (Systèmes d’Armes Létaux Autonomes) font apparaître trois grands types d’arguments :
• le premier, soutenu par les ONG, développe l’idée que la robotisation, grâce à laquelle l’homme ne risque plus nécessairement sa vie, baisse le seuil d’engagement des armées. Celles-ci, ne risquant rien, seraient alors plus susceptibles d’employer la force ;
• le deuxième argument, qui commence à être développé notamment par les États-Unis, postule que la robotisation est de nature à garantir un meilleur respect du droit international humanitaire. En effet, la robotisation constitue une nouvelle alternative dans la panoplie du décideur qui peut se révéler, dans des scénarios particuliers, une option tout à fait intéressante. Dans des combats de haute intensité en zone urbaine, par exemple, des systèmes automatisés performants feraient probablement plus de place à la distinction et à l’action chirurgicale que des combats rapprochés où des civils peuvent être utilisés en bouclier humain.

À titre d’illustration sur l’ampleur des enjeux, on peut se reporter à la libération de Mossoul par les forces irakiennes en 2017. Les résultats sont édifiants : plusieurs milliers de civils pris en otages et tués, victimes de l’État islamique, mais aussi des bombardements et de la coalition, une ville détruite dont la reconstruction coûtera plusieurs milliards de dollars, sans compter les pertes de l’ordre de 30 % dans la « Golden Division », la division d’élite de l’armée irakienne ;
• le dernier argument alimentant les débats sur les SALA est lié au devoir d’efficience des armées qui doivent pouvoir mener leurs actions et défendre le droit. Cette nécessité entraîne le devoir de s’armer des technologies les plus efficientes.

Force est de constater que l’ensemble des arguments, qu’ils soient en faveur ou en défaveur des SALA, sont recevables. Dans ces conditions, il n’est pas évident qu’un nouveau droit international naisse des travaux sur les SALA.

Les pays les plus influents (et les plus concernés) verraient certainement d’un mauvais œil une limitation de leur capacité opérationnelle alors même que les technologies de l’automatisation et de la robotisation font apparaître des gains de performances inégalés. Au regard des éléments précédents, on conçoit que, à court et à moyen termes, les systèmes seront de plus en plus automatisés, subordonnés à une chaîne de commandement et régis par les seules règles qui leur ont été données par le commandement.

Conclusions

L’intelligence et l’autonomie de décision sont le propre de l’homme et du vivant. L’association du qualificatif « autonome » à des technologies informatiques est à ce jour un contresens, de même que tout programmeur sait bien qu’une machine ne décide pas et ne fait qu’exécuter une suite d’instructions informatiques. Affirmer que la machine « décide » concourt principalement à nier la responsabilité de l’homme dans la programmation informatique.

Nous avons commis collectivement (le monde scientifique, le monde industriel, les médias…) l’erreur d’un choix sémantique et terminologique prêtant à confusion en calquant sur le monde matériel des caractéristiques du monde du vivant : apprentissage, intelligence, autonomie… Nous devons désormais en assumer les conséquences et gérer les fantasmes que ces choix génèrent, car nous nous retrouvons désormais dans la situation d’un enfant à qui on a raconté l’histoire du docteur Frankenstein et dont on s’étonne qu’il fasse des cauchemars.

Il devient de plus en plus indispensable que les « sachants » affirment que tant qu’il ne s’agira que d’intelligence artificielle faible (et tout porte à croire que l’IA forte pourrait n’être qu’une utopie), basée sur des automatismes et des algorithmes, l’homme restera responsable de son œuvre et maître de son destin. Un « gendarme de l’intelligence artificielle » et des comités d’éthique seront néanmoins probablement nécessaires pour accompagner les transformations sociétales profondes à venir.

Quant au monde militaire, il n’échappe pas aux besoins de clarification terminologique, d’évolution des concepts opérationnels et d’élaboration de principes éthiques inhérents à toute nouvelle technologie. Mais surtout, il lui revient de réaffirmer la place de l’homme dans l’utilisation de la technologie, cette dernière devant lui rester subordonnée.

Les éléments ci-dessus n’engagent que leur auteur.

Notes

(1) Reaper : drone aérien américain longue endurance à des fins d’observation et pouvant être armé. Les Reaper français achetés initialement n’étaient pas armables.

(2) Concept exploratoire interarmées : CEIA 3.0.2_I.A.&SYST-AUT(2018) N°75/ARM/CICDE/NP du 19 juillet 2018.

Légende de la photo : l’État islamique a militarisé des drones commerciaux, mais a également développé les siens dans une logique proto-industrielle. (© Yana Mavlyutova/Shutterstock)

Article paru dans la revue DSI hors-série n°65, « Intelligence artificielle – Vers une révolution militaire ? », avril-mai 2019.
0
Votre panier