Pendant la guerre froide, les États-Unis et l'Union soviétique avaient découvert une vérité étrange.
On peut être adversaires, se méfier profondément l'un de l'autre, accumuler des armes et malgré tout avoir un intérêt commun : éviter qu'une erreur déclenche l'irréparable.
C'est de cette logique qu'étaient nés les mécanismes de communication de crise, les accords de maîtrise des armements et différentes règles destinées à réduire les risques d'escalade nucléaire.
Près de quatre-vingts ans après Hiroshima, une question nouvelle apparaît. Faudra-t-il inventer quelque chose de comparable pour l'intelligence artificielle ?
Des experts américains et chinois travaillant dans le cadre d'un dialogue bilatéral proposent précisément plusieurs garde-fous pour l'IA militaire.
On peut être adversaires, se méfier profondément l'un de l'autre, accumuler des armes et malgré tout avoir un intérêt commun : éviter qu'une erreur déclenche l'irréparable.
C'est de cette logique qu'étaient nés les mécanismes de communication de crise, les accords de maîtrise des armements et différentes règles destinées à réduire les risques d'escalade nucléaire.
Près de quatre-vingts ans après Hiroshima, une question nouvelle apparaît. Faudra-t-il inventer quelque chose de comparable pour l'intelligence artificielle ?
Des experts américains et chinois travaillant dans le cadre d'un dialogue bilatéral proposent précisément plusieurs garde-fous pour l'IA militaire.
Une IA touche un système nucléaire. qui a attaqué ?
Imaginons un scénario.
Un agent d'intelligence artificielle utilisé dans une opération cyber militaire reçoit une mission relativement large. Il explore le réseau adverse, identifie une vulnérabilité et entre dans un système qu'il ne devait théoriquement pas toucher. Ce système participe au commandement nucléaire.
Que voit le pays attaqué ?
Pas nécessairement un agent ayant dépassé sa mission. Il peut voir une intrusion ennemie dans l'une de ses infrastructures les plus sensibles.
Et il doit décider très vite s'il s'agit d'un accident, d'une reconnaissance, d'une préparation d'attaque ou du début d'une opération beaucoup plus grave.
Un agent d'intelligence artificielle utilisé dans une opération cyber militaire reçoit une mission relativement large. Il explore le réseau adverse, identifie une vulnérabilité et entre dans un système qu'il ne devait théoriquement pas toucher. Ce système participe au commandement nucléaire.
Que voit le pays attaqué ?
Pas nécessairement un agent ayant dépassé sa mission. Il peut voir une intrusion ennemie dans l'une de ses infrastructures les plus sensibles.
Et il doit décider très vite s'il s'agit d'un accident, d'une reconnaissance, d'une préparation d'attaque ou du début d'une opération beaucoup plus grave.
La vitesse de l'IA peut devenir son principal danger
Un général humain peut hésiter, téléphoner, demander confirmation, attendre une deuxième source.
Un agent logiciel peut enchaîner les opérations en quelques secondes. C'est parfois précisément ce que l'on attend de lui. Mais dans une crise militaire, la vitesse devient ambivalente.
Elle permet d'agir plus rapidement. Elle réduit également le temps disponible pour empêcher une erreur.
Le problème n'est donc pas seulement : « une IA peut-elle se tromper ? » Évidemment qu'elle le peut.
La vraie question est : « Combien de temps reste-t-il à un humain pour corriger son erreur ? »
Un agent logiciel peut enchaîner les opérations en quelques secondes. C'est parfois précisément ce que l'on attend de lui. Mais dans une crise militaire, la vitesse devient ambivalente.
Elle permet d'agir plus rapidement. Elle réduit également le temps disponible pour empêcher une erreur.
Le problème n'est donc pas seulement : « une IA peut-elle se tromper ? » Évidemment qu'elle le peut.
La vraie question est : « Combien de temps reste-t-il à un humain pour corriger son erreur ? »
Trois règles commencent à émerger
Les propositions issues du dialogue sino-américain tournent notamment autour de trois idées.
D'abord, préserver une autorité humaine sur les décisions militaires les plus critiques.
Ensuite, définir des lignes rouges autour des systèmes nucléaires et de certaines cyberopérations stratégiques.
Enfin, disposer d'un mécanisme direct de communication permettant aux deux puissances de clarifier rapidement un incident impliquant une IA autonome.
Une sorte de téléphone rouge pour l'âge des agents.
D'abord, préserver une autorité humaine sur les décisions militaires les plus critiques.
Ensuite, définir des lignes rouges autour des systèmes nucléaires et de certaines cyberopérations stratégiques.
Enfin, disposer d'un mécanisme direct de communication permettant aux deux puissances de clarifier rapidement un incident impliquant une IA autonome.
Une sorte de téléphone rouge pour l'âge des agents.
Mais ce n'est pas un accord américano-chinois
La nuance est fondamentale.
Washington et Pékin n'ont pas signé un traité sur l'IA militaire. Les propositions viennent d'experts participant à un dialogue qui alimente la réflexion officielle.
Les divergences entre les deux puissances sur l'intelligence artificielle restent profondes, qu'il s'agisse des semi-conducteurs, de l'accès aux technologies, de la régulation ou des usages militaires.
Mais les adversaires n'ont pas besoin d'être d'accord sur tout pour partager une peur. Ils doivent simplement considérer qu'une erreur incontrôlée leur coûterait davantage qu'une règle commune.
Washington et Pékin n'ont pas signé un traité sur l'IA militaire. Les propositions viennent d'experts participant à un dialogue qui alimente la réflexion officielle.
Les divergences entre les deux puissances sur l'intelligence artificielle restent profondes, qu'il s'agisse des semi-conducteurs, de l'accès aux technologies, de la régulation ou des usages militaires.
Mais les adversaires n'ont pas besoin d'être d'accord sur tout pour partager une peur. Ils doivent simplement considérer qu'une erreur incontrôlée leur coûterait davantage qu'une règle commune.
L'humain doit-il toujours avoir le dernier mots ?
C'est ici que la question dépasse largement Washington et Pékin.
Plus les systèmes militaires deviennent autonomes, plus la notion de « contrôle humain » devra être précisée.
Un humain qui clique sur « autoriser » après qu'une IA a sélectionné 500 cibles exerce-t-il réellement un contrôle ? Un officier disposant de trois secondes pour accepter ou refuser une recommandation algorithmique décide-t-il encore ?
Un système autorisé à riposter automatiquement sous certaines conditions reste-t-il sous contrôle humain ? Le débat juridique et militaire devra probablement distinguer la présence formelle d'un humain de son pouvoir réel de comprendre et d'arrêter.
Plus les systèmes militaires deviennent autonomes, plus la notion de « contrôle humain » devra être précisée.
Un humain qui clique sur « autoriser » après qu'une IA a sélectionné 500 cibles exerce-t-il réellement un contrôle ? Un officier disposant de trois secondes pour accepter ou refuser une recommandation algorithmique décide-t-il encore ?
Un système autorisé à riposter automatiquement sous certaines conditions reste-t-il sous contrôle humain ? Le débat juridique et militaire devra probablement distinguer la présence formelle d'un humain de son pouvoir réel de comprendre et d'arrêter.
L'Afrique ne peut pas rester hors de la discussion
On pourrait considérer cette question comme un problème réservé aux grandes puissances nucléaires. Ce serait une erreur.
L'IA militaire concernera également la cybersécurité, les drones, la surveillance, la reconnaissance, les frontières, les infrastructures critiques, les télécommunications et la guerre électronique.
Les pays africains risquent sinon de découvrir des normes déjà écrites ailleurs pour des technologies qu'ils utiliseront eux-mêmes.
Le Maroc, engagé dans sa transformation numérique et dans le développement de ses capacités technologiques, a intérêt à réfléchir tôt aux principes qu'il souhaite appliquer aux systèmes autonomes sensibles.
L'IA militaire concernera également la cybersécurité, les drones, la surveillance, la reconnaissance, les frontières, les infrastructures critiques, les télécommunications et la guerre électronique.
Les pays africains risquent sinon de découvrir des normes déjà écrites ailleurs pour des technologies qu'ils utiliseront eux-mêmes.
Le Maroc, engagé dans sa transformation numérique et dans le développement de ses capacités technologiques, a intérêt à réfléchir tôt aux principes qu'il souhaite appliquer aux systèmes autonomes sensibles.
Le bouton rouge ne suffira peut-être pas
Nous aimons l'idée rassurante d'un interrupteur. Quelqu'un surveille. La machine dérape. On appuie. Tout s'arrête.
Le monde réel sera probablement beaucoup plus compliqué.
Des milliers d'agents pourront agir simultanément sur des réseaux différents, avec des niveaux d'autonomie variables et parfois dans des délais incompatibles avec une décision humaine classique.
Le défi ne sera donc pas seulement de construire un bouton rouge. Il faudra construire des frontières rouges dans l'architecture même des systèmes : des actions qu'une IA ne peut pas entreprendre seule, des systèmes qu'elle ne peut pas cibler, des décisions qu'elle ne peut pas prendre, des situations dans lesquelles elle doit obligatoirement rendre la main.
La guerre froide avait fini par produire cette étrange sagesse : plus une technologie devient dangereuse, plus même les adversaires ont intérêt à s'entendre sur certaines erreurs qu'ils ne veulent jamais commettre.
L'intelligence artificielle militaire pourrait nous obliger à réapprendre cette leçon. Avec une difficulté supplémentaire : cette fois, la machine capable de provoquer l'incident pourrait agir beaucoup plus vite que les hommes chargés de l'empêcher.
Le monde réel sera probablement beaucoup plus compliqué.
Des milliers d'agents pourront agir simultanément sur des réseaux différents, avec des niveaux d'autonomie variables et parfois dans des délais incompatibles avec une décision humaine classique.
Le défi ne sera donc pas seulement de construire un bouton rouge. Il faudra construire des frontières rouges dans l'architecture même des systèmes : des actions qu'une IA ne peut pas entreprendre seule, des systèmes qu'elle ne peut pas cibler, des décisions qu'elle ne peut pas prendre, des situations dans lesquelles elle doit obligatoirement rendre la main.
La guerre froide avait fini par produire cette étrange sagesse : plus une technologie devient dangereuse, plus même les adversaires ont intérêt à s'entendre sur certaines erreurs qu'ils ne veulent jamais commettre.
L'intelligence artificielle militaire pourrait nous obliger à réapprendre cette leçon. Avec une difficulté supplémentaire : cette fois, la machine capable de provoquer l'incident pourrait agir beaucoup plus vite que les hommes chargés de l'empêcher.