La quatrième tribune de cette série se terminait par une question que je considère désormais comme centrale : il ne suffit plus de demander si l’humain restera « dans la boucle ». Il faut demander : quel humain, dans quelle boucle, devant quelles informations, avec quelles compétences, quelle autorité et quelle capacité réelle d’arrêter l’agent ?

Cette question mérite que l’on s’y arrête.

Depuis plusieurs années, nous répétons que l’intelligence artificielle doit rester sous contrôle humain. Le principe paraît rassurant. Mais il risque de devenir une formule vide si nous ne précisons pas ce que signifie réellement ce contrôle.
Placer un humain devant un écran ne suffit pas à créer une supervision humaine.

Encore faut-il que cette personne comprenne ce qu’elle observe, puisse interpréter les informations qui lui sont présentées, connaisse le contexte dans lequel l’agent agit, dispose de l’autorité nécessaire pour intervenir et puisse effectivement ralentir, suspendre ou arrêter son activité.

C’est précisément là que la Tour de Contrôle des Agents proposée dans AI Light prend sa dimension humaine et organisationnelle.

Cette réflexion trouve un éclairage particulièrement intéressant dans les travaux de Bruno Latour, notamment dans « La Science en action », publié en 1987.

Bruno Latour y montrait notamment que la production de connaissances ne peut être comprise en isolant le chercheur des instruments, des données, des textes, des laboratoires, des institutions et des autres acteurs avec lesquels il interagit. La connaissance se construit dans un réseau.

Cette manière de regarder les systèmes sociotechniques devient particulièrement intéressante avec les agents d’intelligence artificielle.

Un agent n’agit jamais seul.

Il agit à l’intérieur d’un environnement construit par des humains. Il utilise des programmes informatiques. Il accède à certaines données. Il mobilise des ressources. Il communique éventuellement avec d’autres agents ou d’autres systèmes. Il intervient dans des processus organisationnels. Il est soumis à des autorisations et à des interdictions. Et ses actions peuvent avoir des conséquences sur des personnes, des organisations ou des décisions.

L’erreur serait alors de regarder uniquement l’agent.

Ce qu’il faut superviser, c’est également le réseau dans lequel son autonomie s’exerce.
Cette observation renforce, à mes yeux, la logique d’AI Light.
Le contrat d’exécution définit la mission de l’agent, ses autorisations et ses limites.
Le Rapport d’Activité Continu rend visibles ses actions significatives, les ressources qu’il mobilise, les décisions qu’il prend et les éventuels écarts par rapport au cadre qui lui a été confié.

La Tour de Contrôle des Agents donne au superviseur une représentation globale de cette activité.

Mais aucune de ces composantes ne suffit si l’humain qui reçoit l’information n’est pas capable de lui donner un sens.

C’est probablement ici que nous devons sortir d’une vision exclusivement technique de la supervision.

Imaginons un agent utilisé dans une banque. Un spécialiste de l’intelligence artificielle pourra détecter un comportement informatique inhabituel. Mais il ne saura pas nécessairement déterminer si une opération constitue un risque financier, réglementaire ou commercial.

Dans un hôpital, un ingénieur pourra constater qu’un agent s’écarte d’un comportement attendu. Il ne sera pas pour autant compétent pour apprécier seul les conséquences médicales de cet écart.

Dans une administration, un spécialiste des systèmes d’information pourra identifier une anomalie technique sans nécessairement mesurer ses conséquences juridiques ou sociales.

La supervision ne peut donc pas reposer sur un profil humain unique.

C’est une conséquence importante pour AI Light : la question n’est pas seulement de maintenir « un humain » dans la boucle, mais de placer le bon humain dans la bonne boucle.

Selon la mission confiée à l’agent et le niveau de risque, cette supervision pourra nécessiter des compétences techniques, métier, juridiques, éthiques, organisationnelles ou managériales.

Elle pourra même nécessiter plusieurs niveaux d’intervention.
Une première anomalie pourra être traitée par un opérateur.
Une situation plus complexe pourra être transmise à un expert métier.

Une décision susceptible d’engager fortement l’organisation pourra remonter vers un responsable disposant de l’autorité nécessaire.

Le feu tricolore d’AI Light peut alors être complété par une logique d’escalade humaine.

Vert : l’agent agit normalement dans le périmètre défini par son contrat d’exécution.

Orange : une situation nécessite une interprétation, une validation ou une expertise humaine.

Rouge : l’autonomie doit être suspendue et la décision transférée à une personne disposant explicitement de l’autorité nécessaire.

Mais une difficulté supplémentaire apparaît.

Les agents d’IA peuvent traiter des informations et exécuter des opérations à une vitesse très supérieure à celle d’un humain. Si la Tour de Contrôle transmet toutes les informations au superviseur, celui-ci sera rapidement submergé.

Un humain submergé d’alertes n’est plus réellement dans la boucle.
Il est seulement devant la boucle.

AI Light doit donc gouverner non seulement l’autonomie de l’agent, mais également l’attention du superviseur.

La Tour de Contrôle doit sélectionner, hiérarchiser et contextualiser l’information. Elle ne doit pas seulement signaler qu’un événement inhabituel s’est produit. Elle doit permettre au responsable de comprendre rapidement quelle mission est concernée, quelle règle du contrat d’exécution est en jeu, quelles actions ont précédé l’alerte, quelles conséquences sont possibles et pourquoi son intervention est requise.

La technologie peut détecter un écart.

Elle peut produire une alerte.
Elle peut rassembler les informations nécessaires.

Mais la gouvernance doit déterminer qui possède la compétence et l’autorité pour décider de ce qu’il faut en faire.
La réflexion inspirée par Bruno Latour prend ici tout son sens : si l’agent appartient à un réseau sociotechnique, sa gouvernance ne peut être pensée indépendamment de ce réseau.

Gouverner un agent d’intelligence artificielle ne consiste donc pas simplement à contrôler un logiciel.

Il faut gouverner les conditions dans lesquelles ce logiciel agit, les ressources auxquelles il accède, les relations qu’il établit, les décisions auxquelles il contribue et les responsabilités humaines qui entourent son activité.

La responsabilité ne disparaît pas parce que l’agent devient plus autonome.

Au contraire, plus l’autonomie technique augmente, plus la responsabilité humaine doit être explicitement organisée.
C’est pourquoi la question « l’humain est-il dans la boucle ? » me paraît désormais insuffisante.

La véritable question est plus exigeante : quel humain doit intervenir, à quel moment, avec quelles informations, quelles compétences, quelle autorité et quelle capacité effective d’agir ?

AI Light ne doit pas seulement maintenir l’humain dans la boucle.

Il doit organiser la boucle pour que l’humain puisse réellement exercer sa responsabilité.