Par Dr Az-Eddine Bennani
Lorsque j’ai introduit le concept AI Light dans la première tribune de cette série, mon point de départ était volontairement simple : les agents d’intelligence artificielle ne « s’échappent » pas. Ils n’acquièrent pas soudainement une volonté propre. Ils agissent à l’intérieur des possibilités offertes par les programmes informatiques traduisant les algorithmes définis par leurs concepteurs, des autorisations qui leur sont accordées, des ressources auxquelles ils ont accès et des environnements techniques dans lesquels ils sont exécutés.
Le problème n’est donc pas seulement celui de l’intelligence de l’agent. Il est d’abord celui de sa gouvernance.
C’est précisément pour cette raison que j’ai proposé AI Light : un cadre permettant d’organiser le pilotage, la supervision et le contrôle humain de l’autonomie accordée aux agents d’IA.
L’image du feu tricolore permettait d’en résumer l’esprit : vert lorsque l’agent agit dans le périmètre qui lui a été confié, orange lorsqu’une situation nécessite une vigilance ou une validation humaine, rouge lorsqu’une limite est atteinte et qu’une intervention ou un arrêt devient nécessaire.
La deuxième tribune a prolongé ce raisonnement en proposant qu’avant toute autonomie, chaque agent reçoive un contrat d’exécution. Il ne suffit pas de lui assigner un objectif. Il faut également préciser ce qu’il peut faire, ce qu’il ne peut pas faire, les ressources qu’il peut utiliser, les données auxquelles il peut accéder, les décisions qu’il peut prendre seul et celles qui doivent obligatoirement revenir à un humain.
La troisième tribune a ajouté une autre exigence : entre ce contrat d’exécution et le résultat produit, il ne doit pas exister de zone d’ombre. J’ai proposé pour cela le principe d’un Rapport d’Activité Continu, permettant de savoir ce que fait l’agent pendant son activité, quelles ressources il mobilise, quelles décisions intermédiaires il prend et quels écarts éventuels apparaissent.
Une question devient alors inévitable : qui regarde ces informations et depuis quel dispositif ?
Multiplier les contrats d’exécution, les journaux d’activité, les indicateurs et les alertes ne suffit pas. Si demain une organisation utilise dix, cent ou plusieurs milliers d’agents autonomes, aucun responsable humain ne pourra suivre individuellement leurs activités en lisant des centaines de rapports.
Il faut donc passer de la supervision d’un agent à la supervision d’un système d’agents.
C’est ici qu’intervient une nouvelle composante d’AI Light : ce que je propose d’appeler la Tour de Contrôle des Agents.
L’expression n’est pas anodine. Dans le transport aérien, la tour de contrôle ne pilote pas chaque avion à la place du pilote. Elle reçoit en permanence des informations sur sa position, sa trajectoire et son environnement, les confronte aux règles de circulation et attire l’attention du contrôleur lorsque la situation exige une décision. La Tour de Contrôle des Agents reprend ce principe : elle ne se substitue ni à l’agent ni au responsable humain ; elle organise l’information nécessaire pour que l’autonomie puisse rester sous contrôle.
Son fonctionnement repose sur une chaîne simple. Chaque agent est d’abord associé à son contrat d’exécution, qui définit sa mission, ses autorisations, ses interdictions, les ressources qu’il peut utiliser, les seuils qu’il ne doit pas dépasser et les situations dans lesquelles une validation humaine devient obligatoire. Pendant l’exécution, son Rapport d’Activité Continu transmet à la tour de contrôle les événements significatifs de son activité.
La tour de contrôle rapproche alors ce que l’agent fait réellement de ce qu’il a été autorisé à faire. Elle ne se contente donc pas d’afficher des données : elle met en relation la mission prévue, l’activité observée et les règles de gouvernance applicables. Elle peut ainsi signaler qu’un agent reste dans son périmètre, qu’il approche d’une limite, qu’il sollicite une nouvelle ressource, qu’il attend une autorisation ou qu’il tente une action qui n’entre plus dans son contrat.
Le feu tricolore d’AI Light devient ainsi le mécanisme de lecture et d’action de la tour de contrôle.
En vert, l’activité est conforme au contrat d’exécution. L’agent poursuit sa mission sans solliciter inutilement le superviseur. Les événements restent néanmoins enregistrés afin de conserver une trace vérifiable de ce qui a été fait.
En orange, la tour de contrôle identifie une situation qui ne justifie pas nécessairement l’arrêt de l’agent mais qui requiert l’attention humaine. Elle présente au superviseur l’événement, son contexte, l’action envisagée, la règle concernée et le niveau de risque. Selon le contrat d’exécution, l’action peut être mise en attente jusqu’à ce que l’humain l’autorise, la refuse ou la modifie.
En rouge, une limite critique est franchie ou sur le point de l’être. L’action concernée doit être bloquée ou l’agent suspendu selon les règles prévues. La tour de contrôle transmet immédiatement au responsable humain les éléments nécessaires pour comprendre la situation et lui permet d’intervenir : arrêter l’agent, réduire ses autorisations, modifier sa mission ou décider des conditions de reprise.
Pour éviter que cette supervision ne devienne elle-même ingérable, la tour de contrôle doit aussi hiérarchiser les informations. Elle regroupe les agents par mission, processus ou niveau de risque, agrège les événements répétitifs et fait remonter en priorité les situations qui nécessitent réellement une décision. Le responsable humain dispose d’abord d’une vue globale, puis peut descendre jusqu’à l’agent, à l’événement et à l’action concernés.
Toute décision prise depuis la tour de contrôle doit enfin être tracée : qui a reçu l’alerte, quelle information lui a été présentée, quelle décision a été prise, à quel moment et avec quel effet sur l’agent. Cette traçabilité est essentielle pour l’audit, l’apprentissage organisationnel et la redevabilité. La question centrale n’est donc plus seulement : comment rendre un agent autonome ? Elle devient : comment rendre son autonomie supervisable, contrôlable et, lorsque cela est nécessaire, interrompable par un humain ?
Nous parlons souvent de « l’humain dans la boucle » comme s’il existait un humain générique, parfaitement interchangeable. Or les humains n’ont ni la même histoire avec l’informatique, ni la même relation avec les interfaces numériques, ni les mêmes habitudes de travail.
Les générations qui ont connu l’arrivée progressive de l’informatique personnelle ont appris à distinguer relativement clairement l’outil, le programme et l’utilisateur.
D’autres générations ont grandi avec Internet, le Web puis les réseaux sociaux.
Les plus jeunes évoluent désormais dans un environnement où recommandations algorithmiques, assistants numériques et contenus générés sont devenus presque ordinaires.
Il serait pourtant hasardeux d’en conclure qu’une génération serait naturellement plus apte qu’une autre à gouverner les agents d’IA.
L’habitude d’utiliser une technologie n’est pas la maîtrise de son fonctionnement.
Savoir dialoguer avec un agent d’IA n’est pas savoir le superviser.
Savoir produire rapidement un résultat avec une IA n’est pas nécessairement savoir reconnaître qu’elle franchit une limite organisationnelle, juridique, éthique ou stratégique.
Inversement, une personne qui possède une solide connaissance des processus de l’entreprise mais maîtrise moins les nouveaux outils numériques peut disposer d’un jugement indispensable lorsque l’agent doit être arrêté ou lorsqu’une décision doit être reprise par un humain.
C’est probablement l’un des défis les plus importants que pose l’IA agentique aux organisations.
La Tour de Contrôle des Agents ne peut donc pas être réduite à un tableau de bord informatique. Elle constitue un dispositif complet associant des règles de gouvernance, des mécanismes techniques de remontée d’information, une hiérarchisation des alertes et une autorité humaine capable de décider.
Il faudra déterminer qui peut superviser quels agents.
Il faudra définir quelles compétences sont nécessaires.
Il faudra former les opérateurs non seulement à l’utilisation de l’IA, mais à son contrôle.
Il faudra également éviter une autre erreur : croire qu’un humain placé devant des centaines d’alertes constitue automatiquement une supervision humaine efficace.
Un superviseur submergé d’informations ne supervise plus réellement.
AI Light doit donc aussi gouverner l’attention humaine.
La tour de contrôle doit ainsi filtrer, hiérarchiser et contextualiser les événements. Une alerte n’a de valeur que si le superviseur comprend immédiatement ce qui s’est produit, quelle règle est concernée, quel risque existe, quelle action l’agent souhaite entreprendre et quelles décisions sont à sa disposition.
La technologie peut détecter l’écart. La gouvernance doit permettre à l’humain de lui donner un sens.
On rejoint ici un principe essentiel : plus l’autonomie des agents augmente, plus la qualité du dispositif de supervision humaine devient déterminante.
Les agents d’IA peuvent agir plus vite que nous, traiter davantage d’informations et coordonner simultanément un très grand nombre d’opérations. Vouloir demander à un humain de suivre chacune de ces opérations serait irréaliste.
Mais renoncer à la supervision au motif que les agents agissent trop vite serait tout aussi dangereux.
Il faut donc changer d’échelle.
L’humain n’a pas vocation à contrôler chaque mouvement de l’agent. Il doit contrôler les conditions dans lesquelles son autonomie s’exerce, surveiller les écarts significatifs et conserver la possibilité d’intervenir.
C’est précisément le rôle que je donne à AI Light.
Le contrat d’exécution définit la mission et les limites.
Le Rapport d’Activité Continu rend l’activité visible.
La Tour de Contrôle des Agents transforme cette visibilité en capacité de supervision.
Et le feu tricolore traduit cette supervision en possibilité d’action humaine.
Nous pouvons alors reformuler une question souvent posée à propos de l’intelligence artificielle.
Il ne suffit plus de demander si l’humain restera « dans la boucle ».
Il faut demander : quel humain, dans quelle boucle, devant quelles informations, avec quelles compétences, quelle autorité et quelle capacité réelle d’arrêter l’agent ?
C’est probablement à cette condition que l’autonomie des agents d’intelligence artificielle pourra devenir une autonomie réellement gouvernée.
Le problème n’est donc pas seulement celui de l’intelligence de l’agent. Il est d’abord celui de sa gouvernance.
C’est précisément pour cette raison que j’ai proposé AI Light : un cadre permettant d’organiser le pilotage, la supervision et le contrôle humain de l’autonomie accordée aux agents d’IA.
L’image du feu tricolore permettait d’en résumer l’esprit : vert lorsque l’agent agit dans le périmètre qui lui a été confié, orange lorsqu’une situation nécessite une vigilance ou une validation humaine, rouge lorsqu’une limite est atteinte et qu’une intervention ou un arrêt devient nécessaire.
La deuxième tribune a prolongé ce raisonnement en proposant qu’avant toute autonomie, chaque agent reçoive un contrat d’exécution. Il ne suffit pas de lui assigner un objectif. Il faut également préciser ce qu’il peut faire, ce qu’il ne peut pas faire, les ressources qu’il peut utiliser, les données auxquelles il peut accéder, les décisions qu’il peut prendre seul et celles qui doivent obligatoirement revenir à un humain.
La troisième tribune a ajouté une autre exigence : entre ce contrat d’exécution et le résultat produit, il ne doit pas exister de zone d’ombre. J’ai proposé pour cela le principe d’un Rapport d’Activité Continu, permettant de savoir ce que fait l’agent pendant son activité, quelles ressources il mobilise, quelles décisions intermédiaires il prend et quels écarts éventuels apparaissent.
Une question devient alors inévitable : qui regarde ces informations et depuis quel dispositif ?
Multiplier les contrats d’exécution, les journaux d’activité, les indicateurs et les alertes ne suffit pas. Si demain une organisation utilise dix, cent ou plusieurs milliers d’agents autonomes, aucun responsable humain ne pourra suivre individuellement leurs activités en lisant des centaines de rapports.
Il faut donc passer de la supervision d’un agent à la supervision d’un système d’agents.
C’est ici qu’intervient une nouvelle composante d’AI Light : ce que je propose d’appeler la Tour de Contrôle des Agents.
L’expression n’est pas anodine. Dans le transport aérien, la tour de contrôle ne pilote pas chaque avion à la place du pilote. Elle reçoit en permanence des informations sur sa position, sa trajectoire et son environnement, les confronte aux règles de circulation et attire l’attention du contrôleur lorsque la situation exige une décision. La Tour de Contrôle des Agents reprend ce principe : elle ne se substitue ni à l’agent ni au responsable humain ; elle organise l’information nécessaire pour que l’autonomie puisse rester sous contrôle.
Son fonctionnement repose sur une chaîne simple. Chaque agent est d’abord associé à son contrat d’exécution, qui définit sa mission, ses autorisations, ses interdictions, les ressources qu’il peut utiliser, les seuils qu’il ne doit pas dépasser et les situations dans lesquelles une validation humaine devient obligatoire. Pendant l’exécution, son Rapport d’Activité Continu transmet à la tour de contrôle les événements significatifs de son activité.
La tour de contrôle rapproche alors ce que l’agent fait réellement de ce qu’il a été autorisé à faire. Elle ne se contente donc pas d’afficher des données : elle met en relation la mission prévue, l’activité observée et les règles de gouvernance applicables. Elle peut ainsi signaler qu’un agent reste dans son périmètre, qu’il approche d’une limite, qu’il sollicite une nouvelle ressource, qu’il attend une autorisation ou qu’il tente une action qui n’entre plus dans son contrat.
Le feu tricolore d’AI Light devient ainsi le mécanisme de lecture et d’action de la tour de contrôle.
En vert, l’activité est conforme au contrat d’exécution. L’agent poursuit sa mission sans solliciter inutilement le superviseur. Les événements restent néanmoins enregistrés afin de conserver une trace vérifiable de ce qui a été fait.
En orange, la tour de contrôle identifie une situation qui ne justifie pas nécessairement l’arrêt de l’agent mais qui requiert l’attention humaine. Elle présente au superviseur l’événement, son contexte, l’action envisagée, la règle concernée et le niveau de risque. Selon le contrat d’exécution, l’action peut être mise en attente jusqu’à ce que l’humain l’autorise, la refuse ou la modifie.
En rouge, une limite critique est franchie ou sur le point de l’être. L’action concernée doit être bloquée ou l’agent suspendu selon les règles prévues. La tour de contrôle transmet immédiatement au responsable humain les éléments nécessaires pour comprendre la situation et lui permet d’intervenir : arrêter l’agent, réduire ses autorisations, modifier sa mission ou décider des conditions de reprise.
Pour éviter que cette supervision ne devienne elle-même ingérable, la tour de contrôle doit aussi hiérarchiser les informations. Elle regroupe les agents par mission, processus ou niveau de risque, agrège les événements répétitifs et fait remonter en priorité les situations qui nécessitent réellement une décision. Le responsable humain dispose d’abord d’une vue globale, puis peut descendre jusqu’à l’agent, à l’événement et à l’action concernés.
Toute décision prise depuis la tour de contrôle doit enfin être tracée : qui a reçu l’alerte, quelle information lui a été présentée, quelle décision a été prise, à quel moment et avec quel effet sur l’agent. Cette traçabilité est essentielle pour l’audit, l’apprentissage organisationnel et la redevabilité. La question centrale n’est donc plus seulement : comment rendre un agent autonome ? Elle devient : comment rendre son autonomie supervisable, contrôlable et, lorsque cela est nécessaire, interrompable par un humain ?
Nous parlons souvent de « l’humain dans la boucle » comme s’il existait un humain générique, parfaitement interchangeable. Or les humains n’ont ni la même histoire avec l’informatique, ni la même relation avec les interfaces numériques, ni les mêmes habitudes de travail.
Les générations qui ont connu l’arrivée progressive de l’informatique personnelle ont appris à distinguer relativement clairement l’outil, le programme et l’utilisateur.
D’autres générations ont grandi avec Internet, le Web puis les réseaux sociaux.
Les plus jeunes évoluent désormais dans un environnement où recommandations algorithmiques, assistants numériques et contenus générés sont devenus presque ordinaires.
Il serait pourtant hasardeux d’en conclure qu’une génération serait naturellement plus apte qu’une autre à gouverner les agents d’IA.
L’habitude d’utiliser une technologie n’est pas la maîtrise de son fonctionnement.
Savoir dialoguer avec un agent d’IA n’est pas savoir le superviser.
Savoir produire rapidement un résultat avec une IA n’est pas nécessairement savoir reconnaître qu’elle franchit une limite organisationnelle, juridique, éthique ou stratégique.
Inversement, une personne qui possède une solide connaissance des processus de l’entreprise mais maîtrise moins les nouveaux outils numériques peut disposer d’un jugement indispensable lorsque l’agent doit être arrêté ou lorsqu’une décision doit être reprise par un humain.
C’est probablement l’un des défis les plus importants que pose l’IA agentique aux organisations.
La Tour de Contrôle des Agents ne peut donc pas être réduite à un tableau de bord informatique. Elle constitue un dispositif complet associant des règles de gouvernance, des mécanismes techniques de remontée d’information, une hiérarchisation des alertes et une autorité humaine capable de décider.
Il faudra déterminer qui peut superviser quels agents.
Il faudra définir quelles compétences sont nécessaires.
Il faudra former les opérateurs non seulement à l’utilisation de l’IA, mais à son contrôle.
Il faudra également éviter une autre erreur : croire qu’un humain placé devant des centaines d’alertes constitue automatiquement une supervision humaine efficace.
Un superviseur submergé d’informations ne supervise plus réellement.
AI Light doit donc aussi gouverner l’attention humaine.
La tour de contrôle doit ainsi filtrer, hiérarchiser et contextualiser les événements. Une alerte n’a de valeur que si le superviseur comprend immédiatement ce qui s’est produit, quelle règle est concernée, quel risque existe, quelle action l’agent souhaite entreprendre et quelles décisions sont à sa disposition.
La technologie peut détecter l’écart. La gouvernance doit permettre à l’humain de lui donner un sens.
On rejoint ici un principe essentiel : plus l’autonomie des agents augmente, plus la qualité du dispositif de supervision humaine devient déterminante.
Les agents d’IA peuvent agir plus vite que nous, traiter davantage d’informations et coordonner simultanément un très grand nombre d’opérations. Vouloir demander à un humain de suivre chacune de ces opérations serait irréaliste.
Mais renoncer à la supervision au motif que les agents agissent trop vite serait tout aussi dangereux.
Il faut donc changer d’échelle.
L’humain n’a pas vocation à contrôler chaque mouvement de l’agent. Il doit contrôler les conditions dans lesquelles son autonomie s’exerce, surveiller les écarts significatifs et conserver la possibilité d’intervenir.
C’est précisément le rôle que je donne à AI Light.
Le contrat d’exécution définit la mission et les limites.
Le Rapport d’Activité Continu rend l’activité visible.
La Tour de Contrôle des Agents transforme cette visibilité en capacité de supervision.
Et le feu tricolore traduit cette supervision en possibilité d’action humaine.
Nous pouvons alors reformuler une question souvent posée à propos de l’intelligence artificielle.
Il ne suffit plus de demander si l’humain restera « dans la boucle ».
Il faut demander : quel humain, dans quelle boucle, devant quelles informations, avec quelles compétences, quelle autorité et quelle capacité réelle d’arrêter l’agent ?
C’est probablement à cette condition que l’autonomie des agents d’intelligence artificielle pourra devenir une autonomie réellement gouvernée.