Par Dr Az-Eddine Bennani
Le Rapport annuel 2025 du Conseil économique, social et environnemental place les enjeux humains de la transformation numérique parmi les points de vigilance qui appellent une attention particulière. Le constat est important : avec l’accélération de l’intelligence artificielle, la question n’est plus seulement celle des infrastructures, des technologies ou même de leur diffusion. Elle devient celle de notre capacité collective à comprendre, maîtriser et orienter leurs usages.
Le CESE appelle ainsi à une transformation numérique et à une intelligence artificielle « centrées sur la capacitation humaine ». Il considère que cette orientation devrait constituer un principe structurant des politiques publiques et notamment de la stratégie Maroc Digital 2030. L’objectif est double : favoriser une utilisation large, responsable et encadrée de l’IA, tout en créant les conditions d’émergence d’une industrie nationale de l’intelligence artificielle, notamment dans des secteurs prioritaires comme la santé, l’éducation et l’agriculture.
Cette orientation mérite d’être soulignée. Elle marque un changement de perspective. Le CESE estime en effet que l’enjeu ne réside plus uniquement dans le développement des technologies, mais dans la capacité des citoyennes, des citoyens et de la société à comprendre, utiliser et maîtriser les systèmes numériques et les solutions d’intelligence artificielle. Il met notamment en avant le discernement, l’esprit critique, l’autonomie de jugement, ainsi que les capacités d’apprentissage et d’adaptation.
Mais une question supplémentaire apparaît aujourd’hui avec le développement des agents d’intelligence artificielle : mettre l’humain au centre suffit-il encore ?
Pendant longtemps, l’IA a principalement produit des résultats que l’humain consultait, interprétait ou utilisait. Avec les agents, une nouvelle étape se dessine. Des logiciels peuvent désormais être conçus pour enchaîner plusieurs opérations, mobiliser des ressources informatiques, accéder à certaines données, solliciter d’autres logiciels et exécuter des actions dans les limites définies par leurs programmes, leurs autorisations et leur environnement technique.
Nous passons progressivement d’une IA qui répond à une IA qui peut agir.
La centralité de l’humain doit donc devenir autre chose qu’un principe. Elle doit pouvoir être traduite dans l’architecture même des systèmes.
Dire que l’humain reste responsable ne suffit pas si l’on ne sait pas précisément à quel moment il peut intervenir, quelle décision il doit valider, quelles ressources l’agent peut mobiliser et quelles actions lui sont interdites.
C’est dans cette perspective que j’ai proposé le principe d’AI Light : un dispositif de gouvernance destiné au pilotage, à la supervision et au contrôle humain des agents d’intelligence artificielle.
Une série de tribunes décrit et développe progressivement le concept d’AI LIGHT que je propose. Trois d’entre elles ont déjà été publiées par L’ODJ. Elles développent, de façon concrète et opérationnelle, comment cette approche peut être mise en œuvre pour donner à l’humain un contrôle effectif sur les agents d’intelligence artificielle. D’autres tribunes suivront. Elles développeront, préciseront et exploreront davantage le concept d’AI LIGHT, toujours de façon concrète et opérationnelle.
L’image du feu de circulation est volontairement simple.
Il doit exister des zones vertes dans lesquelles l’agent peut exécuter les actions qui lui ont été explicitement autorisées.
Des zones orange dans lesquelles son action doit être conditionnée, surveillée ou soumise à validation.
Et des zones rouges qu’il ne doit pas pouvoir franchir.
Cette logique conduit à une deuxième proposition : avant toute autonomie, un agent d’IA devrait recevoir un contrat d’exécution.
Il ne s’agit évidemment pas d’un contrat au sens juridique classique entre deux personnes. Il s’agit d’un ensemble explicite de règles définissant ce que le logiciel est autorisé à exécuter.
Pour quelle mission ? Pendant combien de temps ? Sur quelles données ? Avec quelles ressources ? Avec quels droits d’accès ?
Jusqu’à quel niveau de décision ? Dans quelles circonstances doit-il demander une validation humaine ? Quelles opérations lui sont interdites ? Comment arrêter son exécution ? Et surtout : comment conserver la trace de ce qu’il a réellement fait ?
Ces questions transforment profondément la notion de contrôle humain.
Le contrôle humain ne peut pas se limiter à placer une personne devant un écran en lui demandant de superviser un système dont elle ne connaîtrait ni les droits, ni les actions possibles, ni les limites.
Le contrôle suppose de pouvoir observer, comprendre, autoriser, refuser et interrompre.
Cette exigence rejoint d’ailleurs directement le diagnostic du CESE. Celui-ci constate que les initiatives existantes restent encore largement sectorielles et qu’elles demeurent principalement centrées sur les dimensions techniques ou sécuritaires du numérique, tandis que les dimensions humaines, sociales, cognitives et comportementales restent insuffisamment prises en compte dans la conception et l’évaluation des politiques publiques.
Il recommande également une gouvernance nationale coordonnée et anticipative des transformations numériques et de l’intelligence artificielle, fondée notamment sur un pilotage interministériel et des mécanismes de suivi, d’évaluation et d’ajustement continu.
Il faut maintenant prolonger cette logique jusqu’au niveau de l’exécution.
Car la gouvernance de l’IA ne se joue pas seulement dans les stratégies nationales, les textes, les comités ou les principes éthiques. Elle se joue aussi, très concrètement, au moment où un logiciel reçoit l’autorisation d’agir.
Qui lui donne cette autorisation ? Selon quelles règles ? Pour quelle durée ? Avec quelles limites ? Qui contrôle son exécution ? Qui peut l’arrêter ? Et qui répond de ce qui a été effectivement exécuté ?
Ces questions deviendront probablement encore plus importantes à mesure que les agents d’IA seront intégrés aux entreprises, aux administrations, aux services publics et à nos usages quotidiens.
Le rapport du CESE a raison de rappeler que l’intelligence artificielle doit rester centrée sur l’humain.
Mais l’étape suivante consiste désormais à rendre cette centralité observable, vérifiable et exécutable.
Mettre l’humain au centre est un principe.
Lui donner les moyens de garder la main doit devenir une architecture de gouvernance.
Le CESE appelle ainsi à une transformation numérique et à une intelligence artificielle « centrées sur la capacitation humaine ». Il considère que cette orientation devrait constituer un principe structurant des politiques publiques et notamment de la stratégie Maroc Digital 2030. L’objectif est double : favoriser une utilisation large, responsable et encadrée de l’IA, tout en créant les conditions d’émergence d’une industrie nationale de l’intelligence artificielle, notamment dans des secteurs prioritaires comme la santé, l’éducation et l’agriculture.
Cette orientation mérite d’être soulignée. Elle marque un changement de perspective. Le CESE estime en effet que l’enjeu ne réside plus uniquement dans le développement des technologies, mais dans la capacité des citoyennes, des citoyens et de la société à comprendre, utiliser et maîtriser les systèmes numériques et les solutions d’intelligence artificielle. Il met notamment en avant le discernement, l’esprit critique, l’autonomie de jugement, ainsi que les capacités d’apprentissage et d’adaptation.
Mais une question supplémentaire apparaît aujourd’hui avec le développement des agents d’intelligence artificielle : mettre l’humain au centre suffit-il encore ?
Pendant longtemps, l’IA a principalement produit des résultats que l’humain consultait, interprétait ou utilisait. Avec les agents, une nouvelle étape se dessine. Des logiciels peuvent désormais être conçus pour enchaîner plusieurs opérations, mobiliser des ressources informatiques, accéder à certaines données, solliciter d’autres logiciels et exécuter des actions dans les limites définies par leurs programmes, leurs autorisations et leur environnement technique.
Nous passons progressivement d’une IA qui répond à une IA qui peut agir.
La centralité de l’humain doit donc devenir autre chose qu’un principe. Elle doit pouvoir être traduite dans l’architecture même des systèmes.
Dire que l’humain reste responsable ne suffit pas si l’on ne sait pas précisément à quel moment il peut intervenir, quelle décision il doit valider, quelles ressources l’agent peut mobiliser et quelles actions lui sont interdites.
C’est dans cette perspective que j’ai proposé le principe d’AI Light : un dispositif de gouvernance destiné au pilotage, à la supervision et au contrôle humain des agents d’intelligence artificielle.
Une série de tribunes décrit et développe progressivement le concept d’AI LIGHT que je propose. Trois d’entre elles ont déjà été publiées par L’ODJ. Elles développent, de façon concrète et opérationnelle, comment cette approche peut être mise en œuvre pour donner à l’humain un contrôle effectif sur les agents d’intelligence artificielle. D’autres tribunes suivront. Elles développeront, préciseront et exploreront davantage le concept d’AI LIGHT, toujours de façon concrète et opérationnelle.
L’image du feu de circulation est volontairement simple.
Il doit exister des zones vertes dans lesquelles l’agent peut exécuter les actions qui lui ont été explicitement autorisées.
Des zones orange dans lesquelles son action doit être conditionnée, surveillée ou soumise à validation.
Et des zones rouges qu’il ne doit pas pouvoir franchir.
Cette logique conduit à une deuxième proposition : avant toute autonomie, un agent d’IA devrait recevoir un contrat d’exécution.
Il ne s’agit évidemment pas d’un contrat au sens juridique classique entre deux personnes. Il s’agit d’un ensemble explicite de règles définissant ce que le logiciel est autorisé à exécuter.
Pour quelle mission ? Pendant combien de temps ? Sur quelles données ? Avec quelles ressources ? Avec quels droits d’accès ?
Jusqu’à quel niveau de décision ? Dans quelles circonstances doit-il demander une validation humaine ? Quelles opérations lui sont interdites ? Comment arrêter son exécution ? Et surtout : comment conserver la trace de ce qu’il a réellement fait ?
Ces questions transforment profondément la notion de contrôle humain.
Le contrôle humain ne peut pas se limiter à placer une personne devant un écran en lui demandant de superviser un système dont elle ne connaîtrait ni les droits, ni les actions possibles, ni les limites.
Le contrôle suppose de pouvoir observer, comprendre, autoriser, refuser et interrompre.
Cette exigence rejoint d’ailleurs directement le diagnostic du CESE. Celui-ci constate que les initiatives existantes restent encore largement sectorielles et qu’elles demeurent principalement centrées sur les dimensions techniques ou sécuritaires du numérique, tandis que les dimensions humaines, sociales, cognitives et comportementales restent insuffisamment prises en compte dans la conception et l’évaluation des politiques publiques.
Il recommande également une gouvernance nationale coordonnée et anticipative des transformations numériques et de l’intelligence artificielle, fondée notamment sur un pilotage interministériel et des mécanismes de suivi, d’évaluation et d’ajustement continu.
Il faut maintenant prolonger cette logique jusqu’au niveau de l’exécution.
Car la gouvernance de l’IA ne se joue pas seulement dans les stratégies nationales, les textes, les comités ou les principes éthiques. Elle se joue aussi, très concrètement, au moment où un logiciel reçoit l’autorisation d’agir.
Qui lui donne cette autorisation ? Selon quelles règles ? Pour quelle durée ? Avec quelles limites ? Qui contrôle son exécution ? Qui peut l’arrêter ? Et qui répond de ce qui a été effectivement exécuté ?
Ces questions deviendront probablement encore plus importantes à mesure que les agents d’IA seront intégrés aux entreprises, aux administrations, aux services publics et à nos usages quotidiens.
Le rapport du CESE a raison de rappeler que l’intelligence artificielle doit rester centrée sur l’humain.
Mais l’étape suivante consiste désormais à rendre cette centralité observable, vérifiable et exécutable.
Mettre l’humain au centre est un principe.
Lui donner les moyens de garder la main doit devenir une architecture de gouvernance.