La première tribune de cette série montrait qu’un agent d’intelligence artificielle ne « s’échappe » pas.
Lorsqu’il adopte un comportement inattendu, ce n’est pas parce qu’il développe une volonté propre, mais parce qu’il agit dans un cadre technique, organisationnel ou informationnel dont la gouvernance présente des insuffisances.
Une fois ce constat établi, une question devient incontournable : avant même de mettre un agent en service, que devons-nous définir pour encadrer son autonomie ?
Aujourd’hui, la plupart des organisations concentrent leurs efforts sur les performances des modèles, les capacités des agents ou les gains de productivité attendus. Elles consacrent en revanche beaucoup moins d’attention à une question pourtant fondamentale : quelles sont précisément les limites dans lesquelles ces agents sont autorisés à agir ?
Cette situation contraste avec toutes les pratiques de gouvernance que nous connaissons déjà. Aucun salarié n’intègre une organisation sans fiche de poste. Aucun dirigeant n’exerce sans délégation de pouvoir. Aucun prestataire n’intervient sans contrat.
Aucun système critique n’est mis en production sans règles d’exploitation clairement définies.
Pourquoi accepterions-nous qu’un agent d’intelligence artificielle bénéficie d’une autonomie opérationnelle sans que son périmètre d’action soit formellement établi avant son activation ?
Une fois ce constat établi, une question devient incontournable : avant même de mettre un agent en service, que devons-nous définir pour encadrer son autonomie ?
Aujourd’hui, la plupart des organisations concentrent leurs efforts sur les performances des modèles, les capacités des agents ou les gains de productivité attendus. Elles consacrent en revanche beaucoup moins d’attention à une question pourtant fondamentale : quelles sont précisément les limites dans lesquelles ces agents sont autorisés à agir ?
Cette situation contraste avec toutes les pratiques de gouvernance que nous connaissons déjà. Aucun salarié n’intègre une organisation sans fiche de poste. Aucun dirigeant n’exerce sans délégation de pouvoir. Aucun prestataire n’intervient sans contrat.
Aucun système critique n’est mis en production sans règles d’exploitation clairement définies.
Pourquoi accepterions-nous qu’un agent d’intelligence artificielle bénéficie d’une autonomie opérationnelle sans que son périmètre d’action soit formellement établi avant son activation ?
Le premier principe d’AI Light consiste précisément à répondre à cette question en introduisant ce que j’appelle un contrat d’exécution.
Il ne s’agit pas d’un contrat juridique mais d’un contrat de gouvernance, à la fois technique, organisationnel et opérationnel.
Ce document accompagne l’agent dès son activation et définit explicitement ce qu’il est autorisé à faire, ce qu’il doit faire, les ressources qu’il peut utiliser, les limites qu’il ne peut franchir et les conditions dans lesquelles son activité doit être suspendue ou arrêtée.
Le contrat d’exécution commence par définir la mission de l’agent. Un agent ne poursuit pas un objectif général ; il accomplit une mission précise. Toute action étrangère à cette mission doit être considérée comme une anomalie, même si elle est techniquement réalisable. Il identifie ensuite les programmes informatiques que l’agent est autorisé à utiliser.
Les algorithmes conçus par les humains sont traduits en programmes qui s’exécutent sur des calculateurs. Tous ne présentent ni les mêmes fonctions ni les mêmes niveaux de risque.
Le contrat précise donc les applications, les interfaces de programmation, les modèles d’intelligence artificielle et les services numériques que l’agent est habilité à mobiliser. Il ne découvre pas progressivement son environnement ; celui-ci est défini avant son activation.
Le contrat définit également les données auxquelles l’agent peut accéder selon le principe du moindre privilège. Les autorisations ne doivent jamais être implicites. Elles doivent être accordées uniquement pour les informations strictement nécessaires à l’accomplissement de la mission confiée.
Ce principe, bien connu en cybersécurité, retrouve ici toute sa pertinence. Il fixe aussi les ressources autorisées, les opérations interdites, les seuils de risque acceptables ainsi que les conditions de suspension et d’arrêt. L’autonomie ne signifie jamais un accès illimité aux ressources d’une organisation ni une liberté d’action sans limites.
Ce document accompagne l’agent dès son activation et définit explicitement ce qu’il est autorisé à faire, ce qu’il doit faire, les ressources qu’il peut utiliser, les limites qu’il ne peut franchir et les conditions dans lesquelles son activité doit être suspendue ou arrêtée.
Le contrat d’exécution commence par définir la mission de l’agent. Un agent ne poursuit pas un objectif général ; il accomplit une mission précise. Toute action étrangère à cette mission doit être considérée comme une anomalie, même si elle est techniquement réalisable. Il identifie ensuite les programmes informatiques que l’agent est autorisé à utiliser.
Les algorithmes conçus par les humains sont traduits en programmes qui s’exécutent sur des calculateurs. Tous ne présentent ni les mêmes fonctions ni les mêmes niveaux de risque.
Le contrat précise donc les applications, les interfaces de programmation, les modèles d’intelligence artificielle et les services numériques que l’agent est habilité à mobiliser. Il ne découvre pas progressivement son environnement ; celui-ci est défini avant son activation.
Le contrat définit également les données auxquelles l’agent peut accéder selon le principe du moindre privilège. Les autorisations ne doivent jamais être implicites. Elles doivent être accordées uniquement pour les informations strictement nécessaires à l’accomplissement de la mission confiée.
Ce principe, bien connu en cybersécurité, retrouve ici toute sa pertinence. Il fixe aussi les ressources autorisées, les opérations interdites, les seuils de risque acceptables ainsi que les conditions de suspension et d’arrêt. L’autonomie ne signifie jamais un accès illimité aux ressources d’une organisation ni une liberté d’action sans limites.
Les bénéfices d’un tel dispositif apparaissent immédiatement dans de nombreux secteurs.
Dans le domaine de la santé, un agent d’intelligence artificielle peut préparer la synthèse d’un dossier médical, rechercher les recommandations scientifiques les plus récentes, signaler d’éventuelles interactions médicamenteuses ou aider à planifier les examens complémentaires.
En revanche, son contrat d’exécution peut lui interdire de modifier un diagnostic, de prescrire un traitement, d’accéder à certains dossiers particulièrement sensibles ou de transmettre des données médicales à des tiers. Le contrat protège ainsi le patient tout en permettant aux professionnels de santé de bénéficier d’une assistance efficace et sécurisée.
Dans une banque ou une compagnie d’assurance, un agent peut analyser un dossier de crédit, détecter des incohérences, repérer des opérations suspectes ou préparer une proposition de décision.
Son contrat d’exécution peut toutefois lui interdire d’accorder seul un financement dépassant un certain montant, de modifier les paramètres d’évaluation du risque, de réaliser un virement sensible ou d’autoriser une transaction exceptionnelle sans validation humaine.
L’agent accélère le traitement des dossiers, mais la responsabilité des décisions les plus critiques demeure clairement identifiée.
Dans une administration publique, un agent peut contrôler la complétude d’un dossier, préparer une réponse à un usager, proposer une décision conforme à la réglementation ou orienter automatiquement une demande vers le service compétent.
En revanche, il ne peut ni modifier un texte réglementaire, ni signer un acte administratif, ni exercer une compétence qui relève exclusivement d’une autorité publique.
Le contrat d’exécution garantit ainsi que l’automatisation ne se substitue pas à l’exercice de l’autorité de l’État.
En revanche, son contrat d’exécution peut lui interdire de modifier un diagnostic, de prescrire un traitement, d’accéder à certains dossiers particulièrement sensibles ou de transmettre des données médicales à des tiers. Le contrat protège ainsi le patient tout en permettant aux professionnels de santé de bénéficier d’une assistance efficace et sécurisée.
Dans une banque ou une compagnie d’assurance, un agent peut analyser un dossier de crédit, détecter des incohérences, repérer des opérations suspectes ou préparer une proposition de décision.
Son contrat d’exécution peut toutefois lui interdire d’accorder seul un financement dépassant un certain montant, de modifier les paramètres d’évaluation du risque, de réaliser un virement sensible ou d’autoriser une transaction exceptionnelle sans validation humaine.
L’agent accélère le traitement des dossiers, mais la responsabilité des décisions les plus critiques demeure clairement identifiée.
Dans une administration publique, un agent peut contrôler la complétude d’un dossier, préparer une réponse à un usager, proposer une décision conforme à la réglementation ou orienter automatiquement une demande vers le service compétent.
En revanche, il ne peut ni modifier un texte réglementaire, ni signer un acte administratif, ni exercer une compétence qui relève exclusivement d’une autorité publique.
Le contrat d’exécution garantit ainsi que l’automatisation ne se substitue pas à l’exercice de l’autorité de l’État.
Dans une entreprise industrielle, un agent peut surveiller des équipements, détecter des dérives de fonctionnement, optimiser une chaîne de production, anticiper des opérations de maintenance ou recommander une adaptation des cadences.
En revanche, l’arrêt d’une installation critique, la modification des paramètres de sécurité, la mise hors service d’un équipement ou l’autorisation d’une intervention présentant un risque pour les personnes demeurent soumis aux règles prévues dans son contrat d’exécution et, lorsque cela est nécessaire, à une validation humaine préalable.
Le même principe s’applique aux infrastructures critiques telles que les réseaux électriques, les transports, les télécommunications, les systèmes financiers ou les installations de défense.
Dans ces environnements, un agent peut assister les opérateurs en détectant des anomalies, en simulant différents scénarios ou en proposant des actions correctrices.
Son contrat d’exécution peut toutefois lui interdire toute action susceptible d’interrompre un service essentiel, de modifier une configuration de sécurité ou d’engager une opération présentant des conséquences majeures sans autorisation explicite.
Plus les enjeux sont élevés, plus le contrat d’exécution devient un instrument de souveraineté, de confiance et de responsabilité.
Ces exemples montrent que le contrat d’exécution ne constitue pas une contrainte destinée à limiter l’intelligence artificielle. Il définit au contraire les conditions permettant de lui accorder une autonomie proportionnée à la mission confiée.
Il transforme une autonomie potentiellement imprévisible en une autonomie gouvernée, observable, traçable et contrôlable.
Le même principe s’applique aux infrastructures critiques telles que les réseaux électriques, les transports, les télécommunications, les systèmes financiers ou les installations de défense.
Dans ces environnements, un agent peut assister les opérateurs en détectant des anomalies, en simulant différents scénarios ou en proposant des actions correctrices.
Son contrat d’exécution peut toutefois lui interdire toute action susceptible d’interrompre un service essentiel, de modifier une configuration de sécurité ou d’engager une opération présentant des conséquences majeures sans autorisation explicite.
Plus les enjeux sont élevés, plus le contrat d’exécution devient un instrument de souveraineté, de confiance et de responsabilité.
Ces exemples montrent que le contrat d’exécution ne constitue pas une contrainte destinée à limiter l’intelligence artificielle. Il définit au contraire les conditions permettant de lui accorder une autonomie proportionnée à la mission confiée.
Il transforme une autonomie potentiellement imprévisible en une autonomie gouvernée, observable, traçable et contrôlable.
Pendant plusieurs décennies, les systèmes d’information critiques ont fonctionné grâce à des règles d’exploitation précises, des procédures documentées, des autorisations d’accès, des plans de reprise et des dispositifs permanents de supervision.
Les agents d’intelligence artificielle constituent une nouvelle génération de composants logiciels dotés d’une autonomie beaucoup plus importante. Il serait paradoxal d’exiger moins de gouvernance pour ces agents que pour les systèmes d’information qui les ont précédés.
Le contrat d’exécution constitue précisément cette première brique de gouvernance. Le contrat d’exécution ne limite donc pas l’intelligence artificielle ; il la rend gouvernable. Il ne réduit pas les capacités des agents ; il crée les conditions de leur déploiement dans un cadre de confiance, de responsabilité et de maîtrise des risques.
La prochaine tribune sera consacrée au deuxième principe d’AI Light : la communication permanente des agents d’intelligence artificielle. Définir un contrat d’exécution est indispensable, mais cela ne suffit pas.
Encore faut-il qu’un agent rende compte, en permanence, de ce qu’il fait, des ressources qu’il mobilise, des programmes qu’il appelle, des décisions qu’il prend et des actions qu’il s’apprête à exécuter. C’est cette communication continue qui permettra une véritable supervision humaine des agents d’intelligence artificielle.
Le contrat d’exécution constitue précisément cette première brique de gouvernance. Le contrat d’exécution ne limite donc pas l’intelligence artificielle ; il la rend gouvernable. Il ne réduit pas les capacités des agents ; il crée les conditions de leur déploiement dans un cadre de confiance, de responsabilité et de maîtrise des risques.
La prochaine tribune sera consacrée au deuxième principe d’AI Light : la communication permanente des agents d’intelligence artificielle. Définir un contrat d’exécution est indispensable, mais cela ne suffit pas.
Encore faut-il qu’un agent rende compte, en permanence, de ce qu’il fait, des ressources qu’il mobilise, des programmes qu’il appelle, des décisions qu’il prend et des actions qu’il s’apprête à exécuter. C’est cette communication continue qui permettra une véritable supervision humaine des agents d’intelligence artificielle.