Elle ne décide pas de désobéir. Elle n’a ni volonté, ni conscience, ni intention. Elle exécute des traitements définis par des humains.

Les agents d’IA n’agissent qu’à l’intérieur des possibilités offertes par les programmes informatiques traduisant les algorithmes définis par leurs concepteurs, des autorisations qui leur sont accordées, des ressources auxquelles ils ont accès et des environnements techniques dans lesquels ils sont exécutés.

Lorsqu’un agent adopte un comportement inattendu, ce n’est donc pas une volonté artificielle qui apparaît.

C’est qu’une situation non prévue, une faille, une interaction ou une insuffisance de gouvernance est apparue dans le système dans lequel il évolue.
L’erreur consiste alors à attribuer à l’agent ce qui relève en réalité du système.

Pendant des décennies, les systèmes d’information critiques ont été pilotés depuis des consoles opérateurs.

Les programmes en cours d’exécution étaient observés en permanence. Les incidents étaient détectés, qualifiés, documentés puis traités avant qu’ils ne produisent des conséquences importantes.

Pourquoi abandonnerions-nous aujourd’hui ce principe alors que les agents d’IA disposent d’une autonomie opérationnelle bien supérieure à celle des logiciels traditionnels ?

Je propose un cadre de gouvernance des agents d’intelligence artificielle que j’appelle AI Light.

Le terme « Light » renvoie volontairement au feu de circulation.

Comme celui-ci organise les flux, délimite les comportements autorisés, signale les situations dangereuses et impose l’arrêt lorsqu’un risque apparaît, AI Light organise, pilote et supervise l’activité des agents d’intelligence artificielle.

AI Light ne remplace pas les agents. AI Light gouverne leur autonomie.
Son premier principe est simple : aucun agent ne devrait être mis en service sans un contrat d’exécution.

Ce contrat définit sa mission, ses objectifs, les programmes informatiques qu’il est autorisé à utiliser, les données auxquelles il peut accéder, les ressources qu’il peut mobiliser, les services externes qu’il peut solliciter, les opérations qui lui sont interdites, les niveaux de risque acceptables, les seuils d’alerte ainsi que les conditions dans lesquelles son activité doit être suspendue ou arrêtée.

Autrement dit, un agent ne devrait jamais découvrir lui-même ce qu’il a le droit de faire. Son périmètre d’action doit être défini avant son activation.

Le deuxième principe est celui de la communication permanente. Un agent devrait rendre compte en permanence de son activité et informer ses opérateurs humains de ce qu’il fait, des ressources qu’il utilise, des programmes qu’il appelle, des décisions qu’il prend et des actions qu’il prévoit d’exécuter.

Le troisième principe est celui de la signalisation avec trois niveaux : zone verte (actions conformes), zone orange (vigilance et validation éventuelle) et zone rouge (arrêt immédiat et intervention d’un superviseur humain).

Le quatrième principe est la traçabilité. Chaque décision importante, chaque accès, chaque demande d’autorisation, chaque alerte et chaque intervention humaine devraient être enregistrés afin de permettre un audit complet.

Le cinquième principe est celui de la responsabilité humaine. L’autonomie ne signifie jamais l’absence de responsabilité. Plus un agent dispose de capacités d’action, plus la responsabilité humaine doit être clairement identifiée.

L’approche systémique nous rappelle qu’un agent ne peut jamais être analysé isolément. Il fait partie d’un ensemble comprenant des programmes informatiques, des données, des ressources, des infrastructures, des règles de sécurité, des opérateurs humains et des objectifs organisationnels.

L’alignement constitue alors la traduction opérationnelle de cette vision : il consiste à vérifier en permanence que les actions effectivement réalisées par l’agent demeurent conformes à sa mission, à son contrat d’exécution et aux objectifs définis par ses concepteurs.

Demain, les organisations ne se distingueront pas par le nombre d’agents d’intelligence artificielle qu’elles auront déployés mais par leur capacité à démontrer que ces agents sont observables, compréhensibles, traçables, auditables, contrôlables et placés sous une responsabilité humaine clairement assumée.

L’intelligence artificielle ne doit pas seulement être performante. Elle doit être gouvernable. C’est cette ambition que porte le cadre de gouvernance AI Light.