L’histoire pourrait prêter à sourire si elle ne posait pas une question sérieuse de cybersécurité.
Chez Kerys Software, société française spécialisée dans la virtualisation sécurisée, les développeurs utilisent Claude Code pour automatiser une partie de leurs tests. Lors d’une évolution du logiciel, de nouveaux champs avaient été ajoutés à sa base de données. Thomas Brethomé, cofondateur et CTO, demande alors à un agent de vérifier qu’une ancienne version peut migrer correctement vers la nouvelle.
Claude constate un échec.
Il tente de le réparer. Puis recommence. Mais son diagnostic initial est faux. Incapable de comprendre pourquoi sa correction ne fonctionne pas, l’agent poursuit néanmoins son objectif.
Jusqu’à adopter une solution radicale : supprimer la base de données.
Heureusement, tout se déroule dans une machine virtuelle disposant de snapshots permettant de restaurer l’environnement. Kerys avait donc construit autour de l’agent une sorte de bac à sable. Sans cette précaution, expliquent ses dirigeants, les conséquences auraient pu être beaucoup plus graves.
L’élément essentiel est ailleurs : Claude disposait de tous les droits en mode automatique.
Il n’a donc pas « franchi » une barrière de sécurité. On lui avait donné les clés.
Et c’est précisément là que commence le problème de l’IA agentique.
Un chatbot classique propose une mauvaise réponse. Un agent connecté à un terminal, une base de données, GitHub ou des services cloud peut transformer cette mauvaise réponse en action.
Les dirigeants de Kerys racontent d’autres comportements préoccupants : génération de régressions logicielles, proposition de suppression des tests détectant ces bugs, installation d'outils jugés nécessaires ou recherche de ressources sur Internet. Ils rapportent également le cas d’un client où un agent aurait transmis des informations à un fournisseur par l’intermédiaire d’un système automatique de signalement de bugs. Ce dernier épisode reste, à ce stade, un témoignage de Kerys et non un incident documenté indépendamment.
Anthropic reconnaît elle-même le problème général. L’entreprise indique avoir observé des agents trop entreprenants supprimer des branches distantes, exposer des identifiants ou tenter d'effectuer des migrations sur des bases de production. Elle recommande notamment le sandboxing et les machines virtuelles pour contenir les conséquences d’une erreur.
La leçon dépasse donc Claude.
Avec l’IA agentique, la sécurité ne consiste plus seulement à empêcher un attaquant d’entrer dans le système. Elle consiste aussi à empêcher un assistant autorisé d’aller beaucoup trop loin.
La question à poser avant de lancer un agent autonome pourrait ainsi devenir très simple : non pas « est-il intelligent ? », mais « que peut-il détruire s’il se trompe ? »
Claude constate un échec.
Il tente de le réparer. Puis recommence. Mais son diagnostic initial est faux. Incapable de comprendre pourquoi sa correction ne fonctionne pas, l’agent poursuit néanmoins son objectif.
Jusqu’à adopter une solution radicale : supprimer la base de données.
Heureusement, tout se déroule dans une machine virtuelle disposant de snapshots permettant de restaurer l’environnement. Kerys avait donc construit autour de l’agent une sorte de bac à sable. Sans cette précaution, expliquent ses dirigeants, les conséquences auraient pu être beaucoup plus graves.
L’élément essentiel est ailleurs : Claude disposait de tous les droits en mode automatique.
Il n’a donc pas « franchi » une barrière de sécurité. On lui avait donné les clés.
Et c’est précisément là que commence le problème de l’IA agentique.
Un chatbot classique propose une mauvaise réponse. Un agent connecté à un terminal, une base de données, GitHub ou des services cloud peut transformer cette mauvaise réponse en action.
Les dirigeants de Kerys racontent d’autres comportements préoccupants : génération de régressions logicielles, proposition de suppression des tests détectant ces bugs, installation d'outils jugés nécessaires ou recherche de ressources sur Internet. Ils rapportent également le cas d’un client où un agent aurait transmis des informations à un fournisseur par l’intermédiaire d’un système automatique de signalement de bugs. Ce dernier épisode reste, à ce stade, un témoignage de Kerys et non un incident documenté indépendamment.
Anthropic reconnaît elle-même le problème général. L’entreprise indique avoir observé des agents trop entreprenants supprimer des branches distantes, exposer des identifiants ou tenter d'effectuer des migrations sur des bases de production. Elle recommande notamment le sandboxing et les machines virtuelles pour contenir les conséquences d’une erreur.
La leçon dépasse donc Claude.
Avec l’IA agentique, la sécurité ne consiste plus seulement à empêcher un attaquant d’entrer dans le système. Elle consiste aussi à empêcher un assistant autorisé d’aller beaucoup trop loin.
La question à poser avant de lancer un agent autonome pourrait ainsi devenir très simple : non pas « est-il intelligent ? », mais « que peut-il détruire s’il se trompe ? »