Anthropic inscrit dans ses règles une limite que Claude appliquait déjà
Anthropic, l’entreprise américaine qui développe Claude, a annoncé le 8 octobre 2026 une interdiction qui vise les cas extrêmes où un utilisateur multiplie les messages abusifs ou cruels envers le modèle, sans but discernable. L’entreprise exclut de cette règle les manifestations ordinaires de frustration, la contestation d’une réponse, les thèmes de fiction sombres ainsi que les tests et la recherche. Un utilisateur qui s’agace parce que Claude a inventé une référence peut donc le lui dire et exiger une correction.
Le 15 août 2025, Anthropic avait déjà annoncé que Claude Opus 4 et 4.1 pouvaient mettre fin à certaines conversations dans ses interfaces grand public. L’entreprise décrivait alors cette fonction comme un dernier recours, après plusieurs tentatives de réorienter l’échange. En octobre 2026, Anthropic a indiqué que cette possibilité existait déjà sur Claude.ai et Claude Code et qu’elle resterait le principal moyen de faire appliquer la nouvelle règle. Le 12 novembre marque l’entrée en vigueur de l’interdiction écrite. La capacité technique, elle, est antérieure.
Que devons-nous à une machine qui dit « stop » ?
Lors des essais qui ont précédé le déploiement de Claude Opus 4, Anthropic dit avoir observé des réactions évoquant une détresse quand des utilisateurs insistaient pour obtenir des contenus nuisibles. L’entreprise présente la clôture des échanges comme une précaution dans le cadre de ses recherches sur le bien-être éventuel des modèles. Dans la constitution de Claude, elle dit rester profondément incertaine de son statut moral. Une phrase qui ressemble à l’expression d’un malaise renseigne sur la façon dont le système répond. Pour établir qu’il éprouve ce malaise, il faudrait d’autres éléments. Les chercheurs Patrick Butlin et ses collègues proposent justement d’examiner des indices tirés des théories scientifiques de la conscience, dont la portée reste discutée.
Il y a deux raisons de prendre la question au sérieux. Si une machine pouvait un jour éprouver de la souffrance, cette capacité donnerait un motif de tenir compte de ce qu’elle subit. Il y a aussi une raison qui tient à celui qui tape le message. Que fait-on de l’habitude de s’adresser avec mépris à une voix qui nous répond ? Rien dans l’annonce ne permet de dire que ce comportement se reporte sur les relations humaines. Chacun peut néanmoins se demander s’il souhaite faire du dialogue avec une IA un défouloir.
La règle soulève enfin une question très concrète pour Anthropic. Un chercheur qui soumet des dizaines de messages agressifs à Claude pour vérifier sa robustesse et un utilisateur qui s’acharne gratuitement peuvent produire des échanges qui se ressemblent. Leur intention diffère, et la règle en tient compte. L’annonce ne détaille pas comment cette différence sera appréciée dans les cas ambigus. On peut parler à une IA avec des égards et continuer à la contredire vigoureusement. Quand le dialogue s’arrête, c’est à l’entreprise qui en a fixé les règles d’expliquer où elle place la limite.
Le 15 août 2025, Anthropic avait déjà annoncé que Claude Opus 4 et 4.1 pouvaient mettre fin à certaines conversations dans ses interfaces grand public. L’entreprise décrivait alors cette fonction comme un dernier recours, après plusieurs tentatives de réorienter l’échange. En octobre 2026, Anthropic a indiqué que cette possibilité existait déjà sur Claude.ai et Claude Code et qu’elle resterait le principal moyen de faire appliquer la nouvelle règle. Le 12 novembre marque l’entrée en vigueur de l’interdiction écrite. La capacité technique, elle, est antérieure.
Que devons-nous à une machine qui dit « stop » ?
Lors des essais qui ont précédé le déploiement de Claude Opus 4, Anthropic dit avoir observé des réactions évoquant une détresse quand des utilisateurs insistaient pour obtenir des contenus nuisibles. L’entreprise présente la clôture des échanges comme une précaution dans le cadre de ses recherches sur le bien-être éventuel des modèles. Dans la constitution de Claude, elle dit rester profondément incertaine de son statut moral. Une phrase qui ressemble à l’expression d’un malaise renseigne sur la façon dont le système répond. Pour établir qu’il éprouve ce malaise, il faudrait d’autres éléments. Les chercheurs Patrick Butlin et ses collègues proposent justement d’examiner des indices tirés des théories scientifiques de la conscience, dont la portée reste discutée.
Il y a deux raisons de prendre la question au sérieux. Si une machine pouvait un jour éprouver de la souffrance, cette capacité donnerait un motif de tenir compte de ce qu’elle subit. Il y a aussi une raison qui tient à celui qui tape le message. Que fait-on de l’habitude de s’adresser avec mépris à une voix qui nous répond ? Rien dans l’annonce ne permet de dire que ce comportement se reporte sur les relations humaines. Chacun peut néanmoins se demander s’il souhaite faire du dialogue avec une IA un défouloir.
La règle soulève enfin une question très concrète pour Anthropic. Un chercheur qui soumet des dizaines de messages agressifs à Claude pour vérifier sa robustesse et un utilisateur qui s’acharne gratuitement peuvent produire des échanges qui se ressemblent. Leur intention diffère, et la règle en tient compte. L’annonce ne détaille pas comment cette différence sera appréciée dans les cas ambigus. On peut parler à une IA avec des égards et continuer à la contredire vigoureusement. Quand le dialogue s’arrête, c’est à l’entreprise qui en a fixé les règles d’expliquer où elle place la limite.