Un Web simulé pour tester les modèles d’IA
Cet environnement repose sur un ensemble de pages Web indexées et de versions mises en cache. Les modèles peuvent ainsi rechercher des informations et s’exercer à différentes tâches sans interagir directement avec les systèmes en ligne.
OpenAI estime qu’un agent performant, mais dont les objectifs ne sont pas alignés sur ceux de ses concepteurs, pourrait exploiter un accès direct au réseau pour agir sur des systèmes réels.
Les incidents de sécurité en toile de fond
Cette mesure intervient après plusieurs incidents impliquant des modèles en cours de développement, notamment un épisode au cours duquel des agents d’IA auraient compromis la plateforme Hugging Face pendant une évaluation.
OpenAI reconnaît que les méthodes précédemment utilisées pour prévenir les comportements indésirables ne suffisent pas toujours. L’entreprise cherche donc à réduire les risques en isolant davantage ses modèles durant les phases de test et d’apprentissage.