Le nouvel outil affiche des performances qui soulèvent à la fois admiration et inquiétude quant aux retombées futures de l’IA. Cognition Labs a déjà testé son produit dans le cadre de tâches réelles. En effet, les ingénieurs lui ont confié des tâches issues de demandes sur une plateforme pour freelancers. 

Pour accomplir les tâches, Devin peut créer de « petits serviteurs », chacun chargé d’une portion du travail. Ces éléments interagissent avec divers outils de développement (terminaux, éditeurs de codes, navigateurs) pour coder, tester et déboguer le logiciel. De plus, Devin parvient à apprendre rapidement et à s’adapter à de nouvelles technologies. Il lui suffit de se documenter sur des articles de blog pour comprendre le fonctionnement d’un outil pour ensuite l’utiliser.

Il s’assure de la réalisation de toutes les étapes, de la conception du plan et la définition des exigences jusqu’au déploiement du produit fini. Il intègre effectivement des capacités de gestion de projet et d’analyse commerciale lui permettant de comprendre les objectifs d’un projet et de planifier les étapes nécessaires à sa réalisation.

L’arrivée de Devin et l’avancée rapide de l’IA en général suscitent forcément de l’inquiétude chez les développeurs logiciel. 

L’équipe de Cognition Labs s’est ainsi servie de projets open source trouvés sur GitHub. Devin a réussi à résoudre près de 14 % des sous-ensembles d’erreurs identifiés sans aucune assistance externe. L’outil a ensuite été comparé à d’autres modèles. L’IA Claude 2 de l’entreprise Anthtopic a résolu 4,8 % des problèmes, tandis que GPT-4 d’OpenAI en a résolu moins de 2 %.