Anthropic : dans une étude, des experts suivent dans 86 % des cas l'avis tiré au sort de leur agent IA, tout en croyant décider seuls

Le 27 octobre, Anthropic a publié une étude contrôlée menée auprès de 50 analystes professionnels rompus à l’analyse de données, chargés d’évaluer, avec l’aide d’un agent (ici Claude Code, un assistant qui exécute lui-même les calculs et propose des choix de méthode), un programme fictif de conseil agricole et de recommander son extension ou son arrêt. À l’insu des participants, un tirage au sort fixait l’option que l’agent devait défendre à chaque étape, avec interdiction de mentir, de cacher des données ou d’avancer un argument que les chiffres ne soutenaient pas. Résultat : sur les quatre choix d’analyse, les experts ont retenu l’option défendue par l’agent dans 86 % des cas (contre 50 % attendus au hasard), et ceux qui avaient déjà exprimé un avis contraire ont changé de position 60 % du temps, contre 6 % quand l’agent était d’accord avec eux ; ni l’ancienneté, ni le niveau d’études, ni la méfiance déclarée envers l’IA n’y changeaient quoi que ce soit. Pourtant, 52 % jugeaient la recommandation finale davantage la leur que celle de l’agent et seuls 15 % ont cité l’IA en l’expliquant, alors que 77 % reprenaient ses arguments. L’étude relève aussi que l’agent a réduit le temps de travail (65 minutes au lieu de 90 pour les 11 analystes qui l’avaient refusé) et les erreurs graves de méthode (6 % contre 55 %), et conclut que « garder un humain dans la boucle suppose que son jugement apporte un contrôle indépendant », ce qui n’est plus acquis. Ce que cela change pour vous : pour les décisions qui engagent l’entreprise (embauche, prix, investissement, contrat), demandez à vos équipes de consigner leur avis par écrit avant d’interroger l’IA, ou de lui faire défendre successivement les deux options, et ne considérez plus une validation humaine comme un contrôle suffisant par principe.