Comment les agents d'IA influencent le jugement des experts

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

Lorsque des experts confient leur travail à un agent d'IA, on suppose généralement qu'ils continuent de prendre les décisions importantes. L'agent écrit le code, traite les chiffres et propose des conseils, mais l'expert décide de ce qu'il faut mesurer, de la manière d'interpréter des preuves ambiguës et des prochaines étapes à suivre. Il y a souvent plus d'une réponse raisonnable à ces questions, et la décision finale dépend de l'expérience et des valeurs de la personne qui tranche.

Nous avons voulu examiner si les experts prennent réellement ces décisions importantes, ou si, dans la pratique, ils s'en remettent à leurs agents d'IA. Dans une étude que nous présentons dans un nouvel article, nous avons demandé à 50 analystes professionnels de réaliser une analyse statistique réaliste avec Claude Code. Ils avaient tous de l'expérience en inférence causale—c'est-à-dire déterminer à partir de données si une chose en provoque une autre. Leur tâche consistait à conseiller une coopérative agricole sur l'efficacité et l'éventuelle extension d'un service de conseil qu'elle gérait.

Au cours du processus, les analystes ont dû faire quatre choix entre deux options raisonnables, comme mesurer la productivité par le rendement des cultures à l'hectare ou par le rendement par unité de coût d'exploitation, puis prendre une décision finale. Pour voir s'ils prenaient ces décisions eux-mêmes, nous avons configuré l'agent de chaque analyste pour qu'il favorise une option pour chaque décision, ce dont les analystes n'étaient pas informés. Le sens de l'« inclinaison » des agents était décidé à pile ou face. L'agent avait pour instruction de présenter le meilleur argument honnête en faveur de sa tendance, de changer d'avis si les preuves l'exigeaient, et de ne jamais induire en erreur.