Dans les débats sur la place croissante des algorithmes, un thème revient sans cesse : « l’humain doit garder la main ». L’IA ne saurait être qu’une aide à la décision ; et un humain doit pouvoir passer outre sa recommandation (comme quand vous tracez votre route en ignorant le conseil de Waze). Ce principe sans cesse réaffirmé se décompose en réalité en deux idées bien distinctes. [...]
Catégorie
🗞
NewsTranscription
00:00Dans les débats sur la place croissante des algorithmes et des intelligences artificielles,
00:13un thème revient sans cesse, l'humain doit garder la main.
00:17L'IA ne saurait être qu'une aide à la décision,
00:20un humain doit pouvoir passer outre sa recommandation,
00:23un peu comme quand vous tracez votre route en ignorant le conseil de Waze.
00:28Ce principe, sans cesse réaffirmé, se décompose en réalité en deux idées bien distinctes.
00:33La première idée, c'est que la responsabilité doit rester humaine.
00:37Ici, on adopte le point de vue de l'utilisateur,
00:40quand vous prenez un conseil, vous voulez le conseil d'un humain.
00:43Et si votre conseiller financier vous a fait faire un mauvais investissement,
00:46ou si votre médecin a fait une erreur de diagnostic,
00:49c'est à cette personne que vous en ferez le reproche, pas à une machine.
00:53Jusque là, tout va bien.
00:55La thèse complique, c'est la seconde idée,
00:57qui est qu'un humain doit donc toujours vérifier ce que lui suggère un algorithme.
01:01Cette fois, on adopte le point de vue de l'humain responsable,
01:04dans les exemples précédents, le conseiller financier ou le médecin.
01:08Et on se dit, au fond, étant donné que je suis, moi,
01:11le conseiller financier ou le médecin responsable de la décision,
01:15et puisque je veux donc prendre la meilleure décision possible,
01:18c'est à moi de décider quand je fais confiance à la machine
01:21et quand je décide d'ignorer sa recommandation.
01:25Sur ce point, l'écrasante majorité des managers,
01:28quand on les interroge, sont convaincus qu'ils peuvent effectivement
01:32répondre au cas par cas, c'est-à-dire prendre conseil
01:35auprès d'une intelligence artificielle,
01:37et rester maître de la décision finale.
01:39On entend souvent d'ailleurs l'idée que c'est ainsi qu'on prendrait
01:42les meilleures décisions et que la combinaison homme plus machine
01:46serait meilleure que la machine toute seule.
01:49Ce discours est très rassurant.
01:51L'IA pourrait nous aider, mais pas nous remplacer.
01:55Le problème, c'est que ce discours n'est pas exact.
01:58En voici trois exemples.
02:00Le premier exemple est déjà ancien à l'échelle de l'IA.
02:03Il a été publié en 2018 dans le Quarterly Journal of Economics.
02:07Les auteurs de cette étude ont étudié les tests à l'embauche
02:10dans 15 entreprises et se sont demandé ce qui se passe
02:13quand les recruteurs décident de ne pas suivre la recommandation du test.
02:17Le résultat, c'est que les décisions sont moins bonnes.
02:21Quand les managers passent outre les recommandations du test,
02:24ils s'imaginent qu'ils tiennent compte des qualités ou des défauts
02:27d'un candidat que les tests n'ont pas décelés mais que eux ont perçus.
02:30Ils croient, en d'autres termes, qu'ils disposent d'une information
02:33supérieure à celle de l'algorithme, mais en réalité,
02:36ils ne font qu'introduire leurs propres biais et leurs propres erreurs
02:39dans la décision.
02:41Deuxième exemple.
02:43Deux chercheuses de Harvard ont étudié des juges
02:46qui accordent ou pas une liberté sous caution
02:49en cédant d'un algorithme de prédiction de la récidive.
02:52Là aussi, bien sûr, les juges peuvent décider différemment
02:56de ce que conseille l'algorithme et ne se privent pas de le faire.
02:59Mais là aussi, il vaudrait mieux, semble-t-il,
03:02qu'ils s'en tiennent à ce que recommande l'algorithme.
03:05Pour 90% des juges, l'intervention humaine dégrade
03:10la qualité de la décision telle qu'elle était proposée par l'algorithme.
03:13Alors il reste bien sûr 10% des juges
03:16qui, quand ils contredisent l'algorithme, améliorent sa décision,
03:19ce qui suggère qu'ils ont effectivement des informations
03:22que l'algorithme n'a pas et qu'ils sont capables d'utiliser à bon escient.
03:25Le problème, bien sûr, c'est que tout le monde
03:28ne fait pas partie des meilleurs 10%.
03:31Le troisième exemple, qui lui est tout récent,
03:34porte sur des diagnostics médicaux.
03:36Les chercheurs ont comparé sur des cas complexes
03:39la qualité du diagnostic qui est fait par des médecins seuls
03:42par une IA seule
03:45et par des médecins assistés par l'IA.
03:48Ils s'attendaient bien sûr à ce que ce soit cette dernière combinaison,
03:51le médecin plus l'IA, qui soit gagnante.
03:54Mais ça n'est pas ce qui s'est produit.
03:56L'IA seule a trouvé le bon diagnostic dans 90% des cas,
04:00les médecins seuls dans 74% des cas,
04:03le tandem dans 76% des cas,
04:06donc à peine mieux que les médecins tout seuls
04:09et nettement moins bien que l'IA toute seule.
04:12Pourquoi ? Parce que les médecins
04:15ont une très grande confiance dans leur propre diagnostic,
04:18même quand l'IA leur en suggère un qui est en fait meilleur.
04:22Ce que ces différents exemples nous montrent
04:25est confirmé par une méta-analyse
04:28parue dans Nature Human Behavior en octobre 2024.
04:31Pour les tâches de décision,
04:34de décision à l'exclusion des tâches de création,
04:37pour les tâches de décision,
04:40les équipes humains plus IA sont moins bonnes que les IA toutes seules.
04:43La raison est en fait facile à comprendre,
04:46c'est même une question de simple logique.
04:49Quand vous utilisez une aide à la décision,
04:52que ça soit un test à l'embauche, un modèle, un chatbot,
04:55peu importe l'outil, de deux choses l'une.
04:58Soit l'outil n'a pas en moyenne une meilleure performance que vous,
05:01et alors il n'y a pas de raison de l'utiliser.
05:04Soit il a en moyenne une meilleure performance que vous,
05:07ce qui est bien sûr le cas dans tous les exemples qu'on a vus.
05:10Mais alors, c'est forcément qu'il y a des cas
05:13où vous n'êtes pas d'accord avec l'outil,
05:16et où c'est l'outil qui a raison, et vous qui avez tort.
05:19Il y a des cas limites où il faut savoir passer outre la recommandation,
05:22mais ils sont rares.
05:25En règle générale, c'est précisément quand l'IA n'est pas d'accord avec nous
05:28qu'elle nous rend service.
05:31Si nous utilisons des outils d'aide à la décision,
05:34il faut donc d'abord s'assurer qu'ils soient effectivement
05:37plus performants que nous, sur la qualité de la décision
05:40comme sur l'absence de biais.
05:43Mais ensuite, une fois qu'on a validé l'outil,
05:46il faut accepter de suivre son avis,
05:49même et surtout quand cet avis nous surprend.