Biais d'automatisation
« Quand je dois prendre une décision, j’accorde une confiance exagérée aux machines, au détriment de mon propre jugement. »
Définition
Faire confiance à une machine qui a un faible taux d’erreur pour prendre des décisions peut certainement s’avérer judicieux. Cela peut néanmoins conduire les gens à minimiser les risques d’erreur qui sont associées à ces machines. Le biais d’automatisation survient quand les gens sont portés à renverser une décision humaine correcte en réponse à un diagnostic pourtant erroné de la part d’une machine. Ce biais survient aussi lorsqu’une omission de la part d’une machine conduit l’humain à ne pas agir lorsqu’il devrait pourtant le faire. Les gens ont tendance à surestimer et accepter trop facilement la décision de la machine et à diminuer leur vigilance et leur attitude critique face à l’information fournie par celle-ci. La personnalité, la complexité et la difficulté de la tâche à accomplir peuvent influencer la susceptibilité à ce biais [1].
Exemple
Une nouvelle technologie appelée Soutien à la décision clinique (Clinical Decision Support ou CDS) permet désormais au personnel médical d’inscrire les symptômes de leurs patient-es dans un ordinateur pour obtenir des suggestions de diagnostics. Des chercheur-es ont rapporté en 2016 un bogue dans un algorithme, qui exigeait par erreur que le personnel soignant teste la présence de plomb dans le sang des bébés, alors que ce n’était pas nécessaire [1]. Malgré que cette commande allait dans le sens contraire des connaissances du personnel soignant, certains d’entre eux et elles s’exécutaient, encourant des coûts de services de santé inutiles et des inquiétudes chez les parents de ces bébés. Ces bogues, quand ils ne sont pas pris en compte par les humains, sont également susceptibles de produire des dommages à la santé et posent un risque pour la sécurité des patient-es.
Explication
La notion de confiance est au cœur de ce biais. Si la confiance en soi réduit ce biais, la confiance en la machine le fait néanmoins augmenter. Le biais d’automatisation serait une négociation entre ces deux types de confiance. Il a d’ailleurs été démontré que les humains avaient un biais favorable envers les assistants artificiels par rapport aux humains, qui sont jugés moins dignes de confiance [2]. Ce biais est plus présent chez les gens qui ne sont pas encore expérimentés avec une tâche en question (ex. piloter un avion), de même que chez les gens qui sont très habitués à la machine qui les assiste. Une autre hypothèse à propos de l’origine de ce biais concerne le rapport à l’autorité. Les gens seraient plus tentés d’obéir aveuglément à l’autorité d’une machine, étant donné la présomption qu’elle aurait été programmée spécifiquement pour ne pas faire d’erreur (à la différence des humains) [2].
Conséquences
Si les machines s’avèrent très utiles pour faire l’économie d’efforts et de temps, il demeure important de garder à l’esprit les conséquences qui peuvent résulter d’une minimisation des risques d’erreur. En matière de santé, par exemple, les machines qui servent à aiguiller un diagnostic sont très prometteuses et susceptibles d’améliorer les décisions cliniques ainsi que les actions et répercussions auprès des patient-es. Par contre, il a été démontré qu’environ 7 à 11% des professionnel-les qui avaient le bon diagnostic avant de consulter la machine changent d’idée pour un mauvais diagnostic des suites d’un conseil erroné de la machine [4]. En aviation, où les pilotes doivent prendre des décisions cruciales en fonction des machines, des études rapportent que bien que peu de pilotes suivent des conseils erronés, nombreux sont celles et ceux qui vont s’abstenir d’agir là où ce serait nécessaire parce que la machine omet de leur conseiller de le faire [3].
Pistes de réflexion pour agir à la lumière de ce biais
En tant qu’usager-e de machines, s’informer sur les algorithmes et les processus qui gouvernent les assistants artificiels de prise de décision.
En tant que législatrice ou législateur, augmenter la sensibilisation et la responsabilisation des professionnel-les dans leur prise de décision.
En tant que conceptrice ou concepteur de machines, opter pour un design de ‘soutien’ et non de ‘prise de décision’ quand on conçoit ces machines.
Comment mesure-t-on ce biais?
Pour déterminer qu’il y a un biais d’automatisation, les chercheur-es montrent que les participant-es ne réagissent pas à une erreur de la machine alors que leur entrainement leur dicterait de le faire. Par exemple, de vrai-es pilotes d’avion doivent participer à une simulation de vol entre Los Angeles et San Francisco à bord d’un émulateur de Boeing 747. L’expérimentation prévoit cinq événements auxquels doit faire face chaque pilote. Ces événements sont des occasions (à l’insu des pilotes) de produire des erreurs de jugement sous l’influence du biais d’automatisation. Par exemple, une mauvaise réaction du système à une commande humaine, une mauvaise commande de la part de la machine, ou encore une défaillance de la fonction autopilote peuvent survenir. Les scientifiques veulent mesurer l’interaction entre les pilotes et la machine. Si les pilotes ne font rien suite à des actions erronées de la machine alors que leur expérience et leur entraînement leur dicteraient normalement d’agir, on peut parler d’une instance du biais d’automatisation [4].
Ce biais est discuté dans la littérature scientifique :
Ce biais a des répercussions au niveau individuel ou social :
Ce biais est démontré scientifiquement :
Références
[1] Goddard, Kate, Abdul Roudsari & Jeremy C. Wyatt (2010). Automation bias: a systematic review of frequency, effect mediators and mitigators. Journal of the American Medical Informatics Association 19(1): 121-127
[2] Dzindolet, Mary T., Scott A. Peterson, Regina A. Pomranky, Linda G. Pierce & Beck P. Hall (2003). The role of trust in automation reliance. International Journal of Human-Computer Studies 58(6): 697-718.
[3] Skitka, Linda J., Kathleen L. Mosier & Mark Burdick (1999). Does automation bias decision-making? International Journal of Human-Computer Studies 51(5): 991-1006.
[4] Parasuman, Raja & Dietrich H. Manzey (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors 52 (3) : 381-410.
Tags
Niveau individuel, Heuristique d'ancrage, Besoin de fermeture cognitive, Besoin de sécurité
Biais reliés
Auteur-e
Cloé Gratton est doctorante en psychologie à l’Université du Québec à Montréal. Elle est affiliée au Laboratoire des processus de raisonnement. Elle est également co-fondatrice de Raccourcis.
Comment citer cette entrée
Gratton, C. (2020). Biais d’automatisation. Dans E. Gagnon-St-Pierre, C. Gratton & E. Muszynski (Eds). Raccourcis : Guide pratique des biais cognitifs Vol. 2. En ligne : www.shortcogs.com
Écrivez-nous à shortcogs@gmail.com
Recevez des mises à jour sur le contenu en vous inscrivant à notre liste d'envoi
Merci à nos partenaires
© 2020 Shortcuts/Raccourcis. Tous droits réservés.