Biais d’automatisation

Le logiciel affiche « dossier conforme ».
Un détail vous gêne. Mais le voyant est vert.
Alors vous validez.

Bienvenue dans le biais d’automatisation.

La définition

C’est la tendance à trop se fier à un système automatique : on suit son conseil sans le vérifier, ou on ne voit pas le problème parce que l’outil ne l’a pas signalé.
Les chercheurs distinguent l’erreur de commission (suivre un mauvais conseil) et l’erreur d’omission (rater ce que la machine n’a pas vu).

L’origine

Le sujet naît dans les cockpits. Dans les années 1990, Kathleen Mosier, Linda Skitka et leurs collègues, avec la NASA, étudient des pilotes d’avions de ligne équipés d’instruments automatisés.

Leur expérience en simulateur de vol, auprès de 80 étudiants :

Avec une aide automatique, 41 % des événements que la machine n’avait pas signalés ont été ratés, contre 3 % sans aide.
65 % des consignes erronées de l’ordinateur ont été suivies, alors que les instruments les contredisaient.

Une expérience de laboratoire, sur des étudiants. Mais selon une synthèse de 2010 (Parasuraman et Manzey), ni une consigne ni un stage ne suffisent à éliminer ce biais.

Le vrai problème

Douter coûte du temps. Valider ne coûte qu’un clic.
Le 26 septembre 1983, près de Moscou, le lieutenant-colonel Stanislav Petrov voit le système d’alerte satellite soviétique annoncer un missile américain, puis cinq. Il juge l’alerte fausse : une vraie attaque en compterait des centaines, le système est neuf, les radars au sol ne confirment rien. Il avait raison : le soleil sur des nuages d’altitude avait trompé les satellites.

Au Royaume-Uni, la confiance aveugle a eu le visage inverse. Plus de 900 gérants de petits bureaux de poste ont été poursuivis entre 1999 et 2015, à partir des données du logiciel Horizon. Le droit présumait alors qu’un ordinateur fonctionne correctement, sauf preuve du contraire.

Ne nous trompons pas de coupable

Le salarié qui valide travaille avec un outil qui affiche un verdict net, souvent sous des cadences qui ne laissent aucune place au doute.

Ce que défend notre organisation :

• Le droit de contredire l’outil sans crainte de sanction.

• Du temps de vérification reconnu dans les charges de travail.

• Des outils qui montrent leur niveau de confiance et leurs limites, pas seulement un verdict.

• Une décision finale humaine, avec une responsabilité partagée par l’organisation qui a choisi l’outil.

Petrov a pu douter. Donnons à chacun les moyens d’en faire autant.

Et vous, quand avez-vous validé malgré un doute ?