Décodeur IA

Résumé
Un outil d’IA recommande de refuser un dossier.Vous avez trois minutes, vingt autres dossiers en attente, et la mention « validation humaine » en bas de l’écran.
Vous cliquez. Six mois plus tard, la décision est contestée.
Qui doit s’expliquer ? Vous.
La définition
La « zone de déformation morale » désigne la personne qui absorbe la responsabilité d’une défaillance, alors qu’elle avait peu de prise sur le système automatisé. Dans une voiture, cette zone protège les occupants. Ici, elle protège le système, aux dépens de l’opérateur humain le plus proche.
L’origine
Le concept a été introduit en 2016 par l’anthropologue Madeleine Clare Elish (Data & Society), puis publié en 2019 dans la revue « Engaging Science, Technology, and Society ».
Deux cas qu’elle étudie
Tempe (Arizona), 2018 : un véhicule autonome d’Uber tue une piétonne. Le NTSB retient comme cause probable la distraction de la conductrice de sécurité, avec pour facteurs contributifs un freinage d’urgence désactivé par Uber et l’absence de traitement de la « complaisance à l’automatisation ». Uber n’a pas été poursuivie ; la conductrice a plaidé coupable de mise en danger (trois ans de probation, 2023).
Vol Rio-Paris AF447 (2009, 228 morts) : Elish relève que des médias américains ont mis en avant les erreurs des pilotes. Le 21 mai 2026, la cour d’appel de Paris a condamné Air France et Airbus pour homicides involontaires (225 000 € chacune). Les deux se sont pourvues en cassation.
Le bureau n’est ni une route ni un cockpit : l’analogie vaut pour la mécanique de la responsabilité, pas pour la gravité.
Le vrai problème
« Validation humaine », « humain dans la boucle » : ces formules rassurent. Elles deviennent un piège quand la personne n’a ni le temps, ni l’information, ni le pouvoir de dire non.
La zone de déformation vient de l’ingénieur Béla Barényi, dont le brevet Mercedes-Benz de 1952 a renversé l’idée qu’une voiture sûre devait être rigide : on sacrifie une zone pour sauver les occupants.
Version bureau : on sacrifie le salarié pour sauver le système.
Ce que défend notre organisation
Une validation humaine réelle : du temps, l’information utile, le pouvoir de dire non. Pour les systèmes à haut risque, l’AI Act (article 26) exige que ceux qui surveillent aient compétence, formation, autorité et soutien.
Aucune sanction contre un salarié qui a suivi la recommandation d’un outil imposé par l’entreprise.
La traçabilité : qui a choisi l’outil, qui l’a paramétré, qui a formé les équipes. Une question à poser en CSE avant tout déploiement.
Un humain dans la boucle n’est une garantie que s’il a la main.
Sans elle, il sert d’amortisseur.
Et chez vous, qui signe quand l’outil se trompe ?
Lire la publication sur LinkedIn
Pour aller plus loin
Un avis, une expérience, un désaccord ? Écrivez-moi. Ou retrouvez mes quatre newsletters sur la page d’accueil.