Les dangers d'une confiance aveugle dans l'IA - pourquoi la responsabilité humaine ne doit pas être automatisée

03 juillet 2024

Ce blog couvre :

• Les dangers d'une confiance aveugle dans l'IA et d'un abandon de la responsabilité humaine
• Stratégies pour maintenir la responsabilité et la surveillance humaine dans les décisions assistées par l'IA
• L'importance de promouvoir une culture de la pensée critique et un scepticisme sain à l'égard de l'IA

 

Air Canada a fait la une des journaux en février après que la compagnie aérienne a'a incité un client en deuil à acheter des billets d'avion à plein tarif. Le client, qui cherchait à obtenir des tarifs de deuil après le décès de sa grand-mère, a suivi le chatbot'et a fini par payer beaucoup plus que ce qu'il n'aurait dû.

Dans une tentative étonnante de se soustraire à ses responsabilités, Air Canada a affirmé que son chatbot était "un outil d'aide à la décision". "une entité juridique distincte" responsable de ses actions. L'adjudicateur, naturellement stupéfait par cette affirmation, a fermement rejeté l'argument de la compagnie aérienne, à savoir que son chatbot était une "entité juridique distincte" responsable de ses actions.'L'arbitre, stupéfait par cette affirmation, a fermement rejeté l'argument de la compagnie aérienne en déclarant "Il devrait être évident pour Air Canada qu'elle est responsable de toute l'information contenue dans son site Web. Que ces informations proviennent d'une page statique ou d'un chatbot ne fait aucune différence".

Cette affaire nous rappelle brutalement les dangers d'une confiance aveugle dans l'intelligence artificielle (IA) et l'importance de maintenir la responsabilité humaine dans un monde de plus en plus automatisé.

 

Attention au culte de l'IA 

À mesure que l'IA devient plus sophistiquée et omniprésente, les chefs d'entreprise risquent de tomber dans le piège qui consiste à la considérer comme un outil capable de résoudre tous les problèmes et de prendre toutes les décisions. Cet état d'esprit, que nous pourrions appeler "culte de l'IA", est malavisé et activement dangereux. En effet, l'IA'Il y a exactement 20 ans que Little Britain's Carol Beer, la réceptionniste de Little Britain, a inventé la phrase d'accroche "L'ordinateur dit non", mais aujourd'hui, cette réalité n'est plus un sujet de plaisanterie.

Lorsque les organisations accordent une confiance aveugle à l'IA, elles risquent de renoncer à la responsabilité et au jugement humains. Les employés peuvent se sentir obligés de s'en remettre à l'algorithme, même lorsque ses recommandations semblent douteuses ou contre-intuitives. Cette pression - et peut-être une paresse systématique - peut conduire à un manque de responsabilité, car les individus et les équipes rejettent la responsabilité des décisions en arguant qu'ils suivaient le système'és en arguant qu'ils suivaient les conseils du système.

En outre, comme nous l'avons laissé entendre plus haut, une dépendance excessive à l'égard de l'IA peut engendrer une certaine complaisance et éroder les compétences en matière d'esprit critique. Lorsque l'on fait confiance aux algorithmes pour prendre des décisions, l'incitation des humains à s'engager dans une analyse et un raisonnement indépendants diminue. Au fil du temps, cela peut conduire à une atrophie des compétences et des capacités essentielles à un jugement sain et à une surveillance efficace.

 

L'importance de la surveillance humaine

Pour atténuer ces risques, les dirigeants d'entreprise doivent veiller à ce que la surveillance et la responsabilité humaines restent fermement en place, même si l'IA joue un rôle plus important dans la prise de décision. L'IA prendra de plus en plus de décisions à notre place, mais les critères de décision, le seuil de matérialité et les conséquences de ces décisions doivent être fermement établis et compris.

Certes, dans le domaine de la gestion de la chaîne d'approvisionnement, par exemple, l'IA a le potentiel de révolutionner la prévision de la demande et l'optimisation des stocks. Elle est utile, car elle peut analyser de grandes quantités de données - des chiffres de vente historiques aux conditions météorologiques ou le prix des matières premières - et fournir des informations et des recommandations précieuses pour éclairer les décisions en matière de gestion des stocks.

L'IA a cependant ses limites. Il est donc nécessaire d'adopter une approche réfléchie et proactive de la gouvernance de l'IA, qui privilégie la transparence, l'explicabilité et le contrôle humain. Plutôt que de s'en remettre à l'algorithme, les organisations devraient insister pour que les systèmes d'IA fournissent des justifications claires et compréhensibles pour leurs recommandations. Cette approche permet aux décideurs humains de s'interroger sur la logique qui sous-tend les recommandations de l'IA.'Cette approche permet aux décideurs humains d'interroger la logique qui sous-tend les suggestions de l'IA et d'identifier les biais ou les erreurs potentiels.

Il est également essentiel d'établir des cadres de gouvernance clairs. Ce processus implique l'élaboration de politiques et de lignes directrices concernant le développement, le déploiement et le suivi de l'IA, ainsi que la désignation de rôles et de responsabilités spécifiques pour la supervision des initiatives en matière d'IA. En créant une chaîne de commandement et de responsabilité claire, les organisations peuvent s'assurer que l'IA est utilisée de manière responsable et éthique et que les humains restent dans le coup.

 

Favoriser une culture de scepticisme sain

En fin de compte, le succès de la gouvernance de l'IA dépend de la culture et de l'état d'esprit de l'organisation. Cela signifie qu'il faut encourager les employés à poser des questions approfondies sur les recommandations de l'IA, sans les rejeter d'emblée, mais en comprenant vraiment la logique et les données qui les sous-tendent. Les équipes devraient s'efforcer de découvrir ce qui est inclus dans la base historique qui informe les projections de l'IA plutôt que d'écarter le système sur la seule base de l'intuition.

Dans le même temps, la culture doit s'accommoder du fait que les informations issues de l'IA peuvent diverger des attentes ou de la "réponse que nous pensions obtenir". Les employés ont besoin d'un environnement dans lequel ils se sentent habilités à mettre en évidence et à explorer ces divergences, en les considérant comme des opportunités d'apprentissage et d'amélioration plutôt que comme des anomalies gênantes à supprimer.

Les plans ont souvent des entrées multiples, et un état d'esprit curieux et stimulant est essentiel pour affiner en permanence ces entrées et les systèmes d'IA qu'elles alimentent. Le scepticisme nécessaire n'est pas une méfiance généralisée à l'égard de l'IA, mais plutôt une rigueur ouverte d'esprit pour comprendre comment elle parvient à ses recommandations.

La promotion de cette culture nuancée nécessite un engagement et une gestion intentionnelle du changement. Les dirigeants doivent adopter le bon état d'esprit, communiquer ouvertement sur le rôle et les limites de l'IA et créer des forums permettant aux employés de poser des questions difficiles et de faire part de leurs préoccupations sans crainte. Avec un bon équilibre entre une saine remise en question et une réceptivité aux données, les organisations peuvent libérer tout le potentiel de l'IA tout en gardant le jugement humain fermement sur le siège du conducteur.

 

Trouver l'équilibre

L'affaire du chatbot d'Air Canada n'est qu'un exemple des défis et des risques qui surgissent lorsque les organisations font trop confiance à l'IA. D'autres nouvelles choquantes suivront ce chemin dans les semaines et les mois à venir. Des préoccupations similaires sont apparues dans des domaines allant des soins de santé - êtes-vous prêt à ce qu'un médecin numérique vous diagnostique maintenant ? - à l'aviation, où de nombreux voyageurs ne sont pas à l'aise avec les avions entièrement autonomes. Autre exemple, ce n'est pas pour rien que les freins ont été serrés sur les voitures sans conducteur.

Lorsque vous naviguez dans votre organisation'de votre organisation en matière d'IA, il'Il est essentiel de garder ces risques à l'esprit et de s'efforcer de les atténuer activement. Voici quelques questions fondamentales à se poser :

• Avons-nous établi des cadres de gouvernance clairs et des mesures de responsabilisation pour garantir que les êtres humains gardent le contrôle des décisions critiques ?
• Les critères de décision et le seuil de matérialité correct ont-ils été établis et quand est-il acceptable que l'IA prenne des décisions ?
• Insistons-nous sur des systèmes d'IA transparents et explicables, permettant un contrôle et un interrogatoire par l'homme ?
• Encourageons-nous un scepticisme sain et une culture de la pensée critique, où les employés se sentent autorisés à remettre en question les recommandations de l'IA et à faire part de leurs préoccupations ?

En abordant ces questions de manière proactive et en trouvant un juste équilibre entre l'intelligence humaine et l'intelligence artificielle, les chefs d'entreprise peuvent exploiter la puissance de l'IA tout en se protégeant de ses pièges. L'alternative - l'automatisation aveugle du jugement humain et de la responsabilité - est un risque qu'aucune organisation ne peut se permettre de prendre.

• Auteur(s)

• 

---