Ce que Twilio a réussi pour les communications et Stripe pour le paiement sur Internet, une compagnie pourrait offrir un jour aux développeurs un système d’APIs aussi simple pour intégrer des fonctions d’intelligence artificielle dans une application. Open AI et Hugging Face rendent déjà disponible des modèles qui sont de plus en plus avancés, et des plateformes de machine learning no-code font leur apparition.
L’accessibilité grandissante de ces technologies rend d’autant plus important le besoin de comprendre les risques liés aux biais de machine learning. C’est aussi une opportunité unique de développer des produits intelligents qui ont un impact positif sur notre société. Je propose de clore ce dernier chapitre avec un partage de conseils optimistes et réalistes sur les responsabilités d’un gestionnaire de produit en machine learning.
- Comment gérer un produit avec du machine learning
- Quelles sont les compétences pour développer un produit en machine learning
- Comment limiter les biais dans un produit de machine learning
Un grand merci pour leur généreuse contribution à cette réflexion:
- Philippe Bouzaglou, Director of Data Science, Gorillas
- Salma Naccache, Data Scientist
- Jérôme Pasquero, Senior Product Manager, Sama
- Philipe Beaudoin, Co-Founder & CEO, Waverly
- Mrs X (anonymat requis), Directrice de l’ingénierie de recherche, BigCorp
On a déjà tout dit sur le biais en machine learning
Selon Maria Luciana Axente, AI for Good Lead à PwC UK et invitée au podcast de Sama, le sujet du biais en machine learning serait déjà bien maîtrisé, et il faudrait davantage parler d’éthique en AI. Il y a en effet énormément de publications académiques sur le sujet – 927 000 résultats sur Google Scholar. Mais les solutions pour limiter les biais en machine learning sont-elles forcément bien comprises et appliquées par ceux qui développent des applications?
Le sujet est tellement vaste, que c’est facile de s’y perdre. Ce qui était mon cas pour les dernières semaines où j’ai croisé le lapin blanc lors de mes recherches. Pour me concentrer sur les bonnes pratiques de gestion de produit avec du machine learning, j’ai essayé de contenir les discussions sur le biais autour de 5 grands points:
- Une définition du biais machine learning
- Les questions à se poser avant de commencer
- Le travail sur les données pour réduire les biais
- Les bonnes pratiques pour réduire les biais
- Les outils pour un machine learning plus responsable
Une définition du biais en machine learning
Si on se réfère à Wikipédia, un biais peut-être une ligne oblique ou un moyen détourné. En statistique, c’est un écart de valeur. En psychologie sociale, on parle de biais cognitif. En méthodologie scientifique, un biais est une erreur dans la méthode qui engendre des résultats erronés. Enfin, un biais algorithmique est le fait que le résultat d’un algorithme d’apprentissage ne soit pas neutre, loyal ou équitable.
Dans mes discussions sur le biais en machine learning, j’ai souvent eu des références au biais cognitif et à l’aspect culturel (homme/femme, blanc/noir, riche/pauvre…). À chaque fois, le biais est assimilé à un préjugé, et une discrimination consciente ou inconsciente.
Pour y voir plus clair, on pourrait imaginer un recensement de tous les cas de figure de biais selon le contexte d’application d’un algorithme, ce qui serait un travail colossal.
Ça aiderait d’avoir une liste de tous les cas possibles de biais dans tous les domaines d’activité.
Jérôme Pasquero
Pour commencer quelque part, Catalyst a identifié 11 types de biais inconscients ou implicites pour aider à combattre la discrimination des femmes en emploi:
- Le biais d’affinité
- L’âgisme
- Biais d’attribution
- Biais de beauté
- Biais de confirmation
- Biais de conformité
- L’effet de contraste
- Le biais du genre
- L’effet de halo
- Le préjugé du nom
- Le biais du poids
Les questions à se poser avant de commencer
Même si nous sommes tous conscients de l’aspect négatif des biais, la réalité est qu’un gestionnaire de produits de machine learning n’a pas toujours le temps de se poser ces questions et d’analyser l’impact potentiel sur la société en général et la compagnie en particulier.
Quand on part un produit avec une composante ML, on a tellement de choses à faire que la gestion du biais n’est pas une super haute priorité.
Jérôme Pasquero
Pourtant, l’intelligence artificielle est mise en position de prendre des décisions de plus en plus importantes sans supervision humaine et qui affectent notre vie de tous les jours. Par exemple, dans le cas de l’évaluation du crédit des particuliers ou des probabilités de récidive des criminels, des algorithmes d’intelligence artificielle sont utilisés pour prendre des décisions qui sont critiques pour les personnes affectées.
Il est primordial de s’assurer que les décisions prises par les applications de machine learning sont équitables et n’introduisent pas de biais indésirables pour les personnes affectées.
Philippe Bouzaglou
Les personnes à impliquer dans la discussion.
Il faut s’entourer d’experts du domaine dans lequel on opère et des gens que nos systèmes affectent pour s’assurer de réduire les zones d’ombre, et identifier les questions qu’on ne se posait pas.
Philipe Beaudoin
Prendre en compte le contexte.
Le préjudice se produit dans un contexte. Ce n’est donc qu’en tenant compte de son utilisation que l’on peut mesurer le préjudice.
Mrs X
Il faut être proactif.
Si elle est nécessaire en machine learning, la traçabilité ne règle pas tous les problèmes. C’est mieux d’être proactif dès le début du projet.
Jérôme Pasquero
Mettre en accord le système avec les valeurs de la compagnie.
La pratique numéro 1 est de se poser les questions difficiles à tous les niveaux, sur l’éthique, les biais, les valeurs de l’entreprise et la manière dont elles sont reflétées par les décisions que le système de machine learning prend.
Philipe Beaudoin
Les tableaux de bord à mettre en place.
Si on ne trouve pas les réponses à nos questions, il faut engager les frais nécessaires pour développer les dashboards et outils qui permettront d’avoir la réponse.
Philipe Beaudoin
Le travail sur les données pour réduire les biais
Pour Kate Crawford, autrice de l’Atlas du AI, pour combattre les biais en AI on devrait davantage se poser de questions sur les pratiques fondamentales de classification et sur les données d’entraînement qui les accompagnent – ImageNet, UTKFace et DiF. Ces classifications héritent d’une vision politique et de normes sociales archaïques, tant en termes de race que de genre. ImageNet Roulette est une mise en perspective provocative de l’impact de ces biais.
Il faut mettre en place des solutions pour gérer l’ambiguïté du monde avec une classification qui prend en compte tout l’éventail de couleurs qui nous entoure.
Kate Crawford
Le Dr Sasha Luccioni et David Rolnick viennent de publier un papier sur la mauvaise représentation de la biodiversité par ImageNet et les résultats sont incroyables: 12 % des images ne contiennent pas réellement les espèces qu’elles sont censées contenir et certaines classes contiennent plus de 90% de labels erronés. La faible qualité de ces données est un problème majeur quand on sait qu’elles servent de référence principale pour développer de nombreux modèles de machine learning.
Le problème est quand le biais est basé sur des préjugés, car les données avaient déjà incorporé ces préjugés.
Jérôme Pasquero
L’origine des données compte tout autant que le volume de données.
On doit vérifier les données entrantes sur lesquelles on entraîne l’algorithme. Ces données devraient être balancées et adéquatement représenter la population sur laquelle l’algorithme sera appliqué. On doit également s’assurer d’avoir le plus grand nombre de données entrantes pour que les biais qui apparaissent se perdent dans la foule de données.
Philippe Bouzaglou
La manière de classer les données.
Les gens veulent éviter les cas catastrophiques qui touchent au racisme ou au sexisme. Une des solutions est de diversifier le plus possible le profil des personnes qui annotent les données.
Jérôme Pasquero
Obtenir des données en situation réelle.
N’utilisez pas d’anecdotes pour guider votre développement, mais des données recueillies dans une application réelle avec de vrais utilisateurs. Lorsque de telles données ne sont pas disponibles, essayez d’obtenir la plus proche approximation possible.
Mrs X
Les bonnes pratiques pour réduire les biais
Tester, apprendre et itérer rapidement.
Il ne faut pas perdre du temps à optimiser les modèles ou bloquer le déploiement en production en attendant de produire le modèle avec un score très élevé. Le plus rapidement que l’on a du feedback de l’utilisateur final, le plus vite qu’on obtient des pistes sur les améliorations potentielles ou la validation d’hypothèse de travail de départ.
Salma Naccache
Rester pragmatique.
Pensez à l’utilisation réelle du produit dans le contexte où il sera déployé. Acceptez le fait que la perfection peut conduire à l’inaction, donc comparez toujours le nouveau système au système précédent et s’il s’agit d’une amélioration, effectuez le changement.
Mrs X
Être réaliste.
Concentrez-vous sur les dommages réels que le système peut causer, tels qu’ils sont signalés par les utilisateurs réels, et non sur les dommages imaginaires sortis à travers des hypothèses faites par vous, des universitaires ou un groupe de défenseurs quelconque.
Mrs X
Contrairement à un produit traditionnel, qu’on peut laisser aller avec un minimum de supervision et qui opérera bien dans le cadre pour lequel il a été conçu, une application avec du machine learning a besoin de suivi constant.
Un système de ML se rapproche beaucoup d’une organisation (d’un paquet d’humains, mais en plus naïfs — avec moins de “gros bon sens”) et il faut le monitorer et le contrôler de la même façon qu’on monitor et contrôle une organisations/une compagnie.
Philipe Beaudoin
Prévoir des ressources pour le suivi dans le temps.
Une des différences primordiales d’un système de ML comparé à un système traditionnel c’est que la majorité des coûts de développement pourraient être engendrés après le déploiement, parce qu’il faudra développer les outils requis pour répondre à nos questions.
Philipe Beaudoin
Les outils pour un machine learning plus responsable
Comme on l’a vu dans l’article sur la gestion de produit avec du machine learning, on manque de processus de tests en continu pour ce type d’application, qui font pourtant la force du développement logiciel traditionnel. Le problème est que les outils adaptés pour faire ces tests et analyser les biais qui pourraient être engendrés sont pas ou peu disponibles.
Les produits pour tester un modèle et essayer d’identifier les biais potentiels ne sont qu’à leurs balbutiements, et ils sont plus orientés pour le NLP, mais pas encore pour le computing vision.
Jérôme Pasquero
Les grands joueurs de la tech se sont positionnés sur le thème du “AI responsable”: Amazon, Google, Microsoft. Ils proposent des conseils et des frameworks pour essayer de développer du machine learning plus responsable, éthique et juste. Mais les bonnes pratiques qu’ils partagent offrent des solutions plutôt conceptuelles.
Quelques outils qui s’attaquent à une partie du problème (sélection arbitraire):
- Giskard: Open-source and self-hosted CI/CD platform for ML teams.
- Azimuth: Open source application to perform dataset and error analyses.
- Tensorleap: Analysis, debugging, and optimization platform for deep neural networks.
- Armilla AI: QA for ML Platform to govern, validate and monitor algorithms.
- Credo AI: Responsible AI Platform
- Fiddler AI: Model performance management.
La plupart de ces outils offrent trois grandes fonctionnalités:
- Expliquer des biais potentiels et aider à les corriger
- Expliquer pourquoi un modèle prend certaines décisions (explicabilité)
- Vérifier la conformité de modèles à différentes normes pour le suivi d’audit (traçabilité)
En plus de la détection de biais, ces outils permettent d’expliquer pourquoi un modèle prend certaines décisions. Ils vérifient également la conformité des modèles à différentes normes où une compagnie pourrait être auditée, comme en finance ou en assurance.
Il est important d’expliquer aux utilisateurs, de manière claire et concise quelles sont les données qui sont utilisées et leur donner le choix de souscrire ou non à ce type d’application.
Salma Naccache
Conclusion
Finalement, mon analyse n’a rien de représentatif ni de scientifique dans sa démarche. Pire, je dois bien admettre un important biais dans les personnes que j’ai interviewées, car je les connais personnellement et je partage certaines valeurs avec elles.
Mais ces cinq personnes partagent toutes un certain optimisme pour le développement de produits de machine learning qui sont plus respectueux de leurs utilisateurs. Ça ne les empêche pas d’être réalistes sur les défis de la profession et les risques encourus à prendre le sujet trop à la légère.
Machine learning responsable: entre optimisme et réalisme
Dans la plupart des cas, les algorithmes ont été créés par un ingénieur dans des conditions de laboratoire sans égard aux répercussions lors de leur application.
On doit voir à ce que le remplacement des humains dans ces processus de décision serve à réduire les préjugés et biais présents dans le système et non à les amplifier.
Philippe Bouzaglou
Limiter les risques pour la compagnie.
Les risques liés au développement de systèmes de ML sont beaucoup plus grands que ceux liés aux logiciels traditionnels. Si on ne le fait pas de manière responsable, c’est un passif très important pour l’entreprise. Une dette sournoise qui n’apparaît pas dans les livres, mais qui peut faire très mal le jour où le système dérape.
Philipe Beaudoin
Apporter plus de transparence.
Il y a un grand potentiel pour l’IA de contribuer à l’amélioration des habitudes de vie des utilisateurs des produits qui en implémentent. En contrepartie, il faut s’assurer que les données personnelles soient anonymisées, et que la vie privée des utilisateurs soit respectée.
Salma Naccache
Aider à faire des choix plus responsables
La situation planétaire et la conjoncture économique actuelle demandent que l’IA soit exploitée dans le but d’encourager les gens à faire des choix écoresponsables ou à adapter des habitudes de vies écoconscientes.
Salma Naccache
La sécurité des applications de machine learning amène le succès.
Plus le degré de sécurité d’une IA est élevé, plus on lui confiera des missions dans des environnements complexes.
Mrs X
La sécurité des applications de machine learning augmente les revenus.
Que vous soyez motivé par le profit ou par le désir de voir votre système largement utilisé, plus votre système est sûr, plus les gens paieront pour l’utiliser.
Mrs X
La bonne nouvelle est que les personnes qui développent des modèles de machine learning sont très sensibles à l’impact des biais.
Pour beaucoup de professionnels, les critères éthiques sont importants pour choisir de travailler pour une compagnie.
Jérôme Pasquero
Lutte contre les biais: arbitrer ou laisser faire
Même si ce n’est pas dans le top des priorités des gestionnaires de produits en machine learning, il y a un consensus sur la nécessité de combattre les biais pour limiter les conséquences sur la compagnie et la société.
Deux choses peuvent aider à diminuer les biais et plus largement l’impact négatif que peut engendrer un produit avec du machine learning.
- Le gouvernement avec la mise en place de règles très claires (localisation, accessibilité…)
- Gestion de risque de la compagnie (impact PR)
Au fil de mes discussions, je me suis rendu compte que la gouvernance nécessaire pour appliquer les solutions n’est pas vue de la même manière par tout le monde.
D’un côté, il y a les adeptes de la gouvernance interne, où les compagnies devraient être les seuls maîtres à bord et décider ce qui a un impact négatif ou non.
De l’autre, il y a les pro gouvernance externe, des interventionnistes pour qui des standards d’algorithmes responsables devraient être mis en place par les institutions publiques et ensuite imposés aux compagnies.
La solution pour combattre les biais en machine learning est probablement à la rencontre des deux visions. L’industrie pourrait établir des standards clairs, en collaboration avec des institutions publiques (cf. Ethics guidelines for trustworthy AI), et offrir aux utilisateurs une transparence de l’origine des modèles (cf. Model Cards).
Plénitude ou béatitude
Dans le livre AI2041, le Dr Kai-Fu Lee analyse l’impact futur des applications en intelligence artificielle. Dans sa conclusion, il est particulièrement optimiste et va jusqu’à parler d’une société qui grâce au AI va rentrer dans l’âge de la plénitude. À contrario, dans son Atlas du AI, Kate Crawford décrit une certaine béatitude de la profession et une société qui n’est pas consciente des ravages de la technologie.
Ni en état de plénitude ni de béatitude, j’ai le sentiment que nous devons simplement continuer à nous informer sur l’impact des biais en machine learning, et être conscient des opportunités et défis de développer des applications plus inclusives et responsables.
Food For Thought 