
La lecture récente de « AI 2041 » – un livre d’anticipation et de vulgarisation de l’intelligence artificielle écris à quatre mains par Kai-Fu Lee et Chen Qiufan, m’a interpellé sur les biais dans le machine learning, l’éthique des gestionnaires de produits et les solutions pour un développement responsable du AI.
Le potentiel immense du machine learning et de ses dérivés est excitant. Mais en tant que gars qui développe des produits, je me demande comment s’assurer que leur impact sur la société reste positif.
Qualité des données et impact en machine learning
Mon ami Philippe Bouzaglou m’a fait découvrir le machine learning il y a 10 ans pour ma compagnie (Seevibes). Twitter était une mine d’or de données non structurée que l’on filtré et qualifié en temps réel grâce à l’expertise en NLP de Philippe. Nous avions développé un des modèles de lookalike les plus performants pour Twitter (grosse fierté).
Au-delà du tooling et de la disponibilité de modèles, la qualité des données était le principal défi pour réussir des projets de machine learning. Un défi qui s’est confirmé ensuite en collaborant à des applications de machine learning dans l’industrie de la musique (LANDR), du transport (Bus.com) et des télécommunications (Fizz).
Je me concentrais sur la qualité des données pour avoir un modèle performant, mais sans me poser la question de l’impact sur les humains qui allaient ensuite utiliser le produit.
Conséquences des biais en intelligence artificielle
On veut faire un « meilleur monde » avec la tech, mais la plupart du temps on ne sauve pas de vie. Personne n’a vu son coeur repartir grâce à un spreadsheet plus performant. Par contre, le biais dans le machine learning impacte la vie de millions de personnes.
Le simple fait de prendre une photo en soirée avec des amis noirs, et l’on constate rapidement que les algorithmes dans notre smartphone à 1000$ ne sont pas adaptés à tout le monde. On retrouvait ce biais dès les débuts de la photographie en couleurs.
Les problèmes de détection de couleur de peau sont récurrents, autant pour la détection et le suivi de mouvement pour un simple distributeur de savon et une webcam d’ordinateur. Le sujet pourrait presque faire sourire s’il n’avait pas des conséquences plus graves.
Dans le premier chapitre de « AI 2041 », l’histoire de « The Golden Elephant » imagine un futur où l’algorithme d’une assurance punit une jeune fille pour avoir côtoyé une personne de classe sociale inférieure.
Ce futur est déjà là, car les personnes appartenant aux classes socio-économiques inférieures aux États-Unis sont soumises à des outils de prise de décision plus automatisés que les personnes appartenant aux classes supérieures.
On voit des disparités raciales dans les outils d’évaluation des risques au détriment de la communauté noire. Le machine learning peut aussi engendrer du sexisme avec des algorithmes qui associent les femmes au shopping et les hommes au tir, qui un impact avéré dans le recrutement de postes en technologies.
Comment faire de l’intelligence artificielle responsable
Heureusement, il existe de bonnes pratiques pour mitiger les biais conscient et inconscient des produits de AI que l’on développe.
Les auteurs de « AI, COVID-19, and Inequality » recommandent de chercher à comprendre comment des biais peuvent être introduits à chaque étape de développement:
- Dans la définition du problème
- Dans les données utilisées
- Dans le choix et la configuration des algorithmes
- Dans l’évaluation et l’interprétation des résultats
Brookings a publié un rapport très fourni sur « Détection et atténuation des biais algorithmiques : Meilleures pratiques et politiques pour réduire les préjudices aux consommateurs ». Il propose des modèles de questions pour aider à évaluer l’impact des biais d’un projet de machine learning:
- Que fera la décision automatisée?
- Comment les biais potentiels seront-ils détectés?
- Quelles sont les motivations de l’opérateur?
- Comment les autres parties prenantes sont-elles impliquées?
- La diversité a-t-elle été prise en compte dans la conception et l’exécution
L’Union européenne a également défini des « Lignes directrices éthiques pour une IA digne de confiance » autour de sept principes de gouvernance:
- Contrôle et suivi humain
- Robustesse technique et sécurité
- Protection de la vie privée et gouvernance des données
- Transparence
- Diversité, non-discrimination et équité
- Bien-être environnemental et sociétal
- Imputabilité
Pour un machine learning équitable
Si on continu à avoir quatre gars blancs dans une pièce pour définir et tester les produits de AI, c’est évident que les problèmes de biais vont perdurer. La diversité des profils, autant dans l’origine, la culture et le parcours, est l’assurance de ne pas répéter les mêmes erreurs.
Pour atténuer l’impact des biais dans le machine learning, nous devons faire un compromis entre la précision et l’équité, et prendre en compte le coût pour la société. Construire un monde meilleur pour les humains, c’est s’autorisé à être moins parfait pour être plus juste.
Ressources et liens
Publications
- From Artificial Intelligence Bias to Inequality in the Time of COVID-19, Miguel Luengo-Oroz, Joseph Bullock, Katherine Hoffmann Pham, Cynthia Sin Nga Lam and Sasha Luccioni, 2021
- Race and Gender,Timnit Gebru, 2019
- Ethics Guidelines for Trustworthy AI, Commission Européenne, 2019
- Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms, Nicol Turner Lee, Paul Resnick and Genie Barton, Brookings, 2019
- Algorithmic equity in the hiring of underrepresented IT job candidates, Lynette Yarger, Fay Cobb Payton and Bikalpa Neupane, 2019
- How We Analyzed the COMPAS Recidivism Algorithm, Jeff Larson, Surya Mattu, Lauren Kirchner and Julia Angwin, 2016
- Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings, Tolga Bolukbasi, Cornell University, 2016
- Risk as a Proxy for Race Bernard E. Harcourt, Columbia University, 2010
- Looking at Shirley, the Ultimate Norm: Colour Balance, Image Technologies, and Cognitive Equity, Lorna Roth, 2009
Livres
- The Oxford Handbook of Ethics of AI, Markus D. Dubber, 2020
- AI Ethics, Mark Coeckelbergh, 2020
- Hello World: Being Human in the Age of Algorithms, Hannah Fry, 2019
- Automated Inequality, Virginia Eubanks, 2018
- Algorithms of Oppression, Safiya Umoja Noble, 2018
- Weapons of Math Destruction, Cathy O’Neil, 2016
Podcasts
- Responsible AI and Machine Learning Algorithm Fairness, Meenakshi Kaushik and Neelima Mukiri, 2021
- Fighting Bias in AI, Wendy Gonzalez, 2020
- Algorithmic Fairness, Bias, Privacy, and Ethics in Machine Learning, Michael Kearns, 2019
- Fighting bias in AI (and in hiring), Lindsey Zuloaga, 2018
Vidéos
- This ‘Racist soap dispenser (2017)
- Color film was built for white people. Here’s what it did to dark skin (2015)
- Whites Only: racist sink (2015)
- HP computers are racist (2009)
Français / Anglais
- machine learning = apprentissage machine
- artificial intelligence (AI) = intelligence artificielle (IA)


