Biais algorithmiques : les algorithmes sont-ils racistes ?

Le « machine learning », ou apprentissage automatique, serait-il responsable de la création de biais algorithmiques qui rendent certaines technologies « racistes » ?

Ce terme, devenu incontournable parmi les passionnés de technologie ces dernières années, désigne un sous-domaine de l’intelligence artificielle (IA). Selon Google Cloud, il permet à un système d’apprendre de manière autonome en analysant de grandes quantités de données. Ce processus permet d’optimiser de nombreuses tâches dans divers domaines, qu’il s’agisse d’innovation ou d’applications concrètes comme l’investigation policière.

Cependant, cette automatisation n’est pas sans risques. Lorsque les données utilisées pour entraîner les algorithmes reflètent des préjugés ou des inégalités déjà présentes dans la société, les systèmes peuvent reproduire — voire amplifier — ces biais.

Cela soulève une question cruciale : nos algorithmes sont-ils vraiment objectifs, ou héritent-ils des discriminations humaines qu’ils sont censés dépasser ?

Dans cet article, nous explorerons en profondeur comment et pourquoi ces biais apparaissent, leurs conséquences et les pistes pour y remédier.

Comprendre le biais algorithmique

Qu’est-ce qu’un biais algorithmique ?

Un biais algorithmique est une déviation systématique des valeurs attendues qui résulte d’un algorithme automatisé ou d’une IA. Contrairement à une machine autonome, un algorithme fonctionne en règle générale sur la base de données préalablement fournies, et si ces données ne sont pas suffisamment objectives, les résultats finaux seront sans aucun doute biaisés également. Il existe plusieurs types de ces biais tels que : biais de sélection : se produit lorsque les données d’entraînement disponibles ne reflètent pas avec précision la véritable population. Biais de confirmation : l’algorithme privilégie des informations préétablies qui sont plus susceptibles de renforcer les idées existantes. Biais de cadrage : la manière dont une question est posée affecte le résultat. Biais d’automatisation : dépendance à l’intelligence des machines pour prendre des décisions sans examen.

Apprentissage automatique et données : l’épicentre du problème

L’apprentissage automatique implique l’utilisation de grands volumes de données pour construire des modèles capables d’identifier des motifs. Cependant, ces données proviennent des inégalités sociales, économiques et raciales du monde réel. Si les algorithmes sont formés à partir de telles données, le biais de la machine peut entraîner le renforcement des inégalités—parfois à un degré encore plus grand.

Pour mieux comprendre le fonctionnement de la reconnaissance faciale face au machine learning, voici une vidéo qui l’explique :

Exemples concrets de discrimination accrue

Les biais algorithmiques ne sont pas un problème théorique. Voici quelques exemples concrets qui ont mis en lumière leur impact dévastateur :

Technologie de reconnaissance faciale : une technologie partielle

Des études, comme celles menées au MIT Media Lab, ont montré que certains systèmes de reconnaissance faciale identifient correctement les visages des hommes blancs plus de 95 % du temps, mais les femmes afro-américaines peuvent être mal identifiées 35 % du temps. Cela crée des problèmes sérieux lorsque ces technologies sont utilisées pour la sécurité ou le maintien de l’ordre.

Justice prédictive : l’algorithme qui incrimine les individus noirs plus sévèrement

Le logiciel COMPAS utilisé aux États-Unis pour estimer la probabilité qu’un prisonnier récidive a montré un biais clair. Il considérera les individus noirs comme plus susceptibles de récidiver que les individus blancs, même lorsque les crimes étaient similaires. Ce type de biais aggrave les inégalités déjà existantes dans le système judiciaire.

Recrutement automatisé : quand l’IA préfère les hommes

Un outil de recrutement basé sur l’IA a été créé par Amazon. Il a été abandonné après avoir commencé à discriminer systématiquement les CV contenant des références féminines. Pourquoi cela ? L’algorithme s’appuyait sur des données historiques qui étaient massivement masculines.

Système de santé et discrimination systémique

Un algorithme utilisé dans les soins de santé américains sous-estimait les soins nécessaires pour les patients noirs. Leur historique médical, c’est-à-dire leurs coûts médicaux, était utilisé. Étant donné que les soins étaient sous-fournis aux Noirs par le système, ils apparaissaient comme ayant moins besoin d’aide.

D’où viennent ces biais ?

Pour comprendre pourquoi ces biais existent, il faut analyser les différentes étapes des processus de conception de l’algorithme : 

• Données biaisées : Un algorithme ne peut pas être meilleur que les informations qu’il collecte, et il y a toujours un biais dans les données.

• Objectifs mal définis : Un algorithme conçu uniquement pour la performance négligera l’équité.

• Manque de diversité dans l’équipe de développement : Des équipes homogènes peuvent manquer certains biais.

Joy Buolamwini, étudiante diplômée du MIT, travaillait avec un logiciel d’analyse faciale lorsqu’elle a remarqué un problème : le logiciel ne détectait pas son visage, car les personnes qui avaient codé l’algorithme ne lui avaient pas appris à identifier un large éventail de teintes de peau et de structures faciales. Aujourd’hui, elle s’est donné pour mission de lutter contre les préjugés dans l’apprentissage automatique, un phénomène qu’elle appelle le « regard codé ». Cet exposé nous ouvre les yeux sur la nécessité de rendre des comptes en matière de codage, à l’heure où les algorithmes prennent en charge de plus en plus d’aspects de notre vie.

Quelles sont les solutions proposées pour un demain plus équitable ?

Des solutions existent pour atténuer certains biais, mais il est nécessaire d’investir des efforts techniques, humains et réglementaires : 

Veiller à la diversité dans les données d’apprentissage en incluant des échantillons plus représentatifs pour éviter les lacunes dans les données. Assurer la transparence et explicabilité, essayer de rendre les algorithmes lisibles pour permettre de comprendre leurs résultats. D’autres solutions peuvent être proposés comme la réalisation des audits et contrôles indépendants pour vérifier les systèmes avant de les déployer. Insister sur la diversité des équipes : Avoir des équipes diversifiées permet une plus grande détection des biais et veiller au développement d’algorithmes éthiques pour promouvoir des approches d’IA justes et « dé-biaisées ».

Vers une utilisation plus équitable de l’IA ? Les algorithmes eux-mêmes n’ont pas de nature discriminatoire, car ils ne font que reproduire les informations qui leur sont fournies et les personnes derrière eux. Au lieu de considérer les technologies de manière négative, il est essentiel de les rendre plus ouvertes, éthiques et inclusives. L’avenir des systèmes intelligents dépend de notre capacité à identifier et à rectifier ces biais avant qu’ils ne deviennent cachés… et inévitables. Pensez-vous que la réglementation est la solution, ou pensez-vous qu’il appartient aux entreprises technologiques de prendre en charge ?

Pour aller plus loin, des études en Europe sont en cours. Une étude sur l’impact des systèmes d’intelligence artificielle et leur potentiel de promotion d’égalité a été fait par le Conseil de l’Europe. Cette étude permet de comprendre ce que l’Europe fait par rapport aux discriminations algorithmiques et leurs recommandations. En espérant que ces actions continueront à être prises et recommandées, pas seulement en Europe, mais partout dans le monde.