The Doppler Quarterly (FRANÇAIS) Été 2017 | Page 71

programmes que sur des êtres humains, dans la mesure
où nous n’avons pas vraiment de cohérence dans nos
réponses alors qu’un ordinateur renverra précisément la
même à chaque fois).
Comme un enfant, un ordinateur construit
son vocabulaire en repérant les termes qui
apparaissent souvent à proximité les uns
des autres.
Sur internet, les noms afro-américains sont plus souvent
associés à des termes qui dégagent un côté désagréable.
Ce n’est pas un refl et de la réalité des Afro-Américains.
Cela ne traduit que le fait que les gens disent des choses
horribles sur internet. Notre jeune IA en ressort toute
impressionnée.
Et c’est tout à fait aussi problématique que ça en a l’air.
Les conséquences d’une IA raciste et
sexiste
Selon Caliskan, de plus en plus de recruteurs s’appuient
sur des programmes d’apprentissage automatique pour
effectuer un examen préliminaire des CV. Laissés sans
surveillance, ces programmes peuvent apprendre et
appliquer des stéréotypes de genre dans leur prise de
décision.
« Imaginons qu’un homme postule à un poste d’infi rm-
ier : si la machine prend ses décisions toute seule, elle
peut considérer que ce candidat est moins compétent
pour ce poste. Une femme qui postulerait pour un poste
de développeur de logiciels ou de programmeur pourrait
se trouver dans la même situation. Il n’existe presque pas
de programmes de ce type en open source, et nous ne
sommes donc pas en mesure de comprendre exacte-
ment ce qui se passe. Nous avons donc la lourde respons-
abilité d’essayer de découvrir s’ils font preuve de partial-
ité ou de préjugés. »
Voilà un défi pour l’avenir. L’IA est déjà en train de se
frayer un chemin dans le système de santé, aidant les
médecins à trouver le meilleur traitement pour leurs
patients. (Des recherches préliminaires tentent de
déterminer si elle peut prédire les crises de santé
mentale).
L’IA pourrait-elle recommander un pourcentage
inférieur d’intervention pour les femmes ? C’est un point
à surveiller.
Ces programmes sont-ils donc inutiles|?
Il est inévitable que les programmes d’apprentissage
automatique rencontrent des motifs historiques qui
traduisent des préjugés racistes ou sexistes. De plus, il
est diffi cile de déterminer ce qui constitue un préjugé et
ce qui n’est qu’une réalité du terrain.
Les programmes d’apprentissage automatique vont par
exemple repérer le fait qu’au cours de l’histoire, la plupart
des infi rmiers ont été des infi rmières. Ils vont se rendre
compte que la plupart des programmeurs informatiques
sont des hommes. « Nous ne suggérons pas de sup-
primer ces informations » dit Caliskan. Cela pourrait en
effet complètement détruire le logiciel.
Caliskan pense cependant que plus de garde-fous
devraient être mis en place. Les êtres humains qui utilis-
ent ces programmes doivent constamment se demander
d’où viennent les résultats et vérifi er que la sortie des
programmes est exempte de préjugés. Ils doivent bien
réfl échir pour déterminer si les données étudiées
refl ètent des préjugés historiques ou non. Caliskan
reconnaît que les règles de bonnes pratiques pour élim-
iner les préjugés dans l’IA ne sont pas encore au point.
« Il faut un programme de recherche à long terme pour
les chercheurs en informatique, en éthique, en sociolo-
gie, et les psychologues », dit-elle.
Toutefois, les utilisateurs de ces programmes doivent au
moins être conscients de ces problèmes, et ne pas tenir
pour acquis qu’un ordinateur produit forcément un
résultat plus impartial qu’un être humain.
Et par-dessus tout, il est important de garder en tête que
l’IA apprend de l’état passé du monde. Elle examine les
tendances du statu quo. Elle ne sait pas comment le
monde devrait être. Ça, c’est à l’humanité de le décider.
Mais les données de santé sont également riches de biais
historiques. Nous savons depuis bien longtemps que les
femmes subissent proportionnellement moins d’inter-
ventions chirurgicales que les hommes. (L’une des rai-
sons à cela est que les femmes sont plus souvent des
aidantes, et qu’elles sont moins entourées à la suite d’une
intervention).
ÉTÉ 2017 | THE DOPPLER | 69