La révolution tranquille de l'intelligence artificielle ne ressemble en rien à ce que les films prédisaient; L'IA s'infiltre dans nos vies non pas en dépassant nos vies en tant que robots sensibles, mais au lieu de cela, se glissant régulièrement dans des domaines de prise de décision qui étaient auparavant exclusifs aux humains. Parce qu'il est si difficile à repérer, vous n'avez peut-être même pas remarqué la quantité de vie qui est influencée par des algorithmes.
Imaginez ce matin - ce matin, vous vous êtes réveillé, atteint votre téléphone et vérifié Facebook ou Instagram, dans lequel vous avez consommé les médias à partir d'un flux de contenu créé par un algorithme. Ensuite, vous avez vérifié votre e-mail; Seuls les messages qui comptent, bien sûr. Tout ce qui est négligeable a été automatiquement jeté dans votre dossier spam ou promotion. Vous avez peut-être écouté une nouvelle liste de lecture sur Spotify qui vous a été suggérée en fonction de la musique pour laquelle vous aviez déjà montré de l'intérêt. Vous avez ensuite procédé à votre routine matinale avant de monter dans votre voiture et d'utiliser Google Maps pour voir combien de temps votre trajet prendrait aujourd'hui.
En l'espace d'une demi-heure, le contenu que vous avez consommé, la musique que vous avez écoutée et votre conduite au travail reposaient sur la puissance cérébrale autre que la vôtre - elle s'appuyait sur la modélisation prédictive à partir d'algorithmes.
L'apprentissage automatique est là. L'intelligence artificielle est là. Nous sommes en plein milieu de la révolution de l'information et bien que ce soit un moment et un endroit incroyables, il faut se méfier des implications qui l'accompagnent. Avoir une machine vous dire combien de temps le trajet durera, quelle musique vous devez écouter et quel contenu vous vous engageriez probablement, ce sont tous des exemples relativement inoffensifs. Mais pendant que vous faites défiler votre fil d'actualité Facebook, un algorithme quelque part détermine les diagnostics médicaux de quelqu'un, son éligibilité à la libération conditionnelle ou ses perspectives de carrière.
À la valeur nominale, les algorithmes d'apprentissage automatique ressemblent à une solution prometteuse pour atténuer le problème méchant qui est le biais humain, et toutes les façons dont il peut avoir un impact négatif sur la vie de millions de personnes. L'idée est que les algorithmes de l'IA sont capables d'être plus équitables et efficace que les humains pourraient ne jamais l'être. Les entreprises, les gouvernements, les organisations et les particuliers du monde entier remettent la prise de décision pour de nombreuses raisons - c'est plus fiable, cela devient plus facile, il est moins coûteux et il est utile. Cependant, il y a encore quelques préoccupations à connaître.
Définition du biais en général
Les biais peuvent être définis largement comme un écart par rapport à une décision ou une norme rationnelle, et peuvent être statistiques, juridiques, morales ou fonctionnelles. Nous voyons un parti pris dans notre vie quotidienne ainsi que sur une échelle sociétale. Souvent, l'un perpétue l'autre.
Par exemple, sur le chemin du retour, vous pouvez choisir de prendre un itinéraire qui est dans un voisinage «plus sûr» - qu'est-ce qui détermine cela? Peut-être que la région abrite ceux qui sont plus bas sur le spectre du privilège socio-économique. Bien que ce ne soit pas nécessairement le cas que les moins privilégiés sont plus susceptibles de participer à des activités criminelles, votre biais, que ce soit explicite ou implicite, vous invite à prendre un itinéraire différent. À plus grande échelle, ces zones peuvent être plus fortement patrouillées par la police, ce qui, à son tour, pourrait entraîner un taux d'arrêt plus élevé qu'un quartier plus riche, dégageant l'illusion d'un taux de criminalité plus élevé, quel que soit le montant réel de la criminalité Cela continue. Ce cercle vicieux ne semble que renforcer nos préjugés initiaux.
Algorithmes et apprentissage automatique
Faisons d'abord la différence entre les algorithmes classiques et l'apprentissage automatique. Les algorithmes sont souvent décrits comme des machines d'entrée-sortie. La programmation traditionnelle repose sur des fonctions enracinées dans la logique - si x, alors y. Les algorithmes sont basés sur des règles, explicites et câblés. L'apprentissage automatique est plus compliqué que cela. Les algorithmes d'apprentissage prennent leurs décisions non pas par une condition pré-programmée que leurs données doivent respecter, mais grâce à l'audit et aux analyses statistiques de centaines ou de milliers de jeux de données dans le domaine dans lequel il prend la décision.
Par exemple, dans un algorithme d'apprentissage d'embauche à la recherche de candidats qui sont les plus susceptibles de réussir, l'ensemble de données de formation peut être alimenté avec des données de 200 curriculum vitae des candidats les plus performants de l'entreprise. L'algorithme recherche ensuite des modèles et des corrélations, qui contribuent à leur pouvoir prédictif lors de l'analyse de la probabilité de succès chez un nouveau candidat, en fonction de leur curriculum vitae. Remettre la prise de décision aux algorithmes d'apprentissage automatique présente de nombreux avantages pour les humains en question, notamment le fait d'économiser du temps, de l'argent et des efforts. Cependant, quand c'est
vient de l'éthique et de la responsabilité de la décision, les lignes deviennent floues. Parce que nous ne sommes pas en mesure de comprendre exactement pourquoi une machine a peut-être pris la décision que cela l'a fait, nous ne sommes pas toujours en mesure de détecter et d'échapper aux biais lorsque cela se produit.
Biais dans l'apprentissage automatique
Mathwashing (biais en faveur des algorithmes)
Le lavage mathématique est un terme inventé pour représenter l'obsession sociétale pour les mathématiques et les algorithmes, et la tendance psychologique à croire la vérité de quelque chose de plus facilement s'il y a des mathématiques ou du jargon qui y sont associés - même si les valeurs sont arbitraires. Les humains ont tendance à supposer que l'implication des mathématiques rend automatiquement quelque chose d'objectif, car les objets mathématiques semblent être indépendants de la pensée humaine. Les arguments contre cela sont enracinés dans l'existence même des mathématiques, qui était basée sur la pensée humaine. Les mathématiques en tant que construction, ainsi que ses propriétés, existent en tant que produit de la pensée humaine, ce qui le rend vulnérable à la subjectivité humaine tout comme les autres mesures.
Données de formation «Équité dans la classification»
Nous allons commencer par la façon dont les algorithmes sont formés - les algorithmes d'apprentissage automatique sont formés en fonction des ensembles de données choisis par les programmeurs. Avec ces données de formation, ils reconnaissent et tirent parti des modèles, des associations et des corrélations dans les statistiques.
Par exemple, un algorithme peut être formé pour faire la distinction entre un chat et un chien en nourrissant des milliers de photos de chats et de chiens différents. La classification est la plus facile des tâches; L'application d'un algorithme à un jugement basé sur un humain est beaucoup plus multiforme que cela. Par exemple, dans le cas de l'IA dans le système de justice pénale, aidant spécifiquement les juges à prendre une décision d'accorder ou non une libération conditionnelle à un délinquant - les ingénieurs peuvent nourrir des milliers de décisions et cas qui ont été prises par les humains dans le passé, mais tous L'IA peut comprendre que cela est le résultat d'une décision. Il ne possède toujours pas la sensibilité de comprendre que les humains sont influencés par tant de variables, et la rationalité n'est pas toujours le niveau supérieur de la prise de décision humaine. Ceci est un problème inventé par les informaticiens appelés «étiquetage sélectif». Les biais humains sont apprises pendant de nombreuses années d'intégration sociétale, d'accumulation culturelle, d'influences médiatiques, etc. Tous ces biais apprises s'infiltrent dans les algorithmes qui apprennent - tout comme les humains, ils ne commencent pas biaisés. Cependant, si l'on reçoit un ensemble de données imparfait, ils pourraient se retrouver comme tels.
Réflexion sociétale
Les algorithmes apprennent à faire des prédictions basées sur des informations qui lui ont été livrées et les modèles qu'il extrait de ces informations. Étant donné que les humains montrent tous les types de biais, un ensemble de données représentatif de l'environnement peut également apprendre ces biais. En ce sens, les algorithmes sont comme des miroirs - les modèles qu'ils détectent reflètent les biais qui existent dans notre société, à la fois explicites et implicites.
Prenez Tay, le chatbot Microsoft d'origine, par exemple. Tay a été conçu pour simuler les tweets d'une adolescente à partir d'interactions avec les utilisateurs de Twitter - cependant, en moins de 24 heures, Internet a vu Tay passer de tweeter des choses innocentes comme « les humains sont super cool » à des choses assez inquiétantes, comme « Hitler avait raison, je déteste les Juifs », simplement en vertu des tweets environnants sur Internet. Microsoft a supprimé les tweets, expliquant que Tay n'avait montré aucun problème dans la phase de test initiale, qui avait un ensemble de données de formation qui comportait des tweets filtrés et non offensifs. De toute évidence, le filtrage était sorti par la fenêtre lorsque Tay est venu en ligne. Cela semble indicatif d'une méthode de biais possible
L'atténuation, qui consisterait à surveiller et à filtrer les données entrantes à mesure que les algorithmes sont mis en service et l'engagement avec le monde réel.
Incorporation de mots
L'intégration des mots est une technique utilisée dans l'apprentissage automatique dans lequel les mots sont traduits par un vecteur - ces vecteurs constituent le dictionnaire des mots pour les algorithmes. L'intégration des mots est largement utilisée dans de nombreuses applications courantes, y compris les services de traduction, la recherche,
et des suggestions de saisie semi-automatique. Selon l'angle du vecteur, la machine serait en mesure de comprendre le sens du mot, en plus des mots et des corrélations couramment associés. Par exemple, les mots King et Queen étaient associés à Prince et princesse. Le niveau de compréhension de l'intégration des mots est capable peut être assez complexe, ce qui en fait un excellent outil pour analyser des choses comme les tests SAT, les candidatures, les lettres d'accompagnement, etc.
Cependant, un problème avec l'intégration des mots est qu'il a le potentiel d'amplifier les associations de genre existantes. Une étude réalisée par Bolukbasi
Et. AL à l'Université de Boston a exploré l'intégration de mots utilisés dans Google Translation Services. La période de formation implique rarement de nombreux ingénieurs humains et sont plutôt formés sur les bibliothèques de contenu en langage naturel telles que les articles de presse, les communiqués de presse, les livres, etc. Bolukbasi a étudié la relation entre les traductions turques aux traductions en anglais, car les phrases turques utilisent des pronoms neutres sexistes. Dans la traduction, Google serait obligé de choisir un pronom. L'étude a révélé que le biais du sexisme de Google, car il traduit «O Bir Doktor» à «Il est médecin» et «O Bir Hemsire» à «Elle est infirmière».
Un algorithme «conscient» par rapport à un algorithme «non au courant»
À la valeur nominale, l'approche la plus simple pour conquérir la question de l'équité est de retenir les informations qui crée le biais en premier lieu; Par exemple, dans un algorithme qui examine les CV, éliminer le nom et le sexe du curriculum vitae conceptuellement comme cela pourrait empêcher le biais de genre de se produire. S'il n'y a aucune information sur le sexe de la personne, alors la machine ne peut pas traiter les hommes et les femmes différemment, non?
C'est plus compliqué que ça. Ce que je viens de décrire ci-dessus est appelé l'approche «non au courant» de la construction d'algorithmes. En supprimant cet attribut, la prémisse est que le sexe sera un facteur négligeable en matière de compétence professionnelle. Cependant, parce que les algorithmes sont formés pour identifier les modèles au sein des statistiques, les corrélations, les stéréotypes et les inégalités existants qui sont ainsi ancrés dans la société émergent partout où nous allons; Ils existent en réalité, donc ils existent dans les ensembles de données dans lesquels nous formons également des algorithmes. L'apprentissage automatique pourra reprendre des fonctionnalités observables associant le sexe qui ne sont pas explicitement énoncées. Par exemple, un classificateur d'embauche peut prendre du poids sur la durée de leur service militaire et associer cela à la compétence ou à la loyauté, quand en Israël, les hommes servent généralement 3 ans, tandis que les femmes servent 2. Maintenant, vous avez un attribut qui est étroitement corrélé avec le genre , mais après avoir supprimé les informations essentielles, vous supprimez le contexte nécessaire pour prendre une décision objective. Pour cette raison même, un algorithme inconscient peut parfois être plus biaisé que son homologue entièrement informé.
D'un autre côté, l'approche «consciente» utilise des informations sur le genre et prend en compte la tendance d'un terme militaire plus court à servir par des femmes. Atténuer ces problèmes de précision et d'équité impliquent souvent un compromis - ils ne peuvent pas exister parfaitement dans le même domaine. L'approche ignorante est un processus plus équitable - il ne prend pas en compte les attributs sensibles pendant sa phase de formation. Cependant, cela peut conduire à un résultat biaisé. L'approche consciente utilise un processus plus injuste - il prend en compte les classifications et les informations sensibles, mais peut se retrouver avec un résultat plus objectif.
Boucles de rétroaction / auto-perpétuation
De plus, l'apprentissage automatique est susceptible d'être coincé dans des boucles de rétroaction, ce qui peut finir par perpétuer les biais. Par exemple, lorsque la prédiction basée sur la machine est utilisée dans l'évaluation des risques criminels, une personne noire est plus susceptible d'être considérée comme à haut risque que quelqu'un de blanc. Cela est simplement dû à la disparité des casiers judiciaires entre les Noirs et les Blancs, ce qui reflète malheureusement
Biais humain dans la race. Et parce que la machine a étiqueté encore une autre personne noire comme à haut risque, ce nouvel ajout à la collecte de données a fait avancer l'échelle à biaiser contre les défendeurs noirs. Dans ce cas, le système a non seulement reflété les modèles tirés du biais humain, mais a également renforcé son propre apprentissage.
Objectifs de substitution
Outre les problèmes dans les données de formation, il existe de nombreuses façons dont le biais peut faire son chemin dans le processus d'un algorithme. Notre prochaine exploration concerne la validité de construction des mesures qui propagent les algorithmes - est ce que vous essayez de mesurer réellement ce que vous avez besoin? Et quand il ne mesure pas avec précision, quelles sont les conséquences?
Les algorithmes des médias sociaux n'affichent plus de publications basées sur l'ordre chronologique, mais plutôt un algorithme d'apprentissage automatique filtre à travers tout ce que vous avez jamais engagé. L'objectif est de mesurer l'engagement - en fonction de votre intérêt précédent, il vous montrera alors
Plus de contenu avec lequel il pense que vous seriez susceptible de vous engager. Plus le taux d'engagement est élevé sur un élément de contenu, plus il est probable que l'algorithme soit de prendre le contenu et de le faire passer aux autres fils d'actualités - dans un monde parfait, cela a du sens. Les messages populaires devraient en théorie être un meilleur contenu - sinon, pourquoi fonctionneraient-ils si bien?
Malheureusement, les humains ne sont pas aussi intelligents que nous en avons besoin pour que cet algorithme fonctionne comme il se doit. Le contenu qui exécute le meilleur peut être composé de fausses nouvelles, de potins de célébrités, de calomnie politique et bien d'autres choses qui ne servent à rien à l'amélioration du monde. Mais parce que ces algorithmes ne peuvent pas comprendre cela, ces chambres d'écho se forment, et elle continue.
De nombreuses décisions en matière de pratiques d'embauche sont également remises à l'IA, dans des domaines tels que le dépistage de curriculum vitae, l'analyse des aptitudes au travail et la comparaison. Le recrutement d'emplois est un processus extrêmement opportun et a des coûts élevés pour toutes les personnes impliquées - encore plus, si une erreur est commise. L'Association nationale des collèges et des employeurs a estimé que le coût de l'embauche d'un employé soit d'environ 7 600 $ dans une entreprise de taille moyenne de 0 à 500. En laissant un algorithme faire le gros du travail, une entreprise peut consacrer une grande partie de ses ressources et de ses fonds ailleurs, et nous espérons que finir par un choix réussi.
Cependant, les objectifs de substitution deviennent un problème dans ce processus, car de nombreux traits d'emploi souhaitables sont très difficiles à opérationnaliser. Certains des mots à la mode de l'industrie comprennent de nos jours la «créativité», la «communication» et la «productivité», qui sont tous incroyablement difficiles à mesurer. Le test le plus courant pour mesurer la créativité est le test des utilisations alternatives, dans laquelle on propose des utilisations non conventionnelles pour les éléments communs. Sur la base de cette mesure, un employé peut se voir attribuer un score «aptitude de créativité», qui fait ensuite partie d'un ensemble de données de formation qui dépasse les employés potentiels pour le même trait. Les problèmes sont que l'alternative utilise le test ne teste qu'un aspect de la créativité - la pensée divergente. Il néglige tous les autres aspects de la créativité, certains qui peuvent être très précieux pour la culture d'entreprise. Vous vous retrouvez avec un personnel de créatifs qui sont tous créatifs de la même manière - ironiquement ennuyeux.
Autant que nous romantialisons la possibilité de créditer les algorithmes d'apprentissage automatique pour prendre des décisions importantes, la vérité est qu'ils ne peuvent pas comprendre l'objectivité, la vérité, la neutralité ou l'égalité. Tous
Ces traits sont des considérations importantes lorsque la vie humaine est en jeu. Où allons-nous à partir d'ici?
Conclusion
Bien que nous ayons illuminé bon nombre des problèmes que les modèles d'IA peuvent introduire, il existe une multitude de raisons pour lesquelles les entreprises peuvent passer d'une approche décisionnelle centrée sur l'homme. Comme mentionné précédemment, malgré tous ses défauts, l'intelligence artificielle est encore plus objective que les humains. Pour cette raison, nous voyons une utilisation continue de l'intelligence artificielle dans les tâches basées sur la décision et la prédiction. Mais moins biaisé n'est pas équivalent à impartial - que se passe-t-il lorsqu'un algorithme prend une décision biaisée? Comment décidons-nous qui devrait assumer la responsabilité? Ce n'est pas comme si nous pouvions punir un algorithme pour faire une prédiction biaisée (que ferions-nous, l'effacer?).
On peut dire que la meilleure façon de suivre la responsabilité est de tenir des enregistrements précis et détaillés des processus de prise de décision de l'IA.
C'est-à-dire que les processus et les données par lesquels les décisions sont prises doivent être transparentes, de sorte que si quelque chose doit mal tourner, un auditeur tiers est en mesure de retracer les étapes menant au résultat pour localiser la source de la problème. Des projets de loi et des lois ont été créés pour garder les pratiques transparentes à cette fin.
Bien sûr, cette méthode n'est pas sans problèmes. L'audit n'est pas toujours réalisable pour l'intelligence artificielle avec les mégadonnées, qui sont des ensembles de données extrêmement importants, et il n'est pas toujours applicable aux systèmes engagés dans l'apprentissage en profondeur, qui présentent de grands ensembles de données ainsi que des réseaux complexes. L'autonomie et la transparence algorithmiques semblent avoir une relation inverse - à mesure que ces algorithmes deviennent de plus en plus meilleurs pour «apprendre» et s'adapter, il devient plus difficile de comprendre où se produisent les biais. Bien que l'audit soit efficace pour les modèles plus simples, nous pouvons avoir besoin d'un moyen différent de soulager les biais pour les algorithmes complexes.
Une autre façon d'atténuer les biais s'adresse aux formateurs et aux créateurs de l'IA. En les faisant prendre conscience de leurs propres préjugés, nous avons de meilleures chances de le garder hors des algorithmes. Il est important de noter que le biais humain existe et est difficile à atténuer, car il s'agit d'un trait évolutif, mais nous devenons de plus en plus conscients des préjugés auxquels notre propre cerveau est sensible. Pour conclure, les algorithmes peuvent faire partie de la réduction des préjugés institutionnels - si nous restons éduqués, conscients, intelligents et sélectifs.
"La meilleure chose à faire est de continuer à essayer d'améliorer la culture et de continuer à mettre à jour l'IA pour suivre la culture en attendant qu'elle s'améliore." - Joanna Bryson
Les références:
Abate, Tom., Krakovsky, Marina. “Which is more fair: a human or a machine?” Stanford Engineering, January 31, 2018.
Bornstein, Aaron M. “Are Algorithms Building an Infrastructure of Racism?” Nautilus, December 21, 2017.
Bright, Peter. “Microsoft Terminates Its Tay AI Chatbot After She Turns Into a Nazi.” Ars Technica, March 24, 2016.
Courtland, Rachel. “Bias Detectives: the researchers striving to make algorithms fair.” Springer Nature, Macmillan Publishers, June 21, 2018.
Miller, Alex P. “Want Less-Biased Decisions? Use Algorithms.” Harvard Business Review, July 26, 2018.
Schep, Tijmen. “What is Mathwashing?” Mathwashing, 2018.
Shapiro, Stewart. “The Objectivity of Mathematics.” Synthese, vol. 156, no. 2, 2007, pp. 337–381.
Bolukbasi, T., Chang, K., Zou, J., Saligrama, V., Kalai, A. “Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings.” Microsoft Research New England, 2016
Yona, Gal. “A Gentle Introduction to the Discussion on Algorithmic Fairness.” Towards Data Science, Medium. October 5, 2017.