Les gens terribles le feront utiliser la technologie pour faire des choses horribles. C’est une vérité universelle qui s’applique à presque toutes les technologies qui facilitent la communication et l’interaction, aussi bien intentionnées soient-elles. Quelque chose d’aussi anodin que Google Drive peut être un vecteur de harcèlement. Comme nous l’avons récemment découvert, les plates-formes de vidéoconférence comme Zoom le peuvent aussi. Juste au cours des dernières semaines, les classes du secondaire Caroline du Nord et Texas, de même que une réunion NAACP en Californie, ont été interrompus par des vidéos, des images et des textes racistes et misogynes. Avec la montée en puissance des cours à distance dans tout le pays, nous ne pouvons que nous attendre à plus de mal – mais à quel point Zoom est-il responsable?

En avril dernier, “Zoombombings” a frappé notre université, et une collègue a décrit la perturbation inquiétante de sa classe en ligne, où les trolls ont contourné les mauvais protocoles de confidentialité de Zoom afin de partager de la pornographie à l’écran et de crier des insultes racistes et sexistes. Même les précautions évidentes, comme ne pas publier de liens publics vers des réunions, sont vulnérables à l’ingénierie sociale, comme les étudiants universitaires qui publient des liens vers les forums «venez zoomer bombarder ma classe». En tant que chercheurs en éthique technologique, nous n’avons pas trouvé cela surprenant. Cependant, apparemment, c’était pour PDG de Zoom, qui a dit Le New York Times, «Les risques, les abus, nous n’avons jamais pensé à cela.»

OPINION FILAIRE

À PROPOS

Casey Fiesler est professeur adjoint en sciences de l’information à l’Université du Colorado à Boulder. Elle dirige le laboratoire de règles Internet, où elle et ses étudiants étudient l’éthique et les politiques technologiques, ainsi que les moyens de rendre les technologies en réseau plus efficaces et plus sûres. Natalie Garrett est doctorant en sciences de l’information à l’Université du Colorado à Boulder. Ses recherches soutiennent l’opérationnalisation de l’éthique dans l’industrie technologique.

Big Tech est une question de vitesse, en particulier lorsqu’il y a une opportunité perçue, comme une pandémie forçant une plus grande dépendance aux technologies de la communication. Mais un “bouge vite et casse les choses“Mentalité se traduit par des tests et un déploiement limités de logiciels qui ne sont pas prêts. Il s’agit d’un problème si connu qu’il existe même un terme pour le désigner: “dette technique», Le coût impayé du déploiement de logiciels qui devra finalement être corrigé après il est clair quels sont les bogues.

La dette s’accumule lorsque ces problèmes ne sont pas abordés au cours du processus de conception. Cependant, lorsque les bogues sont des préjudices à la société, ce n’est pas mauvais technologie, mais plutôt immoral technologie. «Nous n’avons jamais pensé aux abus» est le précurseur d’un autre type de dette: dette éthique.

Le problème des “personnes horribles” de Zoom n’est pas votre bug typique, après tout. Lorsque l’approche «nous réparerons les mauvaises choses après qu’elles se produisent» concerne les préjudices potentiels, qu’ils soient individuels ou sociétaux, vous ne parvenez pas à anticiper les problèmes éthiques. Et le problème de la dette éthique est que le collecteur de dettes métaphorique ne vient qu’après que le préjudice a été infligé. Vous ne pouvez pas remonter le temps et améliorer les fonctionnalités de confidentialité afin que les élèves marginalisés sans méfiance n’entendent pas ces insultes racistes en milieu de classe. Vous ne pouvez pas annuler une élection après la diffusion de la désinformation a sapé la démocratie. Vous ne pouvez pas annuler l’interrogatoire et l’arrestation abusive d’un homme noir après une accusation de reconnaissance faciale biaisée. Vous ne pouvez pas faire en sorte que les gens ne voient pas les vidéos de théorie du complot qui un algorithme de recommandation poussé dans leurs visages. Le mal est déjà fait.

Les technologues ne voient pas l’avenir, mais ils pouvez prédire et spéculer. Ils savoir que des gens horribles existent. À ce stade, ils peuvent facilement imaginer ceux qui pourraient intentionnellement propager des théories du complot, qui pourraient se fier à la reconnaissance faciale comme preuve même quand on leur dit de ne pas le faire, qui pourraient essayer de manipuler les élections avec de la désinformation, et qui pourraient penser que c’est amusant de le faire. terroriser les étudiants et les professeurs sans méfiance. Ce ne sont pas tous des gros titres éclatants, mais il peut également s’agir de micro-instances de dommages individuels qui s’accumulent au fil du temps. Dans le cadre du processus de conception, vous devriez imaginer tous les abus de votre technologie. Et puis, vous devriez concevoir pour rendre ces abus plus difficiles.

Ironiquement, certaines des personnes les plus compétentes pour imaginer des choses comme la façon dont la technologie pourrait être utilisée pour le harcèlement sont des personnes qui sont souvent harcelées. Cela signifie des personnes marginalisées et vulnérables comme les femmes et les personnes de couleur – des personnes sous-représentées dans la technologie. Dans une salle de ces personnes, nous vous garantissons que «des personnes aléatoires participeront à des réunions Zoom et partageront de la pornographie d’écran» lors de spéculations sur une utilisation abusive. Étant donné que de nombreux méfaits technologiques ont un impact disproportionné sur les personnes déjà marginalisées, ce sont des voix importantes à inclure dans le processus de conception dans le cadre de la lutte contre la dette éthique.

Les technologues créent souvent des «personnages d’utilisateurs» pendant le processus de conception pour imaginer comment différents types de personnes pourraient utiliser cette technologie. Si ces personnages n’incluent pas «l’utilisateur traque son ex», «l’utilisateur qui veut traumatiser les personnes vulnérables» et «l’utilisateur qui pense que c’est drôle de montrer à tout le monde ses organes génitaux», alors vous manquez une étape de conception importante. Et si votre réponse à cela est: “Oui, il y aura probablement ce genre de problèmes, mais nous les réglerons une fois que nous saurons ce qu’ils sont”, commencez à tenir un livre comptable de votre dette éthique.