Smashing Podcast Épisode 41 Avec Eva PenzeyMoog : Concevoir pour la sécurité

Cet article a été aimablement soutenu par nos chers amis de Netlify qui sont un groupe diversifié de talents incroyables du monde entier et offrent une plate-forme pour les développeurs Web qui multiplie la productivité. Merci!

Dans cet épisode, nous parlons de concevoir pour la sécurité. Que signifie prendre en compte les utilisateurs vulnérables dans nos conceptions ? Drew McLellan s'entretient avec l'experte Eva PenzeyMoog pour le savoir.

Afficher les remarques

• Conception pour la sécurité d'un livre à part
• Le projet de sécurité inclusive
• Eva sur Twitter
• Le site personnel d'Eva

Mise à jour hebdomadaire

• Comment créer un site de commerce électronique avec Angular 11, Commerce Layer et Paypal écrit par Zara Cooper
• Refactoring CSS: Strategy, Regression Testing And Maintenance écrit par Adrian Bece
• Comment créer des interfaces utilisateur JavaScript résilientes écrites par Callum Hart
• Réagissez les enfants et les méthodes d'itération écrites par Arihant Verma
• Modèles de conception frustrants : boutons désactivés écrits par Vitaly Friedman

Transcription

Drew McLellan : Elle est la fondatrice de The Inclusive Safety Project, auteur du livre Designed For Safety, qui sort ce mois-ci de A Book Apart. Elle est designer principale chez 8th Light, où elle conçoit et construit des logiciels personnalisés et conseille sur une stratégie de conception sûre et inclusive. Nous savons qu'elle est experte dans la conception de technologies pour protéger les personnes vulnérables, mais saviez-vous qu'elle est la détentrice du record international du plus grand nombre de beignets exécutés dans un chariot élévateur ? Mes amis fracassants, veuillez accueillir, Eva PenzeyMoog. Salut Eva, comment vas-tu ?

Eva PenzeyMoog : Je suis fracassante.

Drew : C'est bon à entendre. Je voulais vous parler aujourd'hui des principes de conception de produits et d'expériences en pensant à la sécurité des utilisateurs vulnérables. Serait-il juste dès le départ de donner une sorte d'avertissement déclencheur pour tout sujet particulier que nous pourrions aborder?

Éva : Absolument, oui. Merci d'avoir soulevé cela. Déclenchez définitivement un avertissement pour les mentions explicites de violence domestique, également éventuellement de maltraitance des personnes âgées et de la maltraitance des enfants.

Drew : C'est important. N'hésitez pas. Si vous vous inquiétez de l'un de ces problèmes, cela pourrait être un déclencheur pour vous. N'hésitez pas à les ignorer. On se verra au prochain épisode. Encadrez la conversation pour nous, Eva. Lorsque nous parlons de Design For Safety, de quel type de problèmes de sécurité parlons-nous ? Nous ne parlons pas d'interfaces pour les voitures autonomes. Ce n'est pas ce genre de sécurité, n'est-ce pas ?

Eva : Exactement. Ouais. Quand je parle de sécurité, je parle vraiment de sécurité interpersonnelle, la façon dont les utilisateurs peuvent militariser nos produits pour se faire du mal de manière interpersonnelle. Des gens qui se connaissent, vivent ensemble, beaucoup de violences conjugales de partenaires amoureux, mais aussi des parents et des enfants. Il y a aussi un peu plus d'employeurs et d'employés dans le domaine de la surveillance. Mais il y a cette relation personnelle intérieure réelle requise en termes de sécurité dont je parle, par opposition à, oui, quelqu'un d'anonyme sur Internet ou une entité anonyme essayant d'obtenir vos données, des choses comme ça.

Drew : Pourrait-il s'agir de problèmes aussi simples que… Je pense à tous les jours que vous voyez sur les réseaux sociaux où différents utilisateurs peuvent s'envoyer des messages directs, et comment cela est censé être un petit outil utile pour permettre aux gens de prendre une conversation hors ligne ou hors public. Mais ce genre de choses pourrait aussi, sans les bonnes garanties, être le vecteur d'une sorte d'abus de contrôle.

Éva : Oui, tout à fait. À chaque fois que vous autorisez les utilisateurs à s'envoyer n'importe quel type de texte, il existe un risque d'abus. La messagerie Facebook, celle-là est un peu plus évidente, et je pense… Eh bien, j'espère qu'ils ont mis en place des garanties pour reconnaître que vous ne voulez peut-être pas voir certains messages ou que vous voulez laisser quelqu'un vous contacter. Mais celui qui est vraiment intéressant et connexe que j'ai rencontré en faisant des recherches est un grand nombre d'applications ou de services bancaires différents comme Venmo qui vous permettent de partager de l'argent. Il y a souvent un espace pour un message. Au moins avec Venmo, c'est obligatoire.

Eva : Certaines banques, c'est facultatif, mais les gens enverront un centime à quelqu'un et auront ensuite un message abusif ou quelque chose de vraiment dangereux ou effrayant ou menaçant, et il n'y a pas vraiment de moyen pour l'utilisateur qui reçoit ces messages de signaler cela ou de dire, "Je veux bloquer cet utilisateur, car pourquoi voudriez-vous empêcher quelqu'un de vous envoyer de l'argent." C'est une situation où je pense que le concepteur n'a tout simplement pas considéré que les agresseurs recherchent toujours des moyens de faire des choses comme ça. Ils sont très créatifs et cela n'a pas été pris en compte dans la conception.

Drew : Nous parlons souvent de concevoir le chemin heureux où tout est utilisé tel qu'il est conçu pour être utilisé et l'expérience se déroule sans heurts. Ensuite, en tant qu'ingénieurs, nous réfléchissons à la façon dont les choses pourraient mal tourner en termes d'échec de validation ou d'API en panne. Mais je ne suis pas sûr… En tant qu'industrie, avons-nous un gros angle mort sur les façons dont les technologies pourraient être utilisées à mauvais escient lorsqu'il s'agit de prendre en compte la sécurité de nos utilisateurs ?

Éva : Ouais. Je pense absolument qu'il y a un angle mort géant. Les gens connaissent très bien ce genre de différents modèles de menace, comme je l'ai mentionné, de la personne anonyme qui vous harcèle sur Twitter, différentes entités essayant de pirater les données d'une société bancaire, des choses comme ça. Mais nous l'appelons le modèle de menace de violence domestique, qui est très différent et c'est celui auquel la plupart des gens ne pensent pas et cela a toujours été le retour d'information lorsque j'ai fait mon discours, en concevant contre la violence domestique avant que la pandémie n'arrête les conférences . C'était toujours la rétroaction, les gens disaient: «Je n'avais jamais entendu parler de cela. Je n'en avais aucune idée." C'est le but de mon discours et de mon livre et de mon travail en général est d'aider les gens à comprendre ce que c'est et ce qu'il faut faire à ce sujet parce que c'est quelque chose qui n'est qu'un énorme angle mort.

Drew : Je pense que nous avons une tendance, et il est évidemment dangereux de présumer que chaque utilisateur est comme nous. Tout comme les personnes qui construisent le service ou le produit, tout comme nos soldats, comme nos amis et notre famille et les gens que nous connaissons, et de présumer que tout le monde est dans une situation familiale stable et a la pleine propriété ou le contrôle de leurs services et appareils. Ce n'est pas toujours le cas, n'est-ce pas ?

Éva : Oui, tout à fait. Certainement pas toujours le cas. Je pense que nous pourrions regarder nos amis et notre famille et penser que tout le monde est dans une bonne relation, mais quelque chose que j'ai découvert, c'est que la plupart des gens qui subissent des violences domestiques ne le disent pas exactement à tout le monde dans leur vie et ne le crient pas de les toits. La plupart des gens, juste sur la base des statistiques, c'est si courant. Vous connaissez probablement quelqu'un qui a été dans cette situation ou qui est actuellement dans cette situation, et ils n'en parlent tout simplement pas vraiment ou ils ne partagent peut-être pas toute l'étendue du comportement.

Eva : À bien des égards, il est compréhensible que ce ne soit pas quelque chose auquel les gens ont vraiment pensé sur le lieu de travail, car ce n'est pas quelque chose auquel nous pensons dans la société et la vie en général et nous reproduisons cela dans notre lieu de travail. Mon travail essaie de nous faire en parler un peu plus explicitement.

Drew : Quelles sont certaines des choses auxquelles nous devrions penser quand il s'agit de ces considérations ? En pensant simplement au moment où quelqu'un d'autre pourrait avoir accès à votre compte, ou si un partenaire connaît votre mot de passe et peut y accéder, vous penseriez que ces produits ont été conçus pour être contrôlés par une seule personne, mais maintenant peut-être que quelqu'un d'infâme y accède. Quel genre de considérations y a-t-il là-bas?

Éva : Ouais. Eh bien, il y a tellement de choses différentes, mais c'est une très grande que j'ai… Trois chapitres principaux de mon nouveau livre se concentrent sur les trois grands domaines différents où cela se produit, et ce que vous venez de mentionner est l'objet de l'un des informez-les des problèmes de contrôle et d'alimentation avec des produits conçus pour plusieurs personnes. Des choses comme un compte bancaire partagé, des choses comme Netflix ou Spotify, des choses comme toutes sortes d'appareils domestiques différents, des appareils Internet des objets, qui sont apparemment destinés à plusieurs personnes. Mais il y a l'hypothèse que tout le monde est une personne respectueuse qui ne cherche pas à trouver un autre moyen d'exercer son pouvoir et de contrôler les gens qui l'entourent.

Eva : Beaucoup de comptes bancaires conjoints ou des choses comme le service de carte de crédit partagée se font passer pour un compte conjoint, mais en réalité, une personne a plus de pouvoir. Par exemple, cela m'est arrivé et c'était vraiment frustrant parce que je gère la plupart des finances de mon mariage. Mais lorsque nous avons créé notre premier compte bancaire commun il y a des années, ils ont défini mon mari comme utilisateur principal, ce qui signifie essentiellement que ce sont ses données accessibles au public qui ont été utilisées pour créer un quiz de sécurité. Quand je me connecte à notre banque à partir d'un nouveau réseau Wi-Fi, je dois lui demander par exemple dans laquelle de ces rues viviez-vous quand vous étiez enfant ? Ils sont en fait pour la plupart… Je peux répondre à certains d'entre eux.

Eva : Je sais qu'il n'a jamais vécu en Californie, mais beaucoup d'entre eux sont vraiment bons, et je dois lui demander même si nous sommes ensemble depuis longtemps. Ils sont assez efficaces pour éloigner quelqu'un. Mais c'est comme si c'était censé être un compte conjoint, pourquoi est-ce en fait… C'est en fait juste un compte pour lui auquel j'ai aussi accès. Beaucoup de problèmes avec ça où ils permettent à quelqu'un d'avoir plus de contrôle parce qu'il ne peut tout simplement pas me donner les réponses et alors je n'aurais pas accès à nos finances sans avoir à appeler la banque ou passer par quelque chose et passer par un processus différent. Ouais. Beaucoup de problèmes différents avec le contrôle.

Eva : Je pense que chaque fois que vous concevez un produit qui va impliquer plusieurs utilisateurs, réfléchissez à la façon dont un utilisateur va l'utiliser pour contrôler une autre personne, et ensuite comment pouvons-nous mettre en place des garanties à cela, soit en faisant en sorte que une personne n'a pas le contrôle. Si ce n'est pas possible, comment pouvons-nous au moins nous assurer que l'autre personne comprend exactement ce qui se passe et sait exactement comment reprendre le pouvoir ? Pouvons-nous leur donner un numéro à appeler, une sorte de paramètre à modifier ? Quoi qu'il en soit, tout devient un peu compliqué.

Eva: J'ai tout un processus dans le livre sur ce à quoi cela ressemble réellement dans la pratique, quelque chose d'un peu plus spécifique que de simplement considérer la violence domestique ou simplement de considérer qui contrôle. Je ne trouve pas ce genre de conseil super utile. J'ai un processus très approfondi que les concepteurs peuvent mettre en place en plus de leur processus de conception existant pour obtenir certains de ces éléments.

Drew : Je suppose, où vous avez ces comptes… Avoir un compte est un concept tellement banal. Nous créons des produits ou des services dont le bloc de construction fondamental est, d'accord, nous avons un compte utilisateur. Nous ne réfléchissons probablement même pas trop aux types de problèmes lors de la configuration et pensons que le compte est différent des personnes qui en sont responsables ? Souvent, ils sont simplement considérés comme une seule entité, et vous devez ensuite y adjoindre d'autres entités pour créer des comptes conjoints et ce genre de choses. Mais compte tenu également de la question de savoir ce qu'il advient de ce compte si deux personnes se séparent, comment cela peut-il être séparé à l'avenir ? Est-ce quelque chose auquel nous devrions penser dès le départ?

Éva : Oui, tout à fait. C'est un très bon point que tu soulèves. Je pense que l'une des choses qui me tient vraiment à cœur est que lorsque nous centrons les survivants de différents types d'abus dans notre conception, nous finissons par fabriquer des produits qui sont meilleurs pour tout le monde. J'ai interrogé un bon nombre de personnes sur l'élément d'exploitation financière, qui est très courant dans les contextes de violence domestique. La statistique est de 99% des personnes dans une relation de violence domestique, il y a un élément d'exploitation financière qui est très courant. Mais j'ai aussi fini par interviewer des personnes qui avaient tragiquement perdu leur conjoint, une personne était décédée et qui avaient un compte joint.

Eva : C'est comme un joli... C'est malheureusement un scénario très courant, mais ce n'est pas quelque chose que beaucoup de ces produits sont conçus pour gérer, et cela peut prendre des années pour obtenir le contrôle total sur un compte partagé ou sur quelque chose comme... Quand ma grand-mère est décédée, elle avait beaucoup de prévoyance et elle avait donné accès à tout à mon père. Mais même avec cela, il lui a fallu encore beaucoup de temps pour tout mettre au point, car ces produits ne sont tout simplement pas conçus pour gérer des choses comme ça. Mais si nous devions centrer les survivants et penser à, oui, à quoi ça ressemble quand deux personnes se séparent, et être capables de gérer cela efficacement, cela aiderait finalement un tas d'autres personnes dans d'autres situations.

Drew: Nous pensons beaucoup au processus d'intégration, à la création de nouveaux comptes et à l'intégration de personnes dans un produit, puis oublions de considérer ce qui se passe lorsqu'ils partent par quelque moyen que ce soit, s'ils meurent malheureusement ou comment cela se termine-t-il au l'autre extrémité du processus. Je pense que c'est quelque chose qui ne reçoit pas l'attention dont il pourrait vraiment bénéficier.

Éva : Ouais.

Drew : Nous transportons des téléphones dans nos poches, et ce sont des appareils très personnels et ils sont souvent littéralement les clés de notre accès à l'information, aux finances et à la communication. Dans une situation négative, cela pourrait facilement… Le fait qu'il s'agisse d'un appareil aussi personnel peut devenir un vecteur de contrôle et d'abus. Il suffit de penser à des choses comme les services de localisation, des services comme Find My d'Apple, ce qui est génial si vous avez des enfants d'âge scolaire et que vous pouvez vous enregistrer et voir où ils sont, voir qu'ils sont là où ils sont censés, ils sont en sécurité . C'est une caractéristique de sécurité à bien des égards, mais cette caractéristique peut être renversée, n'est-ce pas ?

Éva : Oui, tout à fait. Oui, et je suis content que vous en parliez parce que beaucoup de ces produits sont des dispositifs de sécurité pour les enfants. Oui, bien sûr, les parents veulent savoir où sont leurs enfants, ils veulent s'assurer qu'ils sont en sécurité, et cela peut être un outil très efficace. Je pense qu'il y a beaucoup de problèmes avec les parents qui utilisent trop ces produits. J'ai trouvé des cas d'étudiants qui sont toujours enregistrés par leurs parents et qui recevront un appel s'ils vont à une fête hors campus comme pourquoi n'êtes-vous pas dans votre dortoir ? Des choses comme ça. Cela peut devenir trop. Mais oui, pour la plupart, ce sont d'excellents produits. Mais beaucoup de gens les utilisent alors à mauvais escient pour suivre les adultes qui ne consentent pas à ce que leur emplacement soit suivi, et souvent ils non plus…

Eva : Il faut aller dans le service comme avec Google Maps, par exemple, le partage de position. Vous devez y entrer pour voir que vous le partagez avec quelqu'un. Il n'y a pas d'alerte. Similaire avec Localiser. L'utilisateur dont l'emplacement est suivi reçoit une alerte, mais dans une situation de violence domestique, il est très facile pour l'agresseur de simplement supprimer l'alerte du téléphone de la personne avant qu'elle ne puisse la voir, et il n'y a pas vraiment d'autre moyen que cette personne va se rendre compte que cela se produit même. Je pense que c'est un bon exemple de quelque chose que les cas d'abus ne sont tout simplement pas pris en compte lorsque nous créons des choses qui, en fin de compte, concernent la sécurité des enfants. Mais nous devons réaliser qu'il y a des tonnes de gens qui vont l'utiliser pour les enfants dans ces autres contextes.

Drew: Je suppose que dans une relation, vous pouvez donner votre consentement pour que votre position soit suivie assez volontiers à un moment donné, puis vous ne comprenez peut-être pas que cela continue, et vous ne savez peut-être pas que cela continue et que vous êtes être suivi sans s'en rendre compte.

Éva : Ouais. C'est une chose vraiment importante à considérer parce que dans les relations abusives, ce n'est pas comme… La violence ne commence pas le premier jour, pour la plupart. C'est généralement une très bonne relation au début, puis ils introduisent lentement différentes formes de contrôle, de prise de pouvoir et de retrait de la personne de son réseau de soutien, et tout cela se produit au fil du temps, souvent au fil des années, car si vous venez de commencer à le faire Au premier rendez-vous, la plupart des gens diraient : "Ouais, non, je sors." Mais une fois qu'il y a cette relation amoureuse, il devient beaucoup plus difficile de simplement quitter cette personne.

Eva : Mais oui, souvent, les choses qui étaient totalement sûres à faire au début de la relation ne le sont plus, mais la personne a depuis longtemps oublié qu'elle partageait sa position avec cette personne, et là encore, il n'y a pas de bon moyen de se rappeler. Il y a certaines choses à leur crédit, Google envoie un e-mail tous les 30 jours, bien que certaines personnes aient dit qu'elles ne les recevaient pas aussi souvent, et certaines personnes le font. Je ne sais pas exactement ce qui se passe, mais ils envoient un e-mail récapitulatif avec toutes les personnes avec lesquelles vous partagez votre position, ce qui est vraiment génial.

Eva : Mais je pense que beaucoup de dégâts peuvent être causés en 30 jours. Je préférerais quelque chose de plus fréquent ou même une chose omniprésente qui vous fait savoir que cela se produit, ou quelque chose qui se produit plus fréquemment, puis permettrait à l'agresseur de simplement supprimer cette notification. Ouais, c'est un très bon point, c'est ce consentement. Il y a beaucoup de choses qui découlent des pratiques de consentement aux agressions sexuelles. Je pense qu'il y a tellement de pertinence pour la technologie. Ce n'est pas parce que vous avez consenti à quelque chose dans le passé que vous y consentez maintenant ou à l'avenir. Mais dans la technologie, on se dit : « Eh bien, ils ont donné leur consentement il y a cinq ans, donc ce consentement est toujours valable », et ce n'est vraiment pas le cas. Nous devrions obtenir leur consentement plus tard.

Drew : Oui, cela présente toutes sortes de défis, n'est-ce pas ? Dans la façon dont ces choses sont conçues, parce que vous ne voulez pas mettre tant d'obstacles dans la conception d'un produit qu'il devienne inutile. Ou dans un cas où vous suivez un enfant et qu'il n'a pas vraiment donné son consentement ce jour-là, et tout d'un coup, il est porté disparu et le service n'est pas activé. Mais encore une fois, assurez-vous que ce consentement ne dure que tant qu'il est vraiment donné. Je pense que c'est assez facile dans un document partagé, si vous utilisez Google Documents, ou autre, de voir qui regarde ce document à ce moment-là, toutes les icônes apparaissent, si... Les avatars de tous les différents utilisateurs qui étaient là et avoir accès. Vous pensiez que ce genre de solutions pourrait fonctionner aussi bien lorsque les gens accèdent à votre emplacement ?

Eva : Ouais, tout à fait. Oui, ça colle. Il n'y a pas beaucoup de solutions simples et simples avec ce genre de choses, et les trucs sur, ouais, vous voulez… Peut-être que ce n'est pas une bonne idée de laisser vos enfants de huit ans donner leur consentement tous les jours parce que si un jour ils disent juste "Non", ou ils disent par erreur non ou quoi que ce soit, et puis tout d'un coup, vous ne pouvez pas les trouver. Oui, c'est un vrai scénario. Je pense qu'avec certaines de ces choses, c'est comme si je ne pensais pas qu'il serait réaliste de dire: "Eh bien, cette production ne devrait pas exister ou vous devriez obtenir le consentement tous les jours."

Eva : Mais dans ces cas, il y a encore des choses que vous pouvez faire, comme dire à la personne que cette personne, cet autre utilisateur peut voir sa position même s'il n'y a pas grand-chose qu'il puisse faire à ce sujet. À tout le moins, leur donner ces informations afin qu'ils comprennent clairement ce qui se passe et qu'ils puissent ensuite prendre des mesures pour se protéger s'ils sont dans cette relation abusive, cela va être vraiment utile. Peut-être que maintenant ils savent, d'accord, je ne vais pas prendre mon téléphone avec moi quand je quitte le bureau pendant mon heure de déjeuner pour voir mon amie que mon partenaire n'approuve pas parce qu'elle préconise toujours beaucoup que je quitte le relation et il saurait que j'étais allé quelque part si j'apportais mon téléphone.

Eva : Mais si je garde mon téléphone au bureau, il ne le saura pas. Pouvoir prendre ce genre de décisions éclairées. Même si vous n'êtes pas nécessairement en mesure de mettre fin au partage de position, il y a certainement d'autres choses que nous pouvons faire pour assurer la sécurité des utilisateurs tout en conservant les fonctionnalités de base du produit.

Drew : Oui. Cela dépend des décisions de conception, n'est-ce pas? Et trouver des solutions à des problèmes difficiles, mais d'abord comprendre que le problème est là et doit être résolu, ce qui, je pense, est l'endroit où cette conversation est si importante pour comprendre les différentes façons dont les choses sont utilisées. De plus en plus, nous avons des appareils avec des microphones et des caméras. Nous avons beaucoup de caméras de surveillance dans nos maisons et sur nos sonnettes, et la surveillance secrète n'est plus seulement quelque chose de films d'espionnage et d'émissions policières, n'est-ce pas ?

Éva : Ouais. Oh oui. C'est un énorme problème. J'ai des sentiments très forts à propos de ce genre de choses, et je sais que beaucoup de gens aiment vraiment ces appareils et je pense que c'est très bien. Je pense qu'ils sont beaucoup utilisés à mauvais escient pour la surveillance. Je pense que beaucoup de conjoints et de membres de la famille, mais aussi beaucoup de… C'est là que je pense qu'entrer dans des trucs avec des enfants, pour moi du moins, cela devient un peu plus clair que même les enfants ont certains droits à la vie privée, et surtout quand vous regardez les adolescents ont besoin de beaucoup plus d'indépendance et ils ont besoin d'espace, et il y a littéralement des choses sur le développement du cerveau qui se passent autour de l'indépendance.

Eva : Je pense qu'il existe des moyens d'aider vos enfants à être en sécurité en ligne et à prendre de bonnes décisions, et aussi de vérifier parfois ce qu'ils font sans que ce soit quelque chose où vous les surveillez constamment ou que vous vous injectez constamment dans leur vie d'une manière ou d'une autre. qu'ils ne veulent pas. Mais oui, la pléthore de différents dispositifs de surveillance est tout simplement incontrôlable, et les gens les utilisent tout le temps pour se surveiller secrètement ou même pas ouvertement. Parfois, c'est au grand jour du genre : « Ouais, je te regarde. Qu'allez-vous faire à ce sujet? Tu ne peux pas parce que nous sommes dans cette relation où j'ai choisi d'utiliser la violence pour garder mon pouvoir et mon contrôle sur toi.

Eva : Cela devient un très gros problème. Quelque chose que j'ai souvent rencontré, ce sont les gens… Cela devient un moyen de plus pour l'agresseur d'isoler la survivante de son réseau de soutien. Vous ne pouvez pas avoir une conversation téléphonique privée avec votre ami ou votre frère ou votre thérapeute. Du coup, il n'y a aucun endroit dans votre maison qui soit en fait un espace privé, ce qui a également été un très gros problème pendant la pandémie où les gens sont obligés de rester chez eux. Nous avons vu une énorme augmentation de la violence domestique, ainsi que la violence domestique facilitée par la technologie parce que les agresseurs ont eu plus de temps pour comprendre comment faire ces choses, et c'est un espace beaucoup plus petit qu'ils doivent câbler pour le contrôle. Beaucoup de gens ont fait ça. C'est vraiment un gros problème.

Drew : Je m'attendrais à ce que les fabricants de ce genre de produits, caméras de surveillance et autres, disent : « Ici, nous ne fabriquons que des outils. Nous n'avons aucune responsabilité sur la façon dont ils sont utilisés. Nous ne pouvons rien faire à ce sujet. Mais diriez-vous que, oui, ils ont une responsabilité quant à la façon dont ces outils sont utilisés ?

Eva : Oui, je le ferais. Je dirais tout d'abord à quelqu'un qui a dit : « Vous êtes d'abord un être humain avant d'être un employé d'une entreprise de technologie, une personne capitaliste qui gagne de l'argent. Vous êtes un être humain et vos produits affectent les êtres humains et vous en êtes responsable. La deuxième chose que je dirais, c'est que le simple fait d'exiger un niveau plus élevé de connaissances techniques de la part de nos utilisateurs est un état d'esprit vraiment problématique, car il est facile pour ceux d'entre nous qui travaillent dans le domaine de la technologie de dire : « Eh bien, les gens ont juste besoin d'en savoir plus. à ce sujet. Nous ne sommes pas responsables si quelqu'un ne comprend pas comment notre produit est utilisé.

Eva : Mais la majorité des gens ne travaillent pas dans la technologie et il y a toujours, évidemment, beaucoup de gens vraiment avertis en technologie qui ne travaillent pas dans la technologie. Mais exiger que les gens comprennent exactement comment chaque application dont ils disposent, chaque chose qu'ils utilisent sur leur téléphone ou leur ordinateur portable, chaque appareil qu'ils ont chez eux, comprendre chaque fonctionnalité et identifier les façons dont cela pourrait être utilisé contre eux, c'est un énorme fardeau. Cela peut ne pas sembler un gros problème si vous ne pensez qu'à votre seul produit comme, oh, eh bien, bien sûr, les gens devraient prendre le temps de le comprendre.

Eva : Mais nous parlons de dizaines de produits que nous imposons aux personnes qui traversent une situation dangereuse de comprendre, ce qui est tout simplement très irréaliste et assez inhumain, surtout compte tenu des abus, de la surveillance et de ces différentes choses. à votre cerveau si vous êtes constamment dans un état de menace et dans ce mode de survie tout le temps. Votre cerveau ne pourra pas avoir un fonctionnement exécutif complet pour comprendre, regarder cette application et essayer d'identifier comment mon mari l'utilise pour me regarder ou pour me contrôler ou quoi que ce soit. Je dirais que c'est vraiment juste, honnêtement, un état d'esprit merdique à avoir et que nous sommes responsables de la façon dont les gens utilisent nos produits.

Drew : Lorsque vous pensez que la plupart des gens ne comprennent pas plus d'un ou deux boutons sur leur micro-ondes, comment pouvons-nous nous attendre à comprendre les capacités et le fonctionnement de toutes les différentes applications et services avec lesquels nous entrons en contact ?

Éva : Absolument. Ouais.

Drew : lorsqu'il s'agit de concevoir des produits et des services, j'ai l'impression, en tant qu'homme anglophone de race blanche, que j'ai un énorme angle mort à cause de la position privilégiée que la société m'offre, et je me sens très naïf et je suis conscient que cela pourrait conduire à des choix de conception problématiques dans les choses que je fais. Y a-t-il des mesures que nous pouvons prendre et un processus que nous pouvons suivre pour nous assurer que nous exposons ces angles morts et faisons de notre mieux pour sortir de notre propre domaine d'expérience et inclure plus de scénarios ?

Éva : Oui, tout à fait. J'ai tellement de pensées à ce sujet. Je pense qu'il y a plusieurs choses. Premièrement, nous sommes tous responsables de nous renseigner sur nos angles morts. Tout le monde a des angles morts. Je pense qu'un homme blanc cis a peut-être plus d'angles morts que les autres groupes, mais ce n'est pas comme s'il y avait un groupe qui n'en aurait pas. Tout le monde en a. Je pense que nous nous éduquons sur les différentes façons dont notre technologie peut être utilisée à mauvais escient. Je pense que c'est plus que… Évidemment, la sécurité interpersonnelle est mon truc sur lequel je travaille. Mais il y a aussi toutes ces autres choses que j'essaie constamment d'apprendre et de comprendre comment m'assurer que la technologie sur laquelle je travaille ne va pas perpétuer ces différentes choses.

Eva : J'aime beaucoup Design For Real Life de Sara Wachter-Boettcher et Eric Meyer est idéal pour le design inclusif et le design compatissant. Mais j'ai aussi appris sur les algorithmes, le racisme, le sexisme et différents problèmes avec les algorithmes. Il y a tellement de choses différentes dont nous devons tenir compte, et je pense que nous sommes tous responsables de nous renseigner sur ces choses. Ensuite, je pense aussi qu'apporter l'expérience vécue de personnes qui ont vécu ces choses une fois que vous avez identifié, d'accord, le racisme va être un problème avec ce produit, et nous devons nous assurer que nous traitons cela et essayer de le prévenir et donner définitivement aux gens des moyens de signaler le racisme ou ce que vous avez.

Eva : Une des choses, l'exemple que je donne dans mon livre, c'est qu'Airbnb a beaucoup de problèmes avec le racisme et les hôtes racistes. Même juste l'étude pour savoir si vous avez… Si votre photo est celle d'une personne noire, vous allez être refusé. Votre demande de réservation de séjour va être refusée plus fréquemment que si vous avez une personne blanche sur votre photo. Je pense que moi en tant que personne blanche, c'est quelque chose que je ne pense pas pouvoir simplement apprendre et ensuite parler en tant qu'autorité sur la question. Je pense que dans ce cas, vous devez faire venir quelqu'un avec cette expérience vécue qui peut vous informer, donc embaucher un consultant designer noir parce qu'évidemment nous savons qu'il n'y a pas vraiment de grande diversité dans la technologie.

Eva : Idéalement, tu aurais déjà des gens dans ton équipe qui pourraient en parler, mais je pense… Mais alors c'est tellement compliqué. C'est là qu'il est question d'exiger ce genre de travail de la part de nos coéquipiers ? Cela peut aussi être problématique. La personne noire de votre équipe va probablement déjà faire face à beaucoup de choses différentes, puis faire dire aux Blancs : « Hé, parlez-moi des expériences traumatisantes que vous avez vécues à cause de votre race. Nous ne devrions probablement pas imposer ce type de fardeau aux gens, à moins que…

Eva : Beaucoup de gens vont volontiers en parler et en parler, et je parlerai de choses, de mon expérience en tant que femme, mais ce n'est peut-être pas quelque chose que je veux faire tous les jours. Dans ce cas, embaucher des personnes qui font cela pour le travail, puis toujours payer les gens pour leurs expériences vécues et faire en sorte que ce ne soit pas une exploitation en termes de rémunération des personnes pour ces connaissances et cette expérience vécue.

Drew : Ouais. Je pense que cela souligne vraiment à quel point il est incroyablement important et bénéfique d'avoir des équipes diverses travaillant sur des produits, apportant toutes sortes d'expériences différentes.

Éva : Oui, tout à fait.

Drew : L'une des choses que vous couvrez dans votre livre dans le processus de conception est la création d'archétypes d'agresseur et de survivant pour vous aider à tester vos fonctionnalités. Pourriez-vous nous en dire un peu plus sur cette idée?

Éva : Ouais. Cela est venu de vouloir avoir une sorte d'artefact de personnalité qui aiderait les gens à comprendre très clairement quel est le problème. C'est quelque chose qui vient après que l'équipe a fait des recherches sur le problème et a identifié les différents problèmes probables en matière de sécurité interpersonnelle et peut très clairement articuler ceux-ci. Ensuite, vous créez l'archétype de l'agresseur, qui est la personne qui essaie d'utiliser votre produit pour quel que soit le mal, puis l'archétype du survivant, qui va être victime de ce mal. La chose importante à ce sujet est d'avoir des objectifs. C'est à peu près comme si vous trouviez une photo, ou vous n'avez même pas besoin d'une photo, mais cela exprime simplement ce qu'est l'abus, puis les objectifs de la personne.

Eva : Si c'est quelqu'un qui veut savoir où vit son ex petite amie parce qu'il veut la harceler, son objectif est de la harceler. Ensuite, le but du survivant… Eh bien, désolé, le but de l'agresseur serait d'utiliser votre produit. Disons que c'est Strava, par exemple, est l'un de ceux que j'utilise comme exemple dans le livre. Je veux utiliser Strava pour retrouver mon ex petite amie, puis l'archétype du survivant dit: "Je veux garder mon emplacement secret pour mon ex qui essaie de me traquer." Ensuite, vous pouvez utiliser ces objectifs pour aider à éclairer une partie de votre conception et tester votre produit pour voir s'il y a quelque chose sur les données de localisation du survivant qui est accessible au public pour quelqu'un qui essaie de trouver son emplacement, même s'il a activé toute leur vie privée caractéristiques?

Eva : J'utilise Strava comme exemple parce que jusqu'à il y a quelques mois, il y avait cette possibilité. Il y avait quelque chose que même si vous aviez tout mis en privé, si vous couriez ou faisiez de l'exercice à proximité de quelqu'un d'autre en utilisant l'application pendant un certain temps, il n'est pas clair à quelle distance vous devez être ou combien de temps vous devez courir le même street comme cette autre personne, il les marquera comme étant apparus dans votre entraînement. Ce serait un exemple où l'agresseur a pu atteindre ses objectifs, il a pu retrouver son ex de cette manière. Alors vous sauriez, d'accord, nous devons travailler contre cela et empêcher que cet objectif soit couronné de succès.

Drew : Surtout, vous ne pouvez pas imaginer tous les scénarios. Vous ne pouvez pas savoir ce qu'un agresseur essaierait de faire dans toutes les circonstances. But by covering some key apparent problems that could crop up, then I guess you're closing lots of doors for other lines of abuse that you haven't thought of.

Eva: Yes. Oui exactement. That brings up a really good other related point, which is that, yeah, you're probably not going to think of everything. Then having ways for users to report issues and then being the type of team and company that can take those criticisms or issues that users identify with some grace and quickly course correcting because there's always going to be things you don't think about and users are going to cover all sorts of things. I feel like this always happens. Being able to have a way to get that feedback and then to quickly course correct is also a really big part of the whole process of designing for safety.

Drew: Is there a process that would help you come up with these potential problems? Say you're designing a product that uses location data, what process would you go through to think of the different ways it could be abused? Is there anything that helps in that regard?

Eva: Yeah. This is something I get more in depth about in the book, but having some research around it first is the first thing. With location services is a pretty easy one, so to speak. There's so many documented issues with location services. There's also been academic studies done on this stuff, there's lots of literature out there that could help inform the issues that you're going to face. Then the other thing that I suggest that teams do is after doing this research is doing a brainstorm for novel of use cases that have not been covered elsewhere.

Eva: The way I usually do this is I have the team do a Black Mirror brainstorm. Let's make a Black Mirror episode. What's the worst, most ridiculous, just anything goes, worst case scenario for this product or feature that we're talking about? People usually come up with some really wild stuff and it's actually usually really fun. Then you say, “Okay, let's dial it back. Let's use this as inspiration for some more realistic issues that we might come across,” and then people are usually able to identify all sorts of things that their product might enable.

Drew: For people listening who feel like they would really love to champion this area of work within their organization, do you have any advice as to how they could go about doing that?

Eva: Yeah. There is a lot of stuff about this in the book, about integrating this into your practice and bringing it to your company. Advice for things like talking to a reluctant stakeholder whose only concern is, well, how much is this going to cost me? How much extra time is this going to take? Being able to give really explicit answers about things like that is really useful. Also, I have recordings of my conference talk which people usually say, “I had just had no idea that this was a thing.” You can help educate your team or your company.

Eva: I talked about this in the book too, honestly, it can be awkward and weird to bring this stuff up and just being mentally prepared for how it's going to feel to be like, “We should talk about domestic violence,” or, “We should talk about invasive child surveillance.” It can be really hard and just weird. One of the pieces of advice I give is for people to talk to a supportive coworker ahead of time, who can back them up if you're going to bring this up in a meeting and just help reduce the weirdness, and there are some other tactics in the book. But those are definitely the big ones.

Drew: I would normally ask at this point where our listeners should go to find out more about the topic. But I know that the answer is actually to go and read your book. We've only really just scratched the surface on what's covered in Design For Safety, which is out now, this August 2021 from A Book Apart. The book, for me, it's sometimes an uneasy read in terms of content, but it's superbly written and it really opened my eyes to a very important topic. One thing I really like about all the A Book Apart books is they're small and focused and they're easy to consume. I would really recommend that listeners check out the book if the topic is interesting to them.

Eva: Yeah, thanks for that. Theinclusivesafetyproject.com is the website I have to house all of this information. There's a lot of great resources in the back of the book for people who want to learn more. But if you just want something and more immediately, you can go to Theinclusivesafetyproject.com and there's a resources page there that has different sort of articles or studies to look at different people working in related spaces to follow on Twitter, books to read, things like that.

Drew : C'est vrai. I've been learning what it means to design for safety. What have you been learning about, Eva?

Eva: I have been learning about data. I'm reading a really interesting book called Living in Data by Jer Thorp, which I thought it was going to be all about different issues with big data, which is such a big thing but it's actually an extremely thoughtful, much more interesting approach to what it means to live in data and just how much data is taken from us every day and what's done with it and just data out there in the world. It's really interesting and important, and yeah, I would definitely recommend that book.

Drew: No, amazing. If you the listener would like to hear more from Eva, you can follow her on Twitter where she's @epenzeymoog, and you can find all her work linked from her website at evapenzeymoog.com. Design For Safety is published abookapart.com and is available now. Thanks for joining us today, Eva. Avez-vous des mots d'adieu?

Eva: Please get vaccinated so that we can go back to normal.