Eva PenzeyMoogによるポッドキャストエピソード41のスマッシング：安全のための設計

公開: 2022-03-10

簡単なまとめ↬このエピソードでは、安全のための設計について話します。私たちの設計で脆弱なユーザーを考慮するとはどういう意味ですか？ドリュー・マクレランが専門家のエヴァ・ペンゼイムーグと話をして調べます。

このエピソードでは、安全のための設計について話します。私たちの設計で脆弱なユーザーを考慮するとはどういう意味ですか？ドリュー・マクレランが専門家のエヴァ・ペンゼイムーグと話をして調べます。

メモを表示

離れた本からの安全のための設計
包括的安全プロジェクト
TwitterのEva
エヴァの個人サイト

毎週の更新

Zara Cooperによって書かれたAngular11、Commerce Layer、PaypalでEコマースサイトを構築する方法
CSSのリファクタリング：Adrian Beceによって作成された戦略、回帰テスト、およびメンテナンス
CallumHartによって作成された復元力のあるJavaScriptUIを構築する方法
ArihantVermaによって書かれたReactChildrenと反復法
苛立たしいデザインパターン：VitalyFriedmanによって書かれた無効なボタン

トランスクリプト

EvaPenzeyMoogの写真 Drew McLellan：彼女は、ABookApartから今月発売される本「DesignedForSafety」の著者であるTheInclusiveSafetyProjectの創設者です。彼女は8thLightのプリンシパルデザイナーであり、カスタムソフトウェアを設計および構築し、安全で包括的な設計戦略についてコンサルティングを行っています。彼女が弱者を保護するための技術設計の専門家であることは知っていますが、彼女がフォークリフトで実行されるほとんどのドーナツの国際的な記録保持者であることを知っていましたか？私の壊滅的な友人、ようこそ、EvaPenzeyMoog。こんにちは、エヴァ、お元気ですか？

Eva PenzeyMoog：私は壊しています。

ドリュー：聞いて良かった。今日は、脆弱なユーザーの安全を念頭に置いて製品とエクスペリエンスを設計する原則についてお話ししたいと思います。私たちが触れる可能性のある特定の主題に対して、ある種のトリガー警告を与えることは、最初から公正でしょうか？

エヴァ：もちろんです。それを持ってきてくれてありがとう。家庭内暴力、場合によっては高齢者虐待や児童虐待についての明示的な言及に対して、間違いなく警告を発します。

ドリュー：それは重要です。お気軽に。これらの問題のいずれかを心配している場合は、それがトリガーになる可能性があります。それらをスキップしてください。次のエピソードでお会いしましょう。エヴァ、私たちのために会話を組み立ててください。 Design For Safetyについて話しているとき、どのような安全上の問題について話しているのでしょうか。自動運転車のインターフェースについて話しているのではありません。そういう安全じゃないですよね？

エヴァ：その通りです。うん。私が安全について話しているとき、私は実際に対人関係の安全性について話している。それは、ユーザーが対人関係の方法でお互いに害を及ぼすために私たちの製品を武器にする方法です。お互いを知っている人々は、一緒に住んでいて、ロマンチックなパートナーからの家庭内暴力がたくさんありますが、親と子供もいます。監視の領域には、雇用主や従業員も少しいます。しかし、私が話している安全性の観点から必要な内部の個人的な実際の関係があります。インターネット上の匿名の誰かや、データを取得しようとしている匿名のエンティティなどとは対照的です。

ドリュー：それは単純な問題でしょうか…ソーシャルネットワークで日常的に見られるように、さまざまなユーザーが互いにメッセージを送信する機能があり、それが人々がオフラインで会話できるようにするための便利な小さなツールになるはずです。または公開されていません。しかし、そのようなことは、適切な保護手段がなければ、ある種の制御の乱用のベクトルになる可能性もあります。

エヴァ：ええ、もちろんです。間違いなく、ユーザーがあらゆる種類のテキストを相互に送信できるようにするときはいつでも、悪用される可能性があります。 Facebookのメッセージ、それはもう少し明白です、そして私は思います…まあ、私は彼らがあなたが特定のメッセージを見たくないか誰かにあなたに連絡させたいと思うかもしれないことを彼らが認識するいくつかの安全策を持っていることを望みます。しかし、調査中に出くわした非常に興味深く関連性のあるものは、お金を共有できるVenmoのようなさまざまな銀行アプリケーションやサービスです。多くの場合、メッセージ用のスペースがあります。少なくともVenmoでは、それは必須です。

Eva：一部の銀行はオプションですが、誰かに1ペニーを送ってから、虐待的なメッセージや、本当に有害、恐ろしい、または脅迫的なメッセージが届きます。これらのメッセージを受信したユーザーが、そのことを報告したり、「このユーザーをブロックしたいのは、なぜ誰かがあなたから送金するのを止めたいのですか。」それは、デザイナーが、虐待者が常にそのようなことをする方法を探していると単純に考えていなかったと私が思う状況です。彼らは非常に創造的であり、それはデザインで考慮されていません。

ドリュー：私たちはよく、すべてが使用されるように設計されており、エクスペリエンスがスムーズに進むハッピーパスの設計について話します。次に、エンジニアとして、検証の失敗やAPIのダウンという点で問題が発生する可能性について考えます。しかし、よくわかりません…業界として、ユーザーの安全性を検討する際にテクノロジーが悪用される可能性について、大きな盲点がありますか？

エヴァ：うん。絶対に巨大な死角があると思います。人々は、私が述べたように、Twitterであなたに嫌がらせをしている匿名の人物、銀行会社のデータをハッキングしようとしているさまざまなエンティティなど、この種のさまざまな脅威モデルに非常に精通しています。しかし、私たちはそれを家庭内暴力の脅威モデルと呼んでいます。これは非常に異なり、ほとんどの人が考えていないモデルであり、パンデミックが会議を停止する前の時代に家庭内暴力に対抗するように設計して、私が話をしたときのフィードバックでした。。それは常にフィードバックでした、「私はこれを聞いたことがありませんでした。私は今まで知らなかった。" それが私のスピーチと私の本の目標であり、私の仕事は一般的に、これが何であるか、そしてそれについて何をすべきかを人々が理解するのを助けることです。

ドリュー：私たちには傾向があると思います。明らかに、すべてのユーザーが私たちと同じであると推測するのは危険です。サービスや製品を構築している人々のように、兵士のように、友人や家族、そして私たちが知っている人々のように、そして誰もが安定した家庭の状況にあり、サービスの完全な所有権または管理権を持っていると推定しますおよびデバイス。いつもそうとは限りませんね。

エヴァ：ええ、もちろんです。常にそうであるとは限りません。私たちは友人や家族を見て、誰もが良い関係にあると思うかもしれませんが、私が見つけたのは、家庭内暴力を経験するほとんどの人が、人生のすべての人に正確に伝えて、それを叫んでいるわけではないということです屋上。ほとんどの人は、統計に基づいて、それはとても一般的です。あなたはおそらくその状況にあったか、現在その状況にある誰かを知っています、そして彼らはそれについて本当に話していません、あるいは彼らはおそらく行動の完全な範囲を共有していません。

エヴァ：多くの点で、それは私たちが社会や生活全般で考えていることではなく、職場でそれを再現しているので、人々が職場で実際に考えていることではないことは理解できます。私の仕事は、私たちにそれについてもう少し明確に話させようとしています。

ドリュー：これらの考慮事項に関して、私たちが考えるべきことのいくつかは何ですか？他の誰かがあなたのアカウントにアクセスできる可能性がある場合、またはパートナーがあなたのパスワードを知っていて侵入できる場合を考えると、製品は1人のユーザーによって制御されるように設計されていると思いますが、今では悪意のある誰かがアクセスしている可能性があります。どのような考慮事項がありますか？

エヴァ：うん。ええと、いろいろなことがありますが、それは私が持っている本当に大きなものです…私の新しい本の3つの主要な章は、これが起こる3つの大きな異なる領域に焦点を当てています。複数の人向けに設計された製品の制御と電源の問題について説明します。共有銀行口座のようなもの、NetflixやSpotifyのようなもの、あらゆる種類のさまざまなホームデバイス、モノのインターネットデバイスのようなもの、表面上は複数の人を対象としています。しかし、誰もが自分の周りの人々を支配し、権力を行使するための別の方法を見つけようとはしていない、敬意を表する人であるという仮定があります。

Eva：多くの共同銀行口座や共有クレジットカードサービスのようなものは共同口座になりすますが、実際には1人の方がより強力です。たとえば、これは私に起こりました、そして、私が私の結婚の財政のほとんどを扱うので、それは本当にイライラしました。しかし、数年前に最初の共同銀行口座を開設したとき、彼らは私の夫をプライマリユーザーとして設定しました。つまり、セキュリティクイズの作成に使用されたのは、基本的に彼の公開データでした。新しいWi-Fiネットワークから銀行にログインするとき、子供の頃、これらのどの通りに住んでいたのか、彼に尋ねる必要があります。それらは実際にはほとんど…私が答えることができるそれらのいくつかです。

エヴァ：彼がカリフォルニアに住んだことは一度もないことは知っていますが、実際には本当に良い人がたくさんいます。私たちが長い間一緒にいたとしても、彼に尋ねなければなりません。彼らは誰かを締め出すのにかなり効果的です。しかし、これは共同アカウントであると想定されているようですが、実際にはなぜですか…実際には、私もアクセスできるのは彼のアカウントにすぎません。彼が私に答えを与えることができなかったので誰かがより多くのコントロールを持てるようにしているという問題の多くは、銀行に電話するか何かを通過して別のプロセス。うん。制御に関するさまざまな問題がたくさんあります。

Eva：複数のユーザーが関与する製品を設計するときはいつでも、あるユーザーがこれを使用して別の人を制御する方法を考え、それをどのように保護することができるかを考えます。一人はコントロールできません。それが不可能な場合、少なくとも相手が何が起こっているのかを正確に理解し、力を取り戻す方法を正確に知っていることを確認するにはどうすればよいでしょうか。彼らに電話をかける番号、変更するためのある種の設定を与えることはできますか？それが何であれ、それはすべてちょっと複雑になります。

エヴァ：私はこの本の中で、これが実際にどのように見えるかについてのプロセス全体を持っています。家庭内暴力を考えたり、誰が支配しているのかを考えるよりも少し具体的なことです。そのようなアドバイスはあまり役に立ちません。私には非常に徹底的なプロセスがあり、設計者は実際の既存の設計プロセスに加えて、このようなもののいくつかを手に入れることができます。

ドリュー：あなたがこれらのアカウントを持っているところだと思います…アカウントを持つことはとてもありふれた概念です。私たちは、基本的な構成要素がユーザーアカウントを持っているという製品やサービスを構築しています。それを設定して、アカウントの責任者とはアカウントが違うと考えるとき、私たちはおそらく、この種の問題についてあまり深く考えていませんか？多くの場合、それらは1つのエンティティと見なされるだけであり、共同アカウントなどを作成するには、他のエンティティをそれに追加する必要があります。しかし、2人が別々の方法で行った場合にそのアカウントに何が起こるかという問題も考慮すると、将来、それをどのように分割できるでしょうか。それは私たちが最初から考えるべきことですか？

エヴァ：ええ、もちろんです。それはあなたが育てる本当に良い点です。私が本当に強く感じていることの1つは、さまざまな種類の虐待の生存者をデザインに集中させると、すべての人にとってより良い製品を作ることになるということです。私はかなりの数の人々に、特に家庭内暴力の設定で本当に一般的な経済的虐待の要素についてインタビューしました。統計は家庭内暴力関係にある人々の99％であり、本当に一般的な経済的虐待の要素がいくつかあります。しかし、私はまた、悲劇的に配偶者を失い、人が亡くなり、共同口座を持っていた何人かの人々にインタビューすることになりました。

Eva：それはかなりのようなものです…悲しいことに、これは非常に一般的なシナリオですが、これらの製品の多くが処理できるように設計されているわけではなく、共有アカウントや次のようなものを実際に完全に制御するには数年かかる場合があります…私のおばあちゃんが亡くなったとき、彼女は多くの先見の明を持っていて、私の父にすべてへのアクセスを与えていました。しかし、それでも、これらの製品はそのようなものを処理するように設計されていないため、実際にすべてを二乗するのに長い時間がかかりました。しかし、もし私たちが生存者を中心にして、2人が分裂したときの様子を考えて、それを効果的に処理できるとしたら、それは最終的に他の状況で他の多くの人々を助けるでしょう。

ドリュー：私たちは、オンボーディングプロセスと新しいアカウントの作成、そして人々を製品に引き込むことについて多くのことを考えています。そして、彼らが不幸にも死ぬかどうか、またはそれがどのように四捨五入されるかなど、何らかの手段で彼らが去ったときに何が起こるかを考えるのを忘れます。プロセスのもう一方の端。それは本当に恩恵を受けることができるという注目を集めていないものだと思います。

エヴァ：うん。

ドリュー：私たちはポケットに携帯電話を持ち歩いています。携帯電話は非常に個人的なデバイスであり、情報や財務、コミュニケーションへのアクセスの鍵となることがよくあります。ネガティブな状況では、それは簡単に起こり得ます…それがそのような個人的なデバイスであるという事実は、制御と乱用のベクトルになる可能性があります。位置情報サービス、AppleのFind Myのようなサービスについて考えるだけです。これは、学齢期の子供がいて、チェックインしてどこにいるかを確認したり、想定されている場所にいることを確認したり、安全である場合に最適です。。それは多くの点で安全機能ですが、その機能は破壊される可能性がありますね。

エヴァ：ええ、もちろんです。ええ、そして私はあなたがそれを持ってきてくれてうれしいです。なぜならこれらの製品の多くは子供のための安全機能だからです。ええ、もちろん、親は自分の子供がどこにいるかを知りたがっています。彼らは自分が安全であることを確認したいと思っています。それは本当に効果的なツールになり得ます。両親がこれらの製品を使いすぎることには多くの問題があると思います。まだ両親にチェックインされていて、キャンパス外のパーティーに行くと、寮の部屋にいないのに電話がかかるという大学生の事例をいくつか見つけました。そういうもの。それは多すぎるようになる可能性があります。しかし、ええ、ほとんどの場合、それらは素晴らしい製品です。しかし、多くの人々は、彼らの場所を追跡することに同意していない大人を追跡するためにそれらを悪用し、多くの場合、彼らは…

Eva：現在地の共有など、Googleマップのようにサービスを利用する必要があります。あなたはそれを誰かと共有していることを確認するためにそれに入る必要があります。アラートはありません。「探す」と同様です。位置を追跡しているユーザーはアラートを受け取りますが、家庭内暴力の状況では、虐待者がアラートを見る前にその人の電話からアラートを削除するのは非常に簡単です。これが起こっていることさえ理解しようとしています。これは、最終的に子供たちの安全に関するものを作成するときに、虐待の事例が考慮されていないことの良い例だと思います。しかし、私たちは、これらの他の設定で子供ではなくそれを使用しようとしている人々がたくさんいることを認識しなければなりません。

ドリュー：ある関係において、あなたはある時点であなたの場所が非常に喜んで追跡されることに同意するかもしれません、そしてあなたはそれが続くことを理解しないかもしれません、そしてそれがまだ続いていることに気づかないかもしれません、そしてあなたは気付かずに追跡されています。

エヴァ：うん。虐待的な関係の中で、それはそうではないので、それは考慮すべき本当に重要なことです…虐待は、ほとんどの場合、初日から始まりません。それは通常、最初は本当に素晴らしい関係です。その後、彼らはゆっくりとさまざまな形の制御を導入し、権力を握り、サポートネットワークから人を取り除きます。これはすべて、時間の経過とともに、多くの場合、何年にもわたって起こります。最初のデートでは、ほとんどの人は「うん、いや、私は外出している」のようになります。しかし、この愛情のある関係ができたら、その人を離れるのは非常に難しくなります。

エヴァ：でも、関係の初めに完全に安全だったことがもはや安全ではないことがよくありますが、その人は長い間、自分の場所をこの人と共有していることを忘れていました。思い出させる方法。彼らの信用のようなものがいくつかあります、Googleは30日ごとに電子メールを送信しますが、実際にはそれほど頻繁に受信しないと言う人もいれば、受信する人もいます。正確に何が起こっているのかはわかりませんが、彼らはあなたがあなたの場所を共有しているすべての人々と一緒に要約メールを送信します、それは本当に素晴らしいです。

エヴァ：でも、30日でたくさんのダメージを与えることができると思います。私は、これが起こっていることをあなたに知らせる、より頻繁なもの、あるいは遍在するもの、あるいはより頻繁に起こっているものを好みます。そうすれば、悪用者はその通知を削除することができます。ええ、それは本当に良い点です、その同意です。それは性的暴行の同意慣行から来る多くのものです。テクノロジーには非常に関連性があると思います。過去に同意したからといって、現在または将来に同意したわけではありません。しかし、技術面では、「5年前に同意したので、同意しても有効です」というようなものですが、実際にはそうではありません。後でまた同意を得る必要があります。

ドリュー：はい、それはあらゆる種類の課題を提示しますね？これらのものがどのように設計されているかというと、製品の設計にあまり多くの障害物を入れて役に立たないようにしたくないからです。または、子供を追跡していて、その日に子供が実際に同意しなかった場合、突然、子供が行方不明になり、サービスが有効になりません。しかし、繰り返しになりますが、その同意が本当に与えられている間だけ継続していることを確認してください。共有ドキュメントでは、Googleドキュメントなどを使用している場合、その時点で誰がそのドキュメントを見ているかを確認するのは簡単だと思います。次の場合は、すべてのアイコンが表示されます。アクセスできます。あなたは、人々があなたの場所にアクセスしているとき、それらの種類の解決策が等しくうまくいくと思いましたか？

エヴァ：ええ、完全に。ええ、それは粘着性になります。このようなものを使った簡単で簡単な解決策は多くありません。そう、あなたがしたいことは…たぶん、8歳の子供に毎日同意を与えるのは良い考えではありません。まるで「いいえ」のようであるか、誤って「いいえ」などと言ってしまうと、突然、あなたはそれらを見つけることができなくなります。ええ、それは本当のシナリオです。こういうものもあると、「まあ、この作品は存在しないか、毎日同意を得る必要がある」と言うのは現実的ではないと思うようです。

Eva：しかし、そのような場合でも、この人に、この他のユーザーは自分の現在地を表示できることを伝えるなど、できることがたくさんあります。少なくとも、彼らが何が起こっているのかを明確に理解し、虐待的な関係にある場合に自分自身を安全に保つための行動を取ることができるように、彼らにその情報を与えることは、本当に役に立ちます。たぶん今、彼らは知っているでしょう、大丈夫、私が昼休みにオフィスを出るとき、私のパートナーが承認しない私の友人に会うために私は私の電話を持って行くつもりはありません。関係と彼は私が私の電話を持って来れば私がどこかに行ったことを知っているでしょう。

エヴァ：でも、電話をオフィスに置いておくだけでは、彼にはわかりません。そのような種類の情報に基づいた決定を下すことができること。現在地の共有を必ずしも終了できない場合でも、機能製品のコア機能を維持しながらユーザーを安全に保つためにできることは他にもあります。

ドリュー：はい。それはデザインの決定に帰着しますね。そして、難しい問題の解決策を見つけますが、最初に問題があり、解決する必要があることを理解します。これは、物事のさまざまな使用方法を理解する上で、この会話が非常に重要であると思います。ますます、マイクとカメラを搭載したデバイスが増えています。私たちの家やドアベルにはたくさんの監視カメラがあり、秘密の監視はもはやスパイ映画や警官番組からのものではありませんか？

エヴァ：うん。そうそう。それはとても大きな問題です。私はこのようなものに非常に強い感情を持っています、そして私は多くの人々がこれらのデバイスに本当に夢中になっていることを知っています、そしてそれはまったく問題ないと思います。私は彼らが監視のために多く誤用されていると思います。多くの配偶者や家族だけでなく、多くの人がいると思います…これは私が子供と一緒に物事を始める場所だと思います、少なくとも私にとっては、子供でさえプライバシーに対するある程度の権利を持っていることがもう少し明確になります、特にあなたがティーンエイジャーを見るとき、より多くの独立性が必要であり、彼らはスペースを必要とします、そして文字通り独立の周りで起こっている脳の発達のものがあります。

Eva：子供たちがオンラインで安全になり、適切な決定を下せるようにする方法があると思います。また、子供たちを常に監視したり、子供たちの生活に自分自身を注入したりすることなく、子供たちが何をしているかを確認する方法もあると思います。彼らが望まないこと。しかし、ええ、さまざまな監視デバイスの過多は制御不能であり、人々は常にこれらを使用して、お互いをひそかに見たり、あからさまにさえ見たりしていません。時々それは「ええ、私はあなたを見ています。あなたはそれについて何をするつもりですか？私たちが暴力を使って私の力を維持し、あなたを支配することを選んだこの関係にいるので、あなたはできません。」

エヴァ：それは本当に大きな問題になります。私がよく出会ったのは人です…虐待者が生存者を彼らの支援ネットワークから隔離するもう一つの方法になります。友達や兄弟、セラピストとプライベートな電話で会話することはできません。突然、あなたの家のどこにも実際にはプライベートなスペースがなくなりました。これは、人々が家にいることを余儀なくされるパンデミックの際にも非常に大きな問題でした。家庭内暴力が大幅に増加しているだけでなく、虐待者がこれらのことを行う方法を理解するための時間が増えたため、技術が家庭内暴力を助長しました。多くの人がそうしています。それは本当に大きな問題でした。

ドリュー：この種の製品のメーカー、監視カメラ、そしてあなたが持っているものは、「私たちはここでツールを作っているだけです。それらがどのように使用されるかについて、私たちは一切の責任を負いません。それについては何もできません。」しかし、そうです、彼らはそれらのツールがどのように使用されるかについて責任があるとあなたは主張しますか？

エヴァ：そうだね。まず第一に、「あなたはテクノロジー会社の従業員であり、資本家の金儲け者である前に、最初に人間である」と言った人に言いたいと思います。あなたは人間であり、あなたの製品は人間に影響を与えており、あなたはその責任を負っています。」 2つ目は、ユーザーに高度な技術リテラシーを要求することは、非常に問題のある考え方です。技術に携わる私たちにとって、「人々はもっと学ぶ必要があるだけです。それについて。当社の製品がどのように使用されているかを誰かが理解していない場合、当社は責任を負いません。」

Eva：しかし、大多数の人々はテクノロジーで働いていません。彼らはまだ、明らかに、テクノロジーで働いていない本当に技術に精通した人々がたくさんいます。しかし、人々に、自分が持っているすべてのアプリ、自分の携帯電話やラップトップで使用しているすべてのこと、家にあるすべてのデバイスを正確に理解し、すべての機能を理解し、それがどのようになるかを特定することを要求しますそれらに対して使用される、それは非常に大きな負担です。自分の1つの製品について考えているだけなら、大したことではないように思えるかもしれません。もちろん、人々は時間をかけてそれを理解する必要があります。

エヴァ：しかし、私たちは危険な状況を経験している人々に責任を負わせている何十もの製品について話しています。これは非常に非現実的でかなり非人道的です。あなたが絶えず脅かされている状態にあり、常にこの生存モードにあるなら、あなたの脳に。あなたの脳は、このアプリを見て、私の夫が私を監視したり、私を制御したりするためにこれをどのように使用しているかを特定しようとして、完全な実行機能を発揮することはできません。それは本当に正直なところ、くだらない考え方であり、人々が私たちの製品をどのように使用するかについては私たちが責任を負っていると思います。

ドリュー：ほとんどの人が電子レンジのボタンを1つか2つしか理解していないと思うとき、私たちが接触するさまざまなアプリやサービスすべての機能をどのように理解できると期待できますか？

エヴァ：もちろんです。うん。

ドリュー：製品やサービスのデザインに関しては、私は真っ白な英語を話す男性のように、社会が私に与えてくれる特権的な立場を通して大きな死角を持っていると感じています。私が作っているものの中で問題のあるデザインの選択につながります。私たちが取ることができるステップと、それらの死角を明らかにし、私たち自身の経験の領域の外に出て、より多くのシナリオを含めるために最善を尽くしていることを確認するために従うことができるプロセスはありますか？

エヴァ：はい、もちろんです。私はこれについてとても多くの考えを持っています。いくつかあると思います。まず、私たち全員が自分の死角について自分自身を教育する責任があります。誰もが死角を持っています。シスの白人男性は他のグループよりも死角が多いと思いますが、死角がないグループがあるわけではありません。誰もがそれらを持っています。私たちの技術が悪用される可能性のあるさまざまな方法について自分自身を教育することだと思います。それ以上だと思います…明らかに、対人関係の安全は私が取り組んでいることです。しかし、他にもすべてのことがあります。私は常に、自分が取り組んでいる技術がこれらのさまざまなことを永続させないようにする方法について学び、理解しようとしています。

Eva：私はSaraWachter-BoettcherによるDesignFor Real Lifeが本当に好きで、EricMeyerは包括的なデザインと思いやりのあるデザインに最適です。しかし、それから私はアルゴリズムと人種差別と性差別とアルゴリズムに関するさまざまな問題についても学びました。考慮しなければならないことはたくさんありますが、私たち全員がそれらについて学ぶ責任があると思います。それから、あなたが特定したら、これらのことを経験した人々の生きた経験を取り入れることも、この製品では人種差別が問題になるだろうと思います。私たちはそれに対処していることを確認する必要があります。それを防ぎ、人種差別やあなたが何をしているのかを人々が報告する方法を確実に提供しようとしています。

Eva：私の本で挙げた例の1つは、Airbnbには人種差別や人種差別主義者のホストに関する多くの問題があるということです。あなたが持っているかどうかについての研究でさえ…あなたの写真が黒人のものであるならば、あなたは否定されるでしょう。滞在の予約のリクエストは、写真に白人が写っている場合よりも頻繁に拒否されます。私は白人だと思います。それは私がただ行って学び、問題の権威として話すことができるとは思えないことです。その場合は、そのような経験を積んだ経験のある人を連れてきて、情報を提供してもらう必要があると思います。実際には技術に大きな多様性がないことは明らかなので、黒人のデザイナーコンサルタントを雇います。

Eva：理想的には、チームにそれと話すことができる人がすでにいるはずですが、私は思います…しかし、それはとても複雑です。ここで、チームメートにそのような労働を要求しますか？それも問題になる可能性があります。あなたのチームの黒人はおそらくすでに多くの異なることに直面しているでしょう、そしてそれから白人に「ねえ、あなたの人種のためにあなたが経験したトラウマ的な経験について私に話してください」のようにさせます。 …を除いて、おそらくそのような負担を人々に課すべきではありません。

エヴァ：たくさんの人が喜んでそれを持ち出し、それについて話します。私は物事、女性としての私の経験について話しますが、それは私が毎日やりたいことではないかもしれません。その場合、仕事のためにそれを行う人を雇い、それから常に彼らの生きた経験に対して人々に支払いをし、その知識とその生きた経験を実際に人々に補償するという点でそれを搾取しないようにします。

ドリュー：うん。多様なチームが製品に取り組み、あらゆる種類の異なる経験をもたらすことがいかに重要で有益であるかを本当に強調していると思います。

エヴァ：ええ、もちろんです。

ドリュー：デザインプロセスで本で取り上げていることの1つは、機能をテストするのに役立つ虐待者と生存者の原型を作成することです。そのアイデアについて少し教えてください。

エヴァ：うん。これは、人々が何が問題であるかを非常に明確に理解するのに役立つ一種のペルソナアーティファクトが欲しいということから生まれました。これは、チームが問題を調査し、対人関係の安全性に関して考えられるさまざまな問題を特定した後に発生するものであり、それらが何であるかを非常に明確に表現できます。次に、害が何であれ、製品を使用しようとしている人である虐待者の原型を作成し、次に、その害の犠牲者となる生存者の原型を作成します。これらについての重要なことは、目標を持っていることです。それはあなたが写真を見つけるのとほとんど同じです、あるいはあなたは写真さえ必要としません、しかしそれは虐待が何であるかそしてそれからその人の目標を明確にするだけです。

エヴァ：彼女をストーキングしたいので、元ガールフレンドが今どこに住んでいるのかを知りたいのなら、彼の目標は彼女をストーキングすることです。次に、生存者の目標…まあ、申し訳ありませんが、虐待者の目標はあなたの製品を使用することです。たとえば、Stravaは、この本で例として使用しているものの1つだとしましょう。 Stravaを使用して元ガールフレンドを追跡したいのですが、サバイバーの原型は「私をストーカーしようとしている元カノから自分の場所を秘密にしておきたい」と言っています。次に、これらの目標を使用して、デザインの一部を通知し、製品をテストして、すべてのプライバシーを有効にしている場合でも、現在地を見つけようとしている人が公開している生存者の位置データについて何かがあるかどうかを確認できます。特徴？

Eva： Stravaを例として使用します。数か月前まで、その能力があったからです。すべてを非公開にしても、アプリを使って近くで誰かを走ったり運動したりしていると、どれだけ近くにいるのか、どれくらいの時間走っているのかわからないことがありました。この他の人のように通り、それはあなたのトレーニングに現れたとして彼らにタグを付けます。それは虐待者が彼の目標を達成することができた例であり、彼はこの方法で彼の元を見つけることができました。そうすれば、私たちはそれに反対し、その目標が成功するのを防ぐ必要があることを知っているでしょう。

ドリュー：特に、すべてのシナリオを考えることはできません。あらゆる状況で虐待者が何をしようとするかを理解することはできません。 But by covering some key apparent problems that could crop up, then I guess you're closing lots of doors for other lines of abuse that you haven't thought of.

Eva: Yes. ええ、その通りです。 That brings up a really good other related point, which is that, yeah, you're probably not going to think of everything. Then having ways for users to report issues and then being the type of team and company that can take those criticisms or issues that users identify with some grace and quickly course correcting because there's always going to be things you don't think about and users are going to cover all sorts of things. I feel like this always happens. Being able to have a way to get that feedback and then to quickly course correct is also a really big part of the whole process of designing for safety.

Drew: Is there a process that would help you come up with these potential problems? Say you're designing a product that uses location data, what process would you go through to think of the different ways it could be abused? Is there anything that helps in that regard?

Eva: Yeah. This is something I get more in depth about in the book, but having some research around it first is the first thing. With location services is a pretty easy one, so to speak. There's so many documented issues with location services. There's also been academic studies done on this stuff, there's lots of literature out there that could help inform the issues that you're going to face. Then the other thing that I suggest that teams do is after doing this research is doing a brainstorm for novel of use cases that have not been covered elsewhere.

Eva: The way I usually do this is I have the team do a Black Mirror brainstorm. Let's make a Black Mirror episode. What's the worst, most ridiculous, just anything goes, worst case scenario for this product or feature that we're talking about? People usually come up with some really wild stuff and it's actually usually really fun. Then you say, “Okay, let's dial it back. Let's use this as inspiration for some more realistic issues that we might come across,” and then people are usually able to identify all sorts of things that their product might enable.

Drew: For people listening who feel like they would really love to champion this area of work within their organization, do you have any advice as to how they could go about doing that?

Eva: Yeah. There is a lot of stuff about this in the book, about integrating this into your practice and bringing it to your company. Advice for things like talking to a reluctant stakeholder whose only concern is, well, how much is this going to cost me? How much extra time is this going to take? Being able to give really explicit answers about things like that is really useful. Also, I have recordings of my conference talk which people usually say, “I had just had no idea that this was a thing.” You can help educate your team or your company.

Eva: I talked about this in the book too, honestly, it can be awkward and weird to bring this stuff up and just being mentally prepared for how it's going to feel to be like, “We should talk about domestic violence,” or, “We should talk about invasive child surveillance.” It can be really hard and just weird. One of the pieces of advice I give is for people to talk to a supportive coworker ahead of time, who can back them up if you're going to bring this up in a meeting and just help reduce the weirdness, and there are some other tactics in the book. But those are definitely the big ones.

Drew: I would normally ask at this point where our listeners should go to find out more about the topic. But I know that the answer is actually to go and read your book. We've only really just scratched the surface on what's covered in Design For Safety, which is out now, this August 2021 from A Book Apart. The book, for me, it's sometimes an uneasy read in terms of content, but it's superbly written and it really opened my eyes to a very important topic. One thing I really like about all the A Book Apart books is they're small and focused and they're easy to consume. I would really recommend that listeners check out the book if the topic is interesting to them.

Eva: Yeah, thanks for that. Theinclusivesafetyproject.com is the website I have to house all of this information. There's a lot of great resources in the back of the book for people who want to learn more. But if you just want something and more immediately, you can go to Theinclusivesafetyproject.com and there's a resources page there that has different sort of articles or studies to look at different people working in related spaces to follow on Twitter, books to read, things like that.

ドリュー：そうだね。 I've been learning what it means to design for safety. What have you been learning about, Eva?

Eva: I have been learning about data. I'm reading a really interesting book called Living in Data by Jer Thorp, which I thought it was going to be all about different issues with big data, which is such a big thing but it's actually an extremely thoughtful, much more interesting approach to what it means to live in data and just how much data is taken from us every day and what's done with it and just data out there in the world. It's really interesting and important, and yeah, I would definitely recommend that book.

Drew: No, amazing. If you the listener would like to hear more from Eva, you can follow her on Twitter where she's @epenzeymoog, and you can find all her work linked from her website at evapenzeymoog.com. Design For Safety is published abookapart.com and is available now. Thanks for joining us today, Eva. 別れの言葉はありますか？

Eva: Please get vaccinated so that we can go back to normal.