Noah 向移动可用性测试的过渡

已发表: 2022-03-10
快速总结↬这是一个与 Smashing Magazine 格式略有不同的实验——使用讲故事的方法来传达与传统文章相同的经验教训。

诺亚很担心。 他是一家区域快速服务餐厅(一家快餐连锁店)公司办公室的“用户体验专家”,该餐厅正在创建一个移动应用程序,以允许顾客定制他们的餐点、下订单并获得奖励。

他注意到用户的期望越来越高,他们对糟糕的移动体验越来越不宽容。 这就是为什么 Noah 坚信测试移动用户体验的可用性非常重要,因为用户的期望更高、屏幕更小以及无线、电池供电设备的限制。 但 Noah 很担心,因为他从未进行过移动可用性测试,即使有多年的传统可用性测试经验。 那,以及第一轮测试仅一个月后的事实。

他很快意识到移动可用性测试与传统桌面可用性测试的相似之处多于差异。 最大的不同在于实际测试本身。 导致实际测试和测试之后的一切都保持不变。 有许多选项可用于进行可用性测试,包括有节制或无节制、远程或亲自测试以及它们的组合。 虽然无节制的远程测试让他可以用更多的参与者撒下更大的网,但它并没有提供进行上下文探索的机会。

在研究可用选项时,Noah 将 UserZoom 和 UserTesting 等服务标记为未来远程测试需求的潜在选项。 他过去的经验告诉他,主持的面对面测试提供了丰富的用户洞察力,而这些洞察力在使用其他方法时往往会被忽略。 这将使他能够专注于少数参与者的某些特性和功能,以及他们正在探索的探测概念,这使其成为他们即将进行的几轮测试的首选方法。

在第一次预定的可用性测试前一个月,他开始准备测试,从他最了解的部分开始。 让我们跟随 Noah 从桌面可用性测试过渡到移动。

跳跃后更多! 继续往下看↓

一个月前

设计和开发团队慢慢地进入了诺亚安排的午餐后会议,有几个人被他承诺的巧克力蛋糕诱惑了。 他利用这次会议审查了将在第一次可用性测试会议中测试的功能和特性。 由于他们目前处于设计阶段,他们将使用 iOS 应用程序的原型进行可用性测试。

该团队刚刚完成了粗略的屏幕设计,并刚刚开始创建交互式高保真原型,让用户能够像实时应用程序或网站一样完成任务。 设计负责人帮助自己完成了最后一口(也是他的第三次)巧克力蛋糕,因为他承诺在第一次可用性测试前整整一周准备好应用程序原型。 诺亚在手机上设置了那个日期的提醒。

三周前

接下来的一周,Noah 开始了创建可用性测试计划的关键第一步,该计划记录了可用性测试的内容、原因、时间、地点、人员和方式。 过去的经验告诉他让关键利益相关者和项目团队成员签署计划中的细节的重要性。 这确保了可用性测试正在测试正确的特性和功能,在适当的设备上使用正确的代表受众,并收集和报告正确的指标。 除了测试计划,他还准备了测试所需的其他文件,包括保密、补偿收据和释放表格。

Noah 知道,对于成功的可用性测试来说,同样重要的是找到合适的参与者,因为一种尺寸并不适合所有人。 和过去一样,Noah 使用项目角色来识别他将用于测试的参与者的个人资料。 他求助于他惯常的市场研究公司来创建一个筛选器,以从他们的意见小组中招募合适的参与者。 由于他们正在构建一个 iOS 应用程序,筛选器还包括一些问题,以确保参与者使用运行 iOS 7 或更高版本的 iPhone,以确保他们熟悉平台约定和平面设计。

他仍然需要帮助来确定测试的设置和记录选项。 作为“谁想成为百万富翁”的粉丝,Noah 使用了相当于“询问观众”的生命线来征求一些 LinkedIn UX 小组的反馈,这些反馈是关于有主持的面对面移动可用性测试的设置选项。 作为知识共享的忠实信徒,他还承诺与这些团体一起汇编和分享集体智慧。

两周前

诺亚在 LinkedIn 和 Quora 上的查询慢慢开始得到回复,但许多回复也是来自其他人在寻找答案。 当他收到新回复的通知时,他开始在 Evernote 中剪辑和收集有用的方法。

诺亚通过电子邮件向他在招聘机构的联系人帕特发送电子邮件,要求更新状态,并在一小时内得到回复。 他们几乎完成了这一轮的招聘,七个职位中的五个与角色配置文件相匹配,以及三个浮动以防万一没有出现。 Pat 的团队正在等待他们的小组对剩余的两个插槽进行确认。 她承诺在本周末之前发送参与者的个人资料摘要。 充分意识到他的会计部门官僚作风,他提交了一份礼品卡申请,用于补偿参与者的时间。

由于他要亲自进行可用性测试,因此他需要确定一个合适的位置。 Noah 在正式的可用性实验室中进行了他的部分测试,但他认为这些测试没有必要。 他在公司办公室寻找他可以使用的房间——一个用于测试,另一个作为参与者的候诊室,第三个作为团队的汇报室。 他在大楼中间找到了一个安静的无窗房间进行可用性测试,另外还有两个户外视野很好的房间,并迅速将它们保留下来进行测试。

他本周最重要的目标是完成测试计划的利益相关者审查。 他在周四上午的例行会议前两天将计划通过电子邮件发送给了项目利益相关者,包括营销、IT 和创意设计。 他要求他们准备好反馈,特别是围绕要测试的任务。 创意团队对任务进行了一些调整,而 IT 没有,但市场营销部的 Chad 用细齿梳理了一遍; 他的反馈包括添加一些额外的任务,以及从品牌到标签的所有细节的后续问题。 诺亚解释说,他们在长达一小时的测试中实际上最多只能完成四项主要任务,并在上午剩下的时间里与乍得一对一地完成了测试计划中的任务。

任务获得批准后,Noah 将注意力转向了记录可用性测试会话的选项。 借助内置的网络摄像头和屏幕录制软件,他有很多选择来录制屏幕以及参与者在使用计算机时的反应。 然而,记录移动可用性会话是复杂的,因为捕获类似记录的大多数方法可能是突兀的并且可能影响可用性测试。 这就是他希望他的“询问观众”生命线能够提供帮助的地方。 他组织了十几个回复,他们都集中在四种方式来记录移动可用性会话。 记住他提出要汇编并与小组中的其他人分享他的发现,诺亚开始记录这些选项。

录音设置方法移动网络iOS 应用安卓应用优点缺点
台式相机文件相机聚焦在桌子上的移动设备上; 用于录制参与者的单独网络摄像头。 例如 IPEVO简单设置不能移动; 设备受放置在桌子上的限制; 用户的手可能会阻止屏幕细节
支架相机网络摄像头连接到连接到移动设备的支架上; 用于录制参与者的单独网络摄像头。 例如,Tappy 先生设备可以手持摇篮式相机可能会突兀且笨重; 用户的手可能会阻止屏幕细节
镜像使用软件将移动设备屏幕镜像到笔记本电脑上; 用于录制参与者的单独网络摄像头。 例如反射器2简单设置无法捕捉手势、点击; 需要在同一个无线网络上(不能通过蜂窝测试)
移动记录器带有内置基于浏览器的屏幕记录和记录参与者的移动应用程序,例如 UX 记录器ñ ñ 侵入性最小,移动性最强; 不需要第二台相机; 捕捉手势、点击和叠加视频画中画无法测试原生应用; 仅在 iOS 上的 URL; 如果用户离开应用程序(例如使用地图应用程序),则无法记录; 耗尽电池

就在他在 LinkedIn 群组中分享他的发现时,Noah 的电话响了起来,提醒他一个小时后他与妻子的周五晚上晚餐约会——时间飞逝! 他迅速将计算机置于休眠模式,然后回家过周末。 这是漫长但富有成果的一周。

一周前

诺亚在周末一直在考虑他的选择,并倾向于最后一个选择——使用像 UX Recorder 这样的应用程序来记录测试,而不需要任何额外的设备。 回到工作岗位后,项目团队同意了他的选择,但 UX 总监要求他与当地 UX Meetup 的可用性专家进行验证。 第二天,Noah 与专家 Diane 安排了工作午餐,Diane 在过去几年一直在进行移动可用性测试。

在他处理周末的电子邮件积压工作时,他看到了招聘机构提供的完整的参与者个人资料列表。 他扫描了个人资料,在心里确认他收到了他正在寻找的确切的角色资料细分。 然而,一位参与者的个人资料似乎与他们的角色不符,收入等特征与该角色的预期范围不匹配。 他给该机构的帕特发了电子邮件,为该参与者寻找替代人选。

第二天,他在他们的一个餐厅地点遇到了黛安,感觉就像是“咨询专家”的生命线。 他已经准备好了一份他想讨论的话题列表和一份他的测试计划的打印输出,以及录音设置选项。 一年多前,他在当地的 UX 聚会上第一次见到了 Diane——她是一个自封的单人欢迎委员会,并很快让他在 70 名左右的 UX 人员中轻松自在。

在他们排队等候下单的时候,黛安谈到了她刚刚结束的可用性测试,包括不愿接受赔偿的善良的祖​​母。 当他们在餐桌旁等候用餐时,他解释说他们计划使用他们的 iOS 应用程序原型进行亲自主持的可用性测试,他希望她能指导他选择录制测试。 她过去曾使用过所有这些方法,在问了他几个关于测试的问题后,她确认了他的选择。

在用餐期间,他向她询问了有关考虑移动环境的建议(例如影响用户和界面之间交互的环境和使用情况)。 她解释说,在实验室环境中,最好的选择是模拟这种环境。 她立即​​回想起了他的一项任务,即下单并取餐,并表示她将首先调查他们对取餐的期望。 然后,她将介绍他们如何考虑使用地理围栏来开始烹饪他们的订单的概念,并尝试获得参与者对该概念的反馈。 她答应在一天结束之前给他发邮件给他更多的建议。 当他们离开餐厅时,他感谢黛安的指导。

午饭快快结束的时候,他的手机提醒他,设计团队已经承诺在今天之前完成原型。 回到办公室,他前往设计团队室,对原型进行了演练。 设计负责人抱歉地解释说,他们不得不根据市场营销的最后一刻重新考虑他们的一些设计。 他说他们的目标是在周末之前完成所有工作。 这让诺亚感到很不舒服,因为他通常在测试前几天进行试运行,让团队有时间进行最后一分钟的调整。 他试图通过根据 Diane 的建议更新下单和取货任务以模拟上下文来摆脱这种想法。

当他进行更新时,他收到了黛安的电子邮件,里面有一些指示。

主题:移动测试指针

诺亚,正如午餐时承诺的那样,在您下周设置和进行测试时,请牢记以下几点。

感谢您的午餐,祝您一切顺利!

黛安


设备/平台:如果参与者不使用自己的设备,请确保他们在他们熟悉并经常使用的平台(iOS、Android 或 Windows)上进行测试。 如果他们将使用自己的设备,请考虑安装应用程序、设置任何访问权限等的物流和时间。

眩光:使用计算机,您可以调整屏幕以适应任何照明问题,但眩光成为移动设备的问题,当使用相机记录移动屏幕时(您概述的前两种方法),因为用户倾向于移动移动设备为了更舒适的使用,有时会使录音的某些部分变得无用。 如果您曾经使用文件相机设置(第一种方法),请使用画家胶带提醒用户移动设备需要停留的区域。

电池/电源:另一个仅限移动设备的问题是确保正在使用的设备有足够的电量进行测试,并且可以随时使用长充电线。 我第一次在个人设备上使用 UX Recorder 进行试运行时,在测试进行到一半时,我们不得不停下来争先恐后地拿到充电线——屏幕、视频和音频录制耗尽电池的速度比我想象的要快。

最后但并非最不重要的:

通知/警报:关闭测试设备上的所有警报和通知。 它不仅会中断测试,还可能会影响您的录音。

诺亚记下在试运行期间仔细检查这些,现在必须重新安排在实际测试的前一天进行。 下周对他来说将是漫长的一周……

可用性测试周

周一一大早,Noah 为设计团队带来了 Box O' Joe 和甜甜圈,他们在周末的部分时间里完成了原型。 在接下来的一个小时里,他们一起浏览了原型并注意到了一些细微的变化。 设计团队会在午餐前完成更新,这样可以让诺亚有足够的时间在下午进行试点测试之前。 他向他的同事艾玛发送了一封提醒电子邮件,艾玛自愿参加了试运行。 Emma 没有参与该应用程序,除了作为一名员工是品牌狂热者之外,作为他们希望的那样出色的测试参与者。

他通过打印所需的文件开始了他的最后准备测试,包括保密、发布表格和补偿收据。 他还购买了测试积分以使用 UX Recorder 记录试点测试。 谨慎起见,他还准备了两个带有支架的网络摄像头作为备用。 他在应用程序中配置了录制选项,通过应用程序浏览器启动原型,并记录了自己点击一个任务。 到目前为止,一切都很好!

Noah 和 Sophie,指定的会议记录员,在测试前 15 分钟到达了为可用性测试预留的房间,却发现 Emma 已经在等他们了。 诺亚准备好了,他解释了他们希望在接下来的一个小时内完成的事情。 然而,他无法在录音应用程序中调出原型——他很快意识到他的手机没有蜂窝或无线信号,可能是因为房间位于建筑物的中间。 他道了歉,然后去试用了他预订的其他房间作为候诊室和汇报室。

在他尝试的第一个房间里,原型机立即加载——他的手机具有很强的蜂窝和 Wi-Fi 信号。 他把艾玛和索菲带到了新房间,比原来的开始时间晚了几分钟。 在开始在应用程序中录制之前,他解释了基本规则和流程。 四项任务,70 分钟后,他停止录音,感谢艾玛的帮助。 当应用程序导出长达一小时的会议记录时,Sophie 和他讨论了会议,确定了他们需要重新措辞以避免混淆的任务,并寻找可以从实际会议中减少一些时间的领域。 这就是为什么他总是在实际测试之前至少进行一次试运行——这有助于他作为主持人熟悉任务,让他能够验证外部人员是否清楚任务,并在需要时进行任何时间调整。

可用性测试的第一天从周二早上开始,诺亚作为主持人回到了他的舒适区。 预定的四次测试进展顺利,诺亚和索菲利用测试之间的时间在白板墙上总结和捕捉会议的亮点。 唯一的问题是电话在第三次会话期间接到了来电。 他要求参与者放弃它并继续测试。 尽管他按照黛安的建议关闭了所有警报和通知,但电话还是通过了。 在当天安排的四次测试之后,随着会话记录被导出,他们开始从白板墙上的会话亮点中识别初步趋势。 前两个渲染没有问题,但第三个会话似乎已损坏并且无法导出。 谢天谢地,最后一个渲染没有问题。 他向应用支持团队发送了一封电子邮件以及损坏视频的日志,担心这个问题会在第二天重复出现。

周三的第一个预定参与者没有出现,因此他们使用备用漂浮物进行了测试。 当天每次测试后,Noah 都会重启 iPhone,希望它能防止任何其他损坏的录音,因为他没有收到应用支持团队的回复。 当当天的三个录音没有任何故障时,他松了一口气。 Sophie 和他整个下午都在回顾他们所有的笔记和回忆,并继续他们的趋势分析。 回顾测试,他还指出,即使他们无法在现实世界中进行测试,但没有一个参与者在模拟移动环境方面遇到问题。

诺亚在本周结束时与项目团队举行了一次汇报会,分享了主要发现,并提出在接下来的一周举办更多会议。

一周后

上周末,移动录音应用支持团队向 Noah 发送了电子邮件,承认他们无法弄清楚第三个视频为何损坏,但向他发送了逐步指示,以查找和分享来自 iPhone 的原始视频片段。 感觉不是很有希望,他压缩、上传并与他们共享了 2Gb 文件。

由于他们在最终可用性测试报告方面取得了良好进展,Noah 安排了周五下午与主要项目利益相关者和项目团队一起发布报告。 诺亚和索菲在本周剩下的时间里分析数据,更新趋势,并记录关键发现以及严重性和改进建议。 尽管报告发现有许多模板和格式,但 Noah 喜欢使用他多年来调整的 PowerPoint 格式,这种格式可以进行视觉展示和讲述。 他非常相信短视频剪辑(或蒙太奇)的力量,用户努力使用某个功能为那些不参与测试的人创造一个“啊哈”时刻。 Sophie 裁剪了视频片段,以根据上下文支持一些关键的观察和建议。

在那周的每一天午餐时间,Noah 都会与项目团队一起主持视频审查会议,每天审查不同参与者的视频记录。 这不仅帮助团队亲眼目睹了用户如何与他们的应用原型交互以及他们在哪里绊倒,而且还揭示了诺亚和索菲没有捕捉到的一些观察和见解。

所有主要利益相关者都参加了周五下午的最终报告会议。 诺亚介绍了高层次的调查结果,索菲深入了解了细节。 他们回答了几个关于观察和建议的问题,这些问题与指导委员会最初为应用程序设想的不同。 正如诺亚一次又一次地看到的那样,支持视频剪辑足以让利益相关者坐起来注意并开始讨论改变他们的路线。

周末回家时,Noah 回顾了过去六周和他的第一次移动可用性测试——他一开始的担忧被夸大了。 他过渡到移动可用性测试相对容易,因为他之前有过传统桌面可用性测试的经验。 设置是两者之间最大的区别,他必须注意一些与移动相关的细微差别,但这并不像学习一种全新的技能。

在接下来的几个月里,Noah 正在进行的可用性测试帮助项目团队在应用程序从原型发展到功能齐全的产品时对其进行了微调。 对于发布和随后的每个主要版本,该应用程序获得了大多数 4 星和 5 星评价。

TL;DR:活动时间表

一个月前

  • 与设计团队合作,确定可以为测试构建的内容,并确保在第一次测试前几天准备好

三周前

  • 根据角色识别可用性测试参与者的个人资料
  • 创建招聘筛选器
  • 筛选和招募参与者

两周前

  • 与利益相关者一起审查可用性测试计划并完成任务
  • 确定并预留测试所需的房间
  • 最终确定并安排参与者和备用浮动参与者
  • 安排参与者奖励

一周前

  • 使用要测试的原型或应用程序完成任务
  • 测试记录设置
  • 进行整个可用性测试的试运行

可用性测试周

  • 打印所需的所有文件(测试计划、脚本、保密、发布表格、补偿收据)
  • 检查可用性测试室设置,包括电源、连接性、眩光等。
  • 在每次会议结束时进行内部汇报,并在一天结束时进行审查
  • 测试完成后识别并记录趋势

一周后

  • 在可用性报告中记录发现
  • 与项目团队一起审查录像
  • 从录音中识别和创建视频剪辑,以支持关键观察和建议
  • 调查结果报告

资源和链接

计划模板和记录设置

  • 规划可用性测试
  • 可用性测试筛选器 - 移动设备测试
  • 可用性测试计划模板
  • 简单无痛的移动用户测试指南

移动测试清单

  • 来自史蒂夫克鲁格的火箭手术的详细清单和其他下载变得容易
  • UserTesting 移动可用性测试清单(需要免费注册)

可用性报告模板

  • 长模板
  • 短模板
  • 可用性测试报告示例

关于 SmashingMag 的进一步阅读

  • 优先设备:测试和响应式网页设计
  • 世界上最好的开放设备实验室在哪里?
  • 简单无痛的移动用户测试指南