Noah 向移動可用性測試的過渡
已發表: 2022-03-10諾亞很擔心。 他是一家區域快速服務餐廳(一家快餐連鎖店)公司辦公室的“用戶體驗專家”,該餐廳正在創建一個移動應用程序,以允許顧客定制他們的餐點、下訂單並獲得獎勵。
他注意到用戶的期望越來越高,他們對糟糕的移動體驗越來越不寬容。 這就是為什麼 Noah 堅信測試移動用戶體驗的可用性非常重要,因為用戶的期望更高、屏幕更小以及無線、電池供電設備的限制。 但 Noah 很擔心,因為他從未進行過移動可用性測試,即使有多年的傳統可用性測試經驗。 那,以及第一輪測試僅一個月後的事實。
他很快意識到移動可用性測試與傳統桌面可用性測試的相似之處多於差異。 最大的不同在於實際測試本身。 導致實際測試和測試之後的一切都保持不變。 有許多選項可用於進行可用性測試,包括有節製或無節制、遠程或親自測試以及它們的組合。 雖然無節制的遠程測試讓他可以用更多的參與者撒下更大的網,但它並沒有提供進行上下文探索的機會。
在研究可用選項時,Noah 將 UserZoom 和 UserTesting 等服務標記為未來遠程測試需求的潛在選項。 他過去的經驗告訴他,主持的面對面測試提供了豐富的用戶洞察力,而這些洞察力在使用其他方法時往往會被忽略。 這將使他能夠專注於少數參與者的某些特性和功能,以及他們正在探索的探測概念,這使其成為他們即將進行的幾輪測試的首選方法。
在第一次預定的可用性測試前一個月,他開始準備測試,從他最了解的部分開始。 讓我們跟隨 Noah 從桌面可用性測試過渡到移動。
一個月前
設計和開發團隊慢慢地進入了諾亞安排的午餐後會議,有幾個人被他承諾的巧克力蛋糕誘惑了。 他利用這次會議審查了將在第一次可用性測試會議中測試的功能和特性。 由於他們目前處於設計階段,他們將使用 iOS 應用程序的原型進行可用性測試。
該團隊剛剛完成了粗略的屏幕設計,並剛剛開始創建交互式高保真原型,讓用戶能夠像實時應用程序或網站一樣完成任務。 設計負責人幫助自己完成了最後一口(也是他的第三次)巧克力蛋糕,因為他承諾在第一次可用性測試前整整一周準備好應用程序原型。 諾亞在手機上設置了那個日期的提醒。
三週前
接下來的一周,Noah 開始了創建可用性測試計劃的關鍵第一步,該計劃記錄了可用性測試的內容、原因、時間、地點、人員和方式。 過去的經驗告訴他讓關鍵利益相關者和項目團隊成員簽署計劃中的細節的重要性。 這確保了可用性測試正在測試正確的特性和功能,在適當的設備上使用正確的代表受眾,並收集和報告正確的指標。 除了測試計劃,他還準備了測試所需的其他文件,包括保密、補償收據和釋放表格。
Noah 知道,對於成功的可用性測試來說,同樣重要的是找到合適的參與者,因為一種尺寸並不適合所有人。 和過去一樣,Noah 使用項目角色來識別他將用於測試的參與者的個人資料。 他求助於他慣常的市場研究公司來創建一個篩選器,以從他們的意見小組中招募合適的參與者。 由於他們正在構建一個 iOS 應用程序,篩選器還包括一些問題,以確保參與者使用運行 iOS 7 或更高版本的 iPhone,以確保他們熟悉平台約定和平面設計。
他仍然需要幫助來確定測試的設置和記錄選項。 作為“誰想成為百萬富翁”的粉絲,Noah 使用了相當於“詢問觀眾”的生命線來徵求一些 LinkedIn UX 小組的反饋,這些反饋是關於有主持的面對面移動可用性測試的設置選項。 作為知識共享的忠實信徒,他還承諾與這些團體一起彙編和分享集體智慧。
兩週前
諾亞在 LinkedIn 和 Quora 上的查詢慢慢開始得到回复,但許多回復也是來自其他人在尋找答案。 當他收到新回复的通知時,他開始在 Evernote 中剪輯和收集有用的方法。
諾亞通過電子郵件向他在招聘機構的聯繫人帕特發送電子郵件,要求更新狀態,並在一小時內得到回复。 他們幾乎完成了這一輪的招聘,七個職位中的五個與角色配置文件相匹配,以及三個浮動以防萬一沒有出現。 Pat 的團隊正在等待他們的小組對剩餘的兩個插槽進行確認。 她承諾在本週末之前發送參與者的個人資料摘要。 充分意識到他的會計部門官僚作風,他提交了一份禮品卡申請,用於補償參與者的時間。
由於他要親自進行可用性測試,因此他需要確定一個合適的位置。 Noah 在正式的可用性實驗室中進行了他的部分測試,但他認為這些測試沒有必要。 他在公司辦公室尋找他可以使用的房間——一個用於測試,另一個作為參與者的候診室,第三個作為團隊的匯報室。 他在大樓中間找到了一個安靜的無窗房間進行可用性測試,另外還有兩個戶外視野很好的房間,並迅速將它們保留下來進行測試。
他本週最重要的目標是完成測試計劃的利益相關者審查。 他在周四上午的例行會議前兩天將計劃通過電子郵件發送給了項目利益相關者,包括營銷、IT 和創意設計。 他要求他們準備好反饋,特別是圍繞要測試的任務。 創意團隊對任務進行了一些調整,而 IT 沒有,但市場營銷部的 Chad 用細齒梳理了一遍; 他的反饋包括添加一些額外的任務,以及從品牌到標籤的所有細節的後續問題。 諾亞解釋說,他們在長達一小時的測試中實際上最多只能完成四項主要任務,並在上午剩下的時間裡與乍得一對一地完成了測試計劃中的任務。
任務獲得批准後,Noah 將注意力轉向了記錄可用性測試會話的選項。 借助內置的網絡攝像頭和屏幕錄製軟件,他有很多選擇來錄製屏幕以及參與者在使用計算機時的反應。 然而,記錄移動可用性會話是複雜的,因為捕獲類似記錄的大多數方法可能是突兀的並且可能影響可用性測試。 這就是他希望他的“詢問觀眾”生命線能夠提供幫助的地方。 他組織了十幾個回复,他們都集中在四種方式來記錄移動可用性會話。 記住他提出要彙編並與小組中的其他人分享他的發現,諾亞開始記錄這些選項。
錄音設置方法 | 移動網絡 | iOS 應用 | 安卓應用 | 優點 | 缺點 |
---|---|---|---|---|---|
台式相機文件相機聚焦在桌子上的移動設備上; 用於錄製參與者的單獨網絡攝像頭。 例如 IPEVO | 是 | 是 | 是 | 簡單設置 | 不能移動; 設備受放置在桌子上的限制; 用戶的手可能會阻止屏幕細節 |
支架相機網絡攝像頭連接到連接到移動設備的支架上; 用於錄製參與者的單獨網絡攝像頭。 例如,Tappy 先生 | 是 | 是 | 是 | 設備可以手持 | 搖籃式相機可能會突兀且笨重; 用戶的手可能會阻止屏幕細節 |
鏡像使用軟件將移動設備屏幕鏡像到筆記本電腦上; 用於錄製參與者的單獨網絡攝像頭。 例如反射器2 | 是 | 是 | 是 | 簡單設置 | 無法捕捉手勢、點擊; 需要在同一個無線網絡上(不能通過蜂窩測試) |
移動記錄器帶有內置基於瀏覽器的屏幕記錄和記錄參與者的移動應用程序,例如 UX 記錄器 | 是 | ñ | ñ | 侵入性最小,移動性最強; 不需要第二台相機; 捕捉手勢、點擊和疊加視頻畫中畫 | 無法測試原生應用; 僅在 iOS 上的 URL; 如果用戶離開應用程序(例如使用地圖應用程序),則無法記錄; 耗盡電池 |
就在他在 LinkedIn 群組中分享他的發現時,Noah 的電話響了起來,提醒他一個小時後他與妻子的周五晚上晚餐約會——時間飛逝! 他迅速將計算機置於休眠模式,然後回家過週末。 這是漫長但富有成果的一周。

一周前
諾亞在周末一直在考慮他的選擇,並傾向於最後一個選擇——使用像 UX Recorder 這樣的應用程序來記錄測試,而不需要任何額外的設備。 回到工作崗位後,項目團隊同意了他的選擇,但 UX 總監要求他與當地 UX Meetup 的可用性專家進行驗證。 第二天,Noah 與專家 Diane 安排了工作午餐,Diane 在過去幾年一直在進行移動可用性測試。
在他處理週末的電子郵件積壓工作時,他看到了招聘機構提供的完整的參與者個人資料列表。 他掃描了個人資料,在心裡確認他收到了他正在尋找的確切的角色資料細分。 然而,一位參與者的個人資料似乎與他們的角色不符,收入等特徵與該角色的預期範圍不匹配。 他給該機構的帕特發了電子郵件,為該參與者尋找替代人選。
第二天,他在他們的一個餐廳地點遇到了黛安,感覺就像是“諮詢專家”的生命線。 他已經準備好了一份他想討論的話題列表和一份他的測試計劃的打印輸出,以及錄音設置選項。 一年多前,他在當地的 UX 聚會上第一次見到了 Diane——她是一個自封的單人歡迎委員會,並很快讓他在 70 名左右的 UX 人員中輕鬆自在。
在他們排隊等候下單的時候,黛安談到了她剛剛結束的可用性測試,包括不願接受賠償的善良的祖母。 當他們在餐桌旁等候用餐時,他解釋說他們計劃使用他們的 iOS 應用程序原型進行親自主持的可用性測試,他希望她能指導他選擇錄製測試。 她過去曾使用過所有這些方法,在問了他幾個關於測試的問題後,她確認了他的選擇。
在用餐期間,他向她詢問了有關考慮移動環境的建議(例如影響用戶和界面之間交互的環境和使用情況)。 她解釋說,在實驗室環境中,最好的選擇是模擬這種環境。 她立即回想起了他的一項任務,即下單並取餐,並表示她將首先調查他們對取餐的期望。 然後,她將介紹他們如何考慮使用地理圍欄來開始烹飪他們的訂單的概念,並嘗試獲得參與者對該概念的反饋。 她答應在一天結束之前給他發郵件給他更多的建議。 當他們離開餐廳時,他感謝黛安的指導。
午飯快快結束的時候,他的手機提醒他,設計團隊已經承諾在今天之前完成原型。 回到辦公室,他前往設計團隊室,對原型進行了演練。 設計負責人抱歉地解釋說,他們不得不根據市場營銷的最後一刻重新考慮他們的一些設計。 他說他們的目標是在周末之前完成所有工作。 這讓諾亞感到很不舒服,因為他通常在測試前幾天進行試運行,讓團隊有時間進行最後一分鐘的調整。 他試圖通過根據 Diane 的建議更新下單和取貨任務以模擬上下文來擺脫這種想法。
當他進行更新時,他收到了黛安的電子郵件,裡面有一些指示。
主題:移動測試指針諾亞,正如午餐時承諾的那樣,在您下週設置和進行測試時,請牢記以下幾點。
感謝您的午餐,祝您一切順利!
黛安
設備/平台:如果參與者不使用自己的設備,請確保他們在他們熟悉並經常使用的平台(iOS、Android 或 Windows)上進行測試。 如果他們將使用自己的設備,請考慮安裝應用程序、設置任何訪問權限等的物流和時間。
眩光:使用計算機,您可以調整屏幕以適應任何照明問題,但眩光成為移動設備的問題,當使用相機記錄移動屏幕時(您概述的前兩種方法),因為用戶傾向於移動移動設備為了更舒適的使用,有時會使錄音的某些部分變得無用。 如果您曾經使用文件相機設置(第一種方法),請使用畫家膠帶提醒用戶移動設備需要停留的區域。
電池/電源:另一個僅限移動設備的問題是確保正在使用的設備有足夠的電量進行測試,並且可以隨時使用長充電線。 我第一次在個人設備上使用 UX Recorder 進行試運行時,在測試進行到一半時,我們不得不停下來爭先恐後地拿到充電線——屏幕、視頻和音頻錄製耗盡電池的速度比我想像的要快。
最後但並非最不重要的:
通知/警報:關閉測試設備上的所有警報和通知。 它不僅會中斷測試,還可能會影響您的錄音。
諾亞記下在試運行期間仔細檢查這些,現在必須重新安排在實際測試的前一天進行。 下週對他來說將是漫長的一周……
可用性測試週
週一一大早,Noah 為設計團隊帶來了 Box O' Joe 和甜甜圈,他們在周末的部分時間裡完成了原型。 在接下來的一個小時裡,他們一起瀏覽了原型並註意到了一些細微的變化。 設計團隊會在午餐前完成更新,這樣可以讓諾亞有足夠的時間在下午進行試點測試之前。 他向他的同事艾瑪發送了一封提醒電子郵件,艾瑪自願參加了試運行。 Emma 沒有參與該應用程序,除了作為一名員工是品牌狂熱者之外,作為他們希望的那樣出色的測試參與者。
他通過打印所需的文件開始了他的最後準備測試,包括保密、發布表格和補償收據。 他還購買了測試積分以使用 UX Recorder 記錄試點測試。 謹慎起見,他還準備了兩個帶有支架的網絡攝像頭作為備用。 他在應用程序中配置了錄製選項,通過應用程序瀏覽器啟動原型,並記錄了自己點擊一個任務。 到目前為止,一切都很好!
Noah 和 Sophie,指定的會議記錄員,在測試前 15 分鐘到達了為可用性測試預留的房間,卻發現 Emma 已經在等他們了。 諾亞準備好了,他解釋了他們希望在接下來的一個小時內完成的事情。 然而,他無法在錄音應用程序中調出原型——他很快意識到他的手機沒有蜂窩或無線信號,可能是因為房間位於建築物的中間。 他道了歉,然後去試用了他預訂的其他房間作為候診室和匯報室。
在他嘗試的第一個房間裡,原型機立即加載——他的手機具有很強的蜂窩和 Wi-Fi 信號。 他把艾瑪和索菲帶到了新房間,比原來的開始時間晚了幾分鐘。 在開始在應用程序中錄製之前,他解釋了基本規則和流程。 四項任務,70 分鐘後,他停止錄音,感謝艾瑪的幫助。 當應用程序導出長達一小時的會議記錄時,Sophie 和他討論了會議,確定了他們需要重新措辭以避免混淆的任務,並尋找可以從實際會議中減少一些時間的領域。 這就是為什麼他總是在實際測試之前至少進行一次試運行——這有助於他作為主持人熟悉任務,讓他能夠驗證外部人員是否清楚任務,並在需要時進行任何時間調整。
可用性測試的第一天從周二早上開始,諾亞作為主持人回到了他的舒適區。 預定的四次測試進展順利,諾亞和索菲利用測試之間的時間在白板牆上總結和捕捉會議的亮點。 唯一的問題是電話在第三次會話期間接到了來電。 他要求參與者放棄它並繼續測試。 儘管他按照黛安的建議關閉了所有警報和通知,但電話還是通過了。 在當天安排的四次測試之後,隨著會話記錄被導出,他們開始從白板牆上的會話亮點中識別初步趨勢。 前兩個渲染沒有問題,但第三個會話似乎已損壞並且無法導出。 謝天謝地,最後一個渲染沒有問題。 他向應用支持團隊發送了一封電子郵件以及損壞視頻的日誌,擔心這個問題會在第二天重複出現。
週三的第一個預定參與者沒有出現,因此他們使用備用漂浮物進行了測試。 當天每次測試後,Noah 都會重啟 iPhone,希望它能防止任何其他損壞的錄音,因為他沒有收到應用支持團隊的回复。 噹噹天的三個錄音沒有任何故障時,他鬆了一口氣。 Sophie 和他整個下午都在回顧他們所有的筆記和回憶,並繼續他們的趨勢分析。 回顧測試,他還指出,即使他們無法在現實世界中進行測試,但沒有一個參與者在模擬移動環境方面遇到問題。
諾亞在本週結束時與項目團隊舉行了一次匯報會,分享了主要發現,並提出在接下來的一周舉辦更多會議。
一周後
上週末,移動錄音應用支持團隊向 Noah 發送了電子郵件,承認他們無法弄清楚第三個視頻為何損壞,但向他發送了逐步指示,以查找和分享來自 iPhone 的原始視頻片段。 感覺不是很有希望,他壓縮、上傳並與他們共享了 2Gb 文件。
由於他們在最終可用性測試報告方面取得了良好進展,Noah 安排了周五下午與主要項目利益相關者和項目團隊一起發布報告。 諾亞和索菲在本週剩下的時間里分析數據,更新趨勢,並記錄關鍵發現以及嚴重性和改進建議。 儘管報告發現有許多模板和格式,但 Noah 喜歡使用他多年來調整的 PowerPoint 格式,這種格式可以進行視覺展示和講述。 他非常相信短視頻剪輯(或蒙太奇)的力量,用戶努力使用某個功能為那些不參與測試的人創造一個“啊哈”時刻。 Sophie 裁剪了視頻片段,以根據上下文支持一些關鍵的觀察和建議。
在那週的每一天午餐時間,Noah 都會與項目團隊一起主持視頻審查會議,每天審查不同參與者的視頻記錄。 這不僅幫助團隊親眼目睹了用戶如何與他們的應用原型交互以及他們在哪裡絆倒,而且還揭示了諾亞和索菲沒有捕捉到的一些觀察和見解。
所有主要利益相關者都參加了周五下午的最終報告會議。 諾亞介紹了高層次的調查結果,索菲深入了解了細節。 他們回答了幾個關於觀察和建議的問題,這些問題與指導委員會最初為應用程序設想的不同。 正如諾亞一次又一次地看到的那樣,支持視頻剪輯足以讓利益相關者坐起來注意並開始討論改變他們的路線。
週末回家時,Noah 回顧了過去六周和他的第一次移動可用性測試——他一開始的擔憂被誇大了。 他過渡到移動可用性測試相對容易,因為他之前有過傳統桌面可用性測試的經驗。 設置是兩者之間最大的區別,他必須注意一些與移動相關的細微差別,但這並不像學習一種全新的技能。
在接下來的幾個月裡,Noah 正在進行的可用性測試幫助項目團隊在應用程序從原型發展到功能齊全的產品時對其進行了微調。 對於發布和隨後的每個主要版本,該應用程序獲得了大多數 4 星和 5 星評價。
TL;DR:活動時間表
一個月前
- 與設計團隊合作,確定可以為測試構建的內容,並確保在第一次測試前幾天準備好
三週前
- 根據角色識別可用性測試參與者的個人資料
- 創建招聘篩選器
- 篩选和招募參與者
兩週前
- 與利益相關者一起審查可用性測試計劃並完成任務
- 確定並預留測試所需的房間
- 最終確定並安排參與者和備用浮動參與者
- 安排參與者獎勵
一周前
- 使用要測試的原型或應用程序完成任務
- 測試記錄設置
- 進行整個可用性測試的試運行
可用性測試週
- 打印所需的所有文件(測試計劃、腳本、保密、發布表格、補償收據)
- 檢查可用性測試室設置,包括電源、連接性、眩光等。
- 在每次會議結束時進行內部匯報,並在一天結束時進行審查
- 測試完成後識別並記錄趨勢
一周後
- 在可用性報告中記錄發現
- 與項目團隊一起審查錄像
- 從錄音中識別和創建視頻剪輯,以支持關鍵觀察和建議
- 調查結果報告
資源和鏈接
計劃模板和記錄設置
- 規劃可用性測試
- 可用性測試篩選器 - 移動設備測試
- 可用性測試計劃模板
- 簡單無痛的移動用戶測試指南
移動測試清單
- 來自史蒂夫克魯格的火箭手術的詳細清單和其他下載變得容易
- UserTesting 移動可用性測試清單(需要免費註冊)
可用性報告模板
- 長模板
- 短模板
- 可用性測試報告示例
關於 SmashingMag 的進一步閱讀:
- 優先設備:測試和響應式網頁設計
- 世界上最好的開放設備實驗室在哪裡?
- 簡單無痛的移動用戶測試指南