การเปลี่ยนแปลงของโนอาห์สู่การทดสอบการใช้งานมือถือ

โนอาห์เป็นห่วง เขาเป็น “คน UX” สำหรับสำนักงานขององค์กรของ Quick Service Restaurant ระดับภูมิภาค (ห่วงโซ่อาหารจานด่วน) ที่อยู่ในขั้นตอนของการสร้างแอพมือถือเพื่อให้ลูกค้าสามารถปรับแต่งอาหาร สั่งอาหาร และรับรางวัลได้

เขาสังเกตเห็นความคาดหวังของผู้ใช้เพิ่มขึ้น และพวกเขาก็ไม่ค่อยให้อภัยกับประสบการณ์บนมือถือที่ไม่ดี นั่นเป็นเหตุผลที่ Noah เชื่อมั่นอย่างแรงกล้าว่าการทดสอบความสามารถในการใช้งานของประสบการณ์ผู้ใช้อุปกรณ์พกพาเป็นสิ่งสำคัญ เนื่องจากผู้ใช้มีความคาดหวังที่สูงขึ้น หน้าจอที่เล็กกว่า และข้อจำกัดของอุปกรณ์ไร้สายที่ใช้พลังงานจากแบตเตอรี่ แต่โนอาห์เป็นกังวลเพราะเขาไม่เคยทำการทดสอบความสามารถในการใช้งานบนมือถือ แม้จะมีประสบการณ์การทดสอบการใช้งานแบบเดิมๆ มานานหลายปีก็ตาม นั่นและความจริงที่ว่าการทดสอบรอบแรกอยู่ห่างออกไปเพียงหนึ่งเดือน

เขาตระหนักได้อย่างรวดเร็วว่าการทดสอบความสามารถใน การใช้งานบนมือถือมีความคล้ายคลึงกับการทดสอบการใช้งานเดสก์ท็อปแบบเดิมมากกว่าความแตกต่าง ความแตกต่างที่ใหญ่ที่สุดคือการทดสอบจริง ทุกอย่างที่นำไปสู่การทดสอบจริงและหลังจากการทดสอบยังคงเหมือนเดิม มีตัวเลือกมากมายสำหรับทำการทดสอบความสามารถในการใช้งาน รวมทั้งแบบมีการตรวจสอบหรือไม่มีการควบคุม ระยะไกลหรือด้วยตนเอง และทั้งแบบผสมกัน แม้ว่าการทดสอบทางไกลแบบไม่มีการควบคุมช่วยให้เขาสร้างเครือข่ายที่กว้างขึ้นกับผู้เข้าร่วมจำนวนมากขึ้น แต่ก็ไม่ได้เปิดโอกาสให้มีการตรวจสอบตามบริบท

ในขณะที่เขาค้นคว้าตัวเลือกที่มีอยู่ โนอาห์ได้บุ๊กมาร์กบริการต่างๆ เช่น UserZoom และ UserTesting เป็นตัวเลือกที่เป็นไปได้สำหรับความต้องการการทดสอบระยะไกลในอนาคต ประสบการณ์ที่ผ่านมาของเขาสอนเขาว่า การกลั่นกรองการทดสอบแบบตัวต่อตัวทำให้ผู้ใช้มีข้อมูลเชิงลึก ที่มักจะมองข้ามไปเมื่อใช้วิธีอื่น จะช่วยให้เขามุ่งความสนใจไปที่คุณสมบัติและการทำงานบางอย่างกับผู้เข้าร่วมไม่กี่คน เช่นเดียวกับแนวคิดของการสำรวจที่พวกเขากำลังสำรวจ ทำให้เขาเป็นแนวทางที่เขาชอบสำหรับการทดสอบรอบต่อไปที่กำลังจะมาถึง

หนึ่งเดือนก่อนการทดสอบการใช้งานตามกำหนดการครั้งแรก เขาเริ่มเตรียมตัวสำหรับการทดสอบ โดยเริ่มจากส่วนต่างๆ ที่เขารู้จักดีที่สุด มาติดตามโนอาห์ในขณะที่เขาเปลี่ยนจากการทดสอบความสามารถในการใช้งานเดสก์ท็อปเป็นมือถือ

หนึ่งเดือนก่อน

ทีมออกแบบและพัฒนาค่อยๆ หลั่งไหลเข้าสู่การประชุมหลังรับประทานอาหารกลางวันที่โนอาห์กำหนดไว้ และถูกบราวนี่กัดที่เขาสัญญาไว้เล็กน้อย เขาใช้การประชุมเพื่อตรวจสอบการทำงานและคุณสมบัติที่จะทดสอบในเซสชั่นการทดสอบการใช้งานครั้งแรก เนื่องจากขณะนี้อยู่ในขั้นตอนการออกแบบ พวกเขาจึงจะทำการทดสอบความสามารถในการใช้งานโดยใช้ต้นแบบของแอป iOS

ทีมงานเพิ่งเสร็จสิ้นการออกแบบหน้าจอคร่าวๆ และเพิ่งเริ่มสร้างต้นแบบแบบโต้ตอบที่มีความเที่ยงตรงสูง ซึ่งจะให้ผู้ใช้ทำงานให้เสร็จสิ้นได้เหมือนกับว่าเป็นแอปหรือไซต์ที่ใช้งานจริง หัวหน้าฝ่ายออกแบบช่วยให้ตัวเองไปถึงบราวนี่ชิ้นสุดท้าย (และครั้งที่สาม) ในขณะที่เขาสัญญาว่าจะเตรียมแอปต้นแบบให้พร้อมก่อนการทดสอบการใช้งานครั้งแรกเป็นเวลาหนึ่งสัปดาห์เต็ม โนอาห์ตั้งการเตือนความจำสำหรับวันนั้นไว้ในโทรศัพท์ของเขา

สามสัปดาห์ก่อน

ในสัปดาห์ต่อมา โนอาห์เริ่ม ขั้นตอนแรกที่สำคัญ ในการสร้างแผนการทดสอบการใช้งาน ซึ่งจะบันทึกว่าการทดสอบการใช้งานคืออะไร ทำไม เมื่อไร ที่ไหน และอย่างไร ประสบการณ์ที่ผ่านมาได้สอนเขาถึงความสำคัญของการมีผู้มีส่วนได้ส่วนเสียหลักและสมาชิกในทีมโครงการลงนามในรายละเอียดในแผน สิ่งนี้ทำให้แน่ใจได้ว่าการทดสอบความสามารถในการใช้งานกำลังทดสอบคุณสมบัติและการทำงานที่เหมาะสม กับผู้ชมที่เป็นตัวแทนที่ถูกต้องบนอุปกรณ์ที่เหมาะสม และมีการรวบรวมและรายงานตัวชี้วัดที่เหมาะสม นอกจากแผนการทดสอบแล้ว เขายังเตรียมเอกสารอื่นๆ ที่จำเป็นสำหรับการทดสอบ รวมถึงการไม่เปิดเผยข้อมูล ใบเสร็จค่าชดเชย และแบบฟอร์มการปล่อยตัว

โนอาห์รู้ว่าสิ่งสำคัญเท่าเทียมกันสำหรับการทดสอบความสามารถในการใช้งานที่ประสบความสำเร็จก็คือการค้นหาผู้เข้าร่วมที่เหมาะสม เนื่องจากขนาดเดียวไม่เหมาะกับทุกคน เช่นเดียวกับในอดีต โนอาห์ใช้บุคคลในโครงการเพื่อระบุโปรไฟล์ของผู้เข้าร่วมที่เขาจะใช้สำหรับการทดสอบ เขาหันไปหาบริษัทวิจัยตลาดตามปกติเพื่อสร้างผู้คัดกรองเพื่อคัดเลือกผู้เข้าร่วมที่เหมาะสมจากแผงความคิดเห็นของพวกเขา เนื่องจากพวกเขากำลังสร้างแอป iOS โปรแกรมคัดกรองยังรวมคำถามเพื่อให้แน่ใจว่าผู้เข้าร่วมใช้ iPhone ที่ใช้ iOS 7 หรือสูงกว่า เพื่อให้แน่ใจว่าพวกเขาจะคุ้นเคยกับระเบียบปฏิบัติของแพลตฟอร์มและการออกแบบเรียบๆ

เขายังต้องการความช่วยเหลือในการค้นหาตัวเลือกการตั้งค่าและการบันทึกสำหรับการทดสอบ โนอาห์เป็นแฟนตัวยงของ “ใครอยากเป็นเศรษฐี” โนอาห์ใช้เส้นชีวิต Ask the Audience ที่เทียบเท่ากันเพื่อขอคำติชมจากกลุ่ม LinkedIn UX บางกลุ่มเกี่ยวกับตัวเลือกการตั้งค่าสำหรับการทดสอบการใช้งานมือถือแบบตัวต่อตัวที่มีการตรวจสอบ ด้วยศรัทธาที่ยิ่งใหญ่ในการแบ่งปันความรู้ เขายังสัญญาว่าจะรวบรวมและแบ่งปันภูมิปัญญาร่วมกับกลุ่มเหล่านั้น

สองสัปดาห์ก่อน

คำถามของโนอาห์ใน LinkedIn และ Quora เริ่มได้รับคำตอบอย่างช้าๆ แต่คำตอบมากมายมาจากคนอื่นๆ ที่กำลังมองหาคำตอบเช่นกัน เขาเริ่มตัดและรวบรวมแนวทางที่เป็นประโยชน์ใน Evernote เมื่อได้รับแจ้งเกี่ยวกับการตอบกลับใหม่

โนอาห์ส่งอีเมลถึง Pat ซึ่งเป็นผู้ติดต่อของเขาที่บริษัทจัดหางาน เพื่อแจ้งสถานะและได้รับคำตอบภายในหนึ่งชั่วโมง พวกเขาเกือบจะเสร็จสิ้นการเกณฑ์ทหารสำหรับรอบนี้แล้ว โดยห้าช่องจากเจ็ดช่องนั้นเต็มไปด้วยโปรไฟล์ที่ตรงกับโปรไฟล์ เช่นเดียวกับผู้ล่องลอยอีกสามคนในกรณีที่ไม่มีการปรากฏตัว ทีมของ Pat กำลังรอการยืนยันจากคณะกรรมการของพวกเขาสำหรับสองช่องที่เหลือ เธอสัญญาว่าจะส่งสรุปโปรไฟล์ผู้เข้าร่วมภายในสิ้นสัปดาห์ โดยตระหนักดีว่าแผนกบัญชีของเขาเป็นข้าราชการ เขาจึงส่งคำขอบัตรของขวัญเพื่อใช้ชดเชยผู้เข้าร่วมสำหรับเวลาของพวกเขา

เนื่องจากเขากำลังจะทำการทดสอบการใช้งานด้วยตนเอง เขาจึงต้องระบุตำแหน่งที่เหมาะสม โนอาห์ได้ทำการทดสอบร่วมกันในห้องทดลองการใช้งานอย่างเป็นทางการ แต่เขาไม่รู้สึกว่าจำเป็นสำหรับการทดสอบเหล่านี้ เขาสำรวจสำนักงานของบริษัทเพื่อหาห้องที่เขาสามารถใช้ได้ ห้องหนึ่งสำหรับการทดสอบ อีกห้องหนึ่งเป็นห้องรอผู้เข้าร่วม และห้องที่สามเป็นห้องซักถามสำหรับทีม เขาพบห้องที่ไม่มีหน้าต่างอันเงียบสงบกลางอาคารสำหรับการทดสอบการใช้งาน และอีก 2 ห้องที่มีทิวทัศน์กลางแจ้งที่สวยงาม และจองไว้สำหรับการทดสอบอย่างรวดเร็ว

เป้าหมายที่สำคัญที่สุดของเขาในสัปดาห์นี้คือการทบทวนแผนการทดสอบของผู้มีส่วนได้ส่วนเสียให้เสร็จสิ้น เขาได้ส่งอีเมลแผนไปยังผู้มีส่วนได้ส่วนเสียของโครงการ รวมทั้งการตลาด ไอที และการออกแบบเชิงสร้างสรรค์สองวันก่อนการประชุมในเช้าวันพฤหัสบดีตามปกติ เขาได้ขอให้พวกเขาเตรียมข้อเสนอแนะ โดยเฉพาะรอบ ๆ งานที่จะทดสอบ ทีมงานสร้างสรรค์มีการปรับแต่งเล็กน้อยสำหรับงานและฝ่ายไอทีไม่มี แต่ Chad จากฝ่ายการตลาดได้ผ่านมันด้วยหวีซี่ละเอียด ความคิดเห็นของเขารวมถึงการเพิ่มงานอีกสองสามงาน และคำถามติดตามผลโดยละเอียดสำหรับทุกอย่างตั้งแต่การสร้างแบรนด์ไปจนถึงการติดป้ายกำกับ โนอาห์อธิบายว่าพวกเขาสามารถทำงานหลักได้ไม่เกินสี่อย่างตามความเป็นจริงในการทดสอบชั่วโมงเดียว และทำงานแบบตัวต่อตัวกับแชดในตอนเช้าเพื่อทำงานให้เสร็จในแผนการทดสอบ

เมื่องานได้รับการอนุมัติ โนอาห์ก็หันความสนใจไปที่ตัวเลือกของเขาในการบันทึกเซสชันการทดสอบการใช้งาน เขามีตัวเลือกมากมายสำหรับการบันทึกหน้าจอ เช่นเดียวกับปฏิกิริยาของผู้เข้าร่วมเมื่อใช้คอมพิวเตอร์ ต้องขอบคุณเว็บแคมในตัวและซอฟต์แวร์บันทึกหน้าจอ อย่างไรก็ตาม การบันทึกเซสชันการใช้งานบนอุปกรณ์เคลื่อนที่นั้นซับซ้อน เนื่องจากวิธีการส่วนใหญ่ในการบันทึกที่คล้ายคลึงกันอาจเป็นอุปสรรคและอาจส่งผลต่อการทดสอบความสามารถในการใช้งาน นั่นคือสิ่งที่เขาหวังว่าเส้นชีวิต Ask the Audience ของเขาจะช่วยได้ เขาจัดระเบียบคำตอบหลายสิบรายการและพวกเขาทั้งหมดมารวมกันเป็นสี่วิธีในการบันทึกเซสชันการใช้งานมือถือ โนอาห์จดจำข้อเสนอในการรวบรวมและแบ่งปันสิ่งที่ค้นพบกับคนอื่นๆ ในกลุ่ม โนอาห์จึงเริ่มบันทึกตัวเลือกต่างๆ

ในขณะที่เขาแบ่งปันสิ่งที่ค้นพบของเขากลับมาในกลุ่ม LinkedIn โทรศัพท์ของโนอาห์ก็ดังขึ้นเพื่อเตือนเขาเกี่ยวกับอาหารค่ำในคืนวันศุกร์กับภรรยาของเขาในหนึ่งชั่วโมง - เวลาผ่านไปแล้ว! เขารีบตั้งค่าคอมพิวเตอร์ให้อยู่ในโหมดไฮเบอร์เนตและกลับบ้านในช่วงสุดสัปดาห์ นี่เป็นสัปดาห์ที่ยาวนาน แต่มีผล

หนึ่งสัปดาห์ก่อน

Noah คิดเกี่ยวกับตัวเลือกของเขาในช่วงสุดสัปดาห์ที่ผ่านมาและเอนเอียงไปทางตัวเลือกสุดท้าย โดยใช้แอปอย่าง UX Recorder เพื่อบันทึกการทดสอบ โดยไม่ต้องใช้อุปกรณ์เพิ่มเติม เมื่อกลับมาทำงาน ทีมงานโครงการเห็นด้วยกับทางเลือกของเขา แต่ผู้อำนวยการ UX ขอให้เขาตรวจสอบกับผู้เชี่ยวชาญด้านการใช้งานจาก UX Meetup ในพื้นที่ของตน โนอาห์จัดอาหารกลางวันสำหรับทำงานในวันรุ่งขึ้นกับไดแอนผู้เชี่ยวชาญ ซึ่งทำการทดสอบความสามารถในการใช้งานบนอุปกรณ์เคลื่อนที่ในช่วงสองสามปีที่ผ่านมา

ขณะที่เขาทำงานผ่านอีเมลที่ค้างอยู่ในช่วงสุดสัปดาห์ เขาเห็นรายชื่อโปรไฟล์ผู้เข้าร่วมที่สมบูรณ์จากบริษัทจัดหางาน เขาสแกนโปรไฟล์โดยยืนยันทางจิตใจว่าเขาได้รับรายละเอียดโปรไฟล์ที่แน่นอนที่เขากำลังมองหา อย่างไรก็ตาม โปรไฟล์ของผู้เข้าร่วมรายหนึ่งดูเหมือนจะไม่เข้ากับบุคลิกของพวกเขา โดยมีลักษณะเช่นรายได้ไม่ตรงกับช่วงที่คาดไว้สำหรับบุคคลนั้น เขาส่งอีเมลถึง Pat ที่หน่วยงานเพื่อหาตัวแทนสำหรับผู้เข้าร่วมรายนั้น

วันรุ่งขึ้น เขาได้พบกับไดแอนที่หนึ่งในที่ตั้งร้านอาหารของพวกเขา สำหรับสิ่งที่รู้สึกเหมือนเป็นสายด่วน ถามผู้เชี่ยวชาญ เขาได้เตรียมรายการหัวข้อที่ต้องการจะพูดคุยและพิมพ์แผนการทดสอบ รวมทั้งตัวเลือกการตั้งค่าการบันทึก เขาได้พบกับ Diane เป็นครั้งแรกที่ UX Meetup ในพื้นที่ของพวกเขาเมื่อหนึ่งปีที่แล้ว เธอเป็นคณะกรรมการต้อนรับคนเดียวที่แต่งตั้งเองและทำให้เขาสบายใจอย่างรวดเร็วในกลุ่ม UXers 70 คนหรือมากกว่านั้น

ระหว่างรอคิวสั่งอาหาร ไดแอนได้พูดคุยเกี่ยวกับการทดสอบการใช้งานที่เธอเพิ่งเสร็จสิ้น ซึ่งรวมถึงคุณยายผู้ใจดีที่ไม่เต็มใจที่จะรับการชดเชย ขณะที่พวกเขารออาหารอยู่ที่โต๊ะ เขาอธิบายว่าพวกเขากำลังวางแผนที่จะดำเนินการทดสอบความสามารถในการใช้งานด้วยตนเองโดยใช้ต้นแบบของแอป iOS และเขาหวังว่าจะได้รับคำแนะนำจากเธอเกี่ยวกับการเลือกบันทึกการทดสอบ เธอเคยใช้วิธีเหล่านี้ทั้งหมดในอดีต และหลังจากถามคำถามเพิ่มเติมเกี่ยวกับการทดสอบกับเขาสองสามข้อ เธอจึงยืนยันทางเลือกของเขา

ระหว่างรับประทานอาหาร เขาขอคำแนะนำจากเธอเกี่ยวกับการแยกตัวประกอบในบริบทของอุปกรณ์เคลื่อนที่ (สิ่งต่างๆ เช่น สภาพแวดล้อมและสถานการณ์การใช้งานที่ส่งผลต่อการโต้ตอบระหว่างผู้ใช้และอินเทอร์เฟซ) เธออธิบายว่าในห้องปฏิบัติการ ตัวเลือกที่ดีที่สุดคือการจำลองบริบทนั้น เธอหวนนึกถึงงานหนึ่งของเขาในการสั่งซื้ออาหารจานด่วนและหยิบขึ้นมา และบอกว่าเธอจะสอบสวนเกี่ยวกับความคาดหวังในการรับอาหารตามสั่งก่อน จากนั้นเธอจะแนะนำแนวคิดว่าพวกเขาคิดอย่างไรเกี่ยวกับการใช้ geofencing เพื่อเริ่มทำอาหารตามสั่ง และพยายามขอความคิดเห็นจากผู้เข้าร่วมเกี่ยวกับแนวคิดนี้ เธอสัญญาว่าจะส่งอีเมลชี้แนะให้เขาอีกสองสามฉบับก่อนสิ้นสุดวัน เขาขอบคุณไดแอนสำหรับคำแนะนำของเธอขณะที่พวกเขาออกจากร้านอาหาร

ในช่วงรับประทานอาหารกลางวัน โทรศัพท์ของเขาได้เตือนเขาว่าทีมออกแบบได้สัญญาว่าจะสร้างต้นแบบให้เสร็จภายในวันนี้ กลับมาที่สำนักงาน เขาไปที่ห้องทีมออกแบบเพื่อดูคำแนะนำเกี่ยวกับต้นแบบ หัวหน้าฝ่ายออกแบบอธิบายอย่างขอโทษว่าพวกเขาต้องคิดใหม่เกี่ยวกับการออกแบบบางอย่างโดยอิงจากทิศทางการตลาดในนาทีสุดท้าย เขากล่าวว่าพวกเขากำลังตั้งเป้าที่จะทำทุกอย่างให้เสร็จภายในสุดสัปดาห์ สิ่งนี้ทำให้ใกล้เกินไปสำหรับความสบายใจของโนอาห์ เนื่องจากเขามักจะวิ่งแบบแห้งก่อนการทดสอบสองสามวันก่อน ให้เวลาทีมทำการปรับเปลี่ยนในนาทีสุดท้าย เขาพยายามเลิกคิดถึงเรื่องนั้นโดยอัปเดตการจัดวางคำสั่งซื้อและงานการรับสินค้าเพื่อจำลองบริบทตามคำแนะนำของไดแอน

ขณะที่เขากำลังอัปเดต เขาได้รับอีเมลของไดแอนพร้อมคำแนะนำบางอย่าง

เรื่อง: ตัวชี้การทดสอบมือถือ

โนอาห์ตามที่สัญญาไว้ระหว่างรับประทานอาหารกลางวัน ต่อไปนี้คือคำแนะนำสองสามข้อที่คุณควรคำนึงถึงเมื่อคุณตั้งค่าและดำเนินการทดสอบในสัปดาห์หน้า

ขอบคุณสำหรับอาหารกลางวันและสิ่งที่ดีที่สุด!

ไดแอน

---

อุปกรณ์/แพลตฟอร์ม : หากผู้เข้าร่วมไม่ได้ใช้อุปกรณ์ของตนเอง ตรวจสอบให้แน่ใจว่าพวกเขากำลังทดสอบบนแพลตฟอร์ม (iOS, Android หรือ Windows) ที่พวกเขาคุ้นเคยและใช้งานเป็นประจำ หากพวกเขาจะใช้อุปกรณ์ของตนเอง คำนึงถึงการขนส่งและเวลาในการติดตั้งแอป ตั้งค่าการเข้าถึง ฯลฯ

แสงจ้า : สำหรับคอมพิวเตอร์ คุณสามารถปรับหน้าจอให้เหมาะกับปัญหาแสงได้ แต่แสงสะท้อนจะกลายเป็นปัญหากับมือถือ เมื่อใช้กล้องบันทึกหน้าจอมือถือ (สองวิธีแรกที่คุณระบุไว้) เนื่องจากผู้ใช้มักจะย้ายอุปกรณ์มือถือ เพื่อความสะดวกในการใช้งาน บางครั้งการเรนเดอร์บางส่วนของการบันทึกก็ไร้ประโยชน์ หากคุณเคยใช้การตั้งค่ากล้องเอกสาร (แนวทางแรก) ให้ใช้เทปของจิตรกรเพื่อเตือนผู้ใช้เกี่ยวกับโซนที่อุปกรณ์เคลื่อนที่ต้องอยู่ภายใน

แบตเตอรี่/พลังงาน : ปัญหาเฉพาะมือถืออีกประการหนึ่งคือการทำให้มั่นใจว่าอุปกรณ์ที่ใช้มีพลังงานเพียงพอสำหรับการทดสอบ และมีสายชาร์จยาวพร้อมให้ใช้งาน ครั้งแรกที่ฉันใช้ UX Recorder บนอุปกรณ์ส่วนตัวเพื่อการวิ่งแบบแห้ง เราต้องหยุดทดสอบครึ่งทางและพยายามหาสายชาร์จ หน้าจอ การบันทึกวิดีโอ และเสียงทำให้แบตเตอรี่หมดเร็วกว่าที่คิด

สุดท้าย แต่ไม่ท้ายสุด:

การแจ้งเตือน/การแจ้งเตือน : ปิดการแจ้งเตือนและการแจ้งเตือนทั้งหมดบนอุปกรณ์ทดสอบ ไม่เพียงแต่จะขัดจังหวะการทดสอบเท่านั้น แต่ยังอาจส่งผลต่อการบันทึกของคุณอีกด้วย

โนอาห์จดบันทึกเพื่อตรวจสอบสิ่งเหล่านี้อีกครั้งในระหว่างการวิ่งแบบแห้ง ซึ่งตอนนี้ต้องเลื่อนกำหนดเป็นวันก่อนการทดสอบจริง สัปดาห์หน้าจะเป็นสัปดาห์ที่ยาวนานสำหรับเขา…

สัปดาห์แห่งการทดสอบการใช้งาน

สดใสและเช้าตรู่ในเช้าวันจันทร์ โนอาห์นำ Box O' Joe และโดนัทมาให้ทีมออกแบบ ซึ่งทำงานในช่วงสุดสัปดาห์เพื่อสร้างต้นแบบให้เสร็จ พวกเขาใช้เวลาหนึ่งชั่วโมงถัดไปในการเดินผ่านต้นแบบและสังเกตเห็นการเปลี่ยนแปลงเล็กน้อย ทีมออกแบบจะอัปเดตให้เสร็จก่อนรับประทานอาหารกลางวัน ซึ่งจะทำให้โนอาห์มีเวลาเพียงพอก่อนการทดสอบนำร่องในบ่ายวันนั้น เขาส่งอีเมลเตือนความจำถึงเอ็มมาเพื่อนร่วมงานของเขาซึ่งอาสาทำงานให้แห้ง เอ็มม่าไม่ได้มีส่วนเกี่ยวข้องกับแอปนี้ และนอกจากการเป็นแฟนตัวยงของแบรนด์ในฐานะพนักงานแล้ว เขาก็เป็นผู้ทดสอบที่ดีพอๆ กับที่คาดหวังไว้

เขาเริ่มเตรียมการขั้นสุดท้ายสำหรับการทดสอบโดยการพิมพ์เอกสารที่จำเป็น รวมถึงการไม่เปิดเผย แบบฟอร์มการปล่อยตัว และใบเสร็จรับเงินค่าชดเชย เขายังซื้อเครดิตการทดสอบเพื่อใช้ UX Recorder เพื่อบันทึกการทดสอบนำร่อง ด้วยความระมัดระวัง เขาจึงมีเว็บแคมสองตัวพร้อมขาตั้งสำรอง เขากำหนดค่าตัวเลือกการบันทึกในแอพ เปิดตัวต้นแบบผ่านเบราว์เซอร์แอพ และบันทึกตัวเองคลิกผ่านงาน จนถึงตอนนี้ดีมาก!

โนอาห์และโซฟี ผู้จดบันทึกการประชุมที่ได้รับมอบหมาย มาถึงห้องที่สงวนไว้สำหรับการทดสอบการใช้งาน 15 นาทีก่อนการทดสอบ เพียงพบว่าเอ็มมารอพวกเขาอยู่ เมื่อโนอาห์ตั้งค่า เขาอธิบายสิ่งที่พวกเขาหวังว่าจะทำให้สำเร็จในชั่วโมงถัดไป อย่างไรก็ตาม เขาไม่สามารถนำต้นแบบไปใช้ในแอปบันทึกได้ เขาตระหนักได้อย่างรวดเร็วว่าโทรศัพท์ของเขาไม่มีสัญญาณมือถือหรือไร้สาย อาจเป็นเพราะตำแหน่งของห้องที่อยู่กลางอาคาร เขาขอโทษและไปลองห้องอื่นๆ ที่เขาจองไว้เป็นห้องรอและซักถาม

ในห้องแรกที่เขาทดลอง เครื่องต้นแบบโหลดได้โดยไม่ชักช้า โทรศัพท์ของเขามีสัญญาณมือถือและ Wi-Fi ที่แรง เขาเดินให้เอ็มม่าและโซฟีไปที่ห้องใหม่ช้ากว่าเวลาเริ่มต้นเพียงไม่กี่นาที เขาอธิบายกฎพื้นฐานและกระบวนการก่อนที่จะเริ่มการบันทึกในแอป สี่งานและ 70 นาทีต่อมา เขาหยุดการบันทึกและขอบคุณเอ็มมาสำหรับความช่วยเหลือของเธอ ขณะที่แอปกำลังส่งออกการบันทึกของเซสชันที่มีระยะเวลานานเป็นชั่วโมง โซฟีและเขาได้พูดคุยกันเกี่ยวกับเซสชั่น ระบุงานที่พวกเขาจำเป็นต้องเขียนใหม่เพื่อหลีกเลี่ยงความสับสน และมองหาพื้นที่ที่พวกเขาสามารถตัดเวลาบางส่วนจากเซสชันจริงได้ นั่นเป็นเหตุผลที่เขาทำการทดสอบแบบแห้งอย่างน้อยหนึ่งครั้งก่อนการทดสอบจริงเสมอ ช่วยให้เขาคุ้นเคยกับงานในฐานะผู้ดูแล อนุญาตให้เขาตรวจสอบได้ว่างานนั้นชัดเจนสำหรับบุคคลภายนอก และทำการปรับเปลี่ยนได้ตลอดเวลาหากจำเป็น

วันแรกของการทดสอบการใช้งานเริ่มต้นในเช้าวันอังคาร และโนอาห์กลับมาอยู่ในเขตสบายของเขาในฐานะผู้ดูแล การทดสอบตามกำหนดการทั้งสี่เป็นไปอย่างราบรื่น และโนอาห์และโซฟีใช้เวลาระหว่างการทดสอบเพื่อซักถามและจับภาพไฮไลท์จากเซสชันบนกระดานไวท์บอร์ด อาการสะอึกเพียงอย่างเดียวคือโทรศัพท์ได้รับสายเรียกเข้าระหว่างเซสชันที่สาม เขาขอให้ผู้เข้าร่วมยกเลิกและทำการทดสอบต่อไป แม้ว่าเขาจะปิดการเตือนและการแจ้งเตือนทั้งหมดตามที่ไดแอนแนะนำ การโทรก็ผ่านไปได้ หลังจากการทดสอบตามกำหนดเวลาสี่รายการสำหรับวันนั้น เมื่อมีการส่งออกการบันทึกเซสชัน พวกเขาเริ่มระบุแนวโน้มเบื้องต้นจากไฮไลท์ของเซสชันบนกระดานไวท์บอร์ด สองรายการแรกแสดงผลโดยไม่มีปัญหา แต่เซสชันที่สามดูเหมือนว่าจะเสียหายและไม่สามารถส่งออกได้ โชคดีที่อันสุดท้ายแสดงผลโดยไม่มีปัญหา เขาส่งอีเมลไปยังทีมสนับสนุนแอปพร้อมกับบันทึกของวิดีโอที่เสียหาย โดยกังวลว่าปัญหานี้จะเกิดขึ้นซ้ำอีกในวันรุ่งขึ้น

ผู้เข้าร่วมตามกำหนดการคนแรกในวันพุธคือไม่มาแสดงตัว ดังนั้นพวกเขาจึงทำการทดสอบโดยใช้ตัวลอยแสตนด์บาย หลังจากการทดสอบแต่ละครั้งในวันนั้น โนอาห์รีสตาร์ท iPhone ด้วยความหวังว่าจะป้องกันการบันทึกที่เสียหายอื่นๆ เนื่องจากเขาไม่ได้รับการตอบกลับจากทีมสนับสนุนแอป เขาถอนหายใจด้วยความโล่งอกเมื่อการบันทึกทั้งสามของวันนั้นแสดงผลโดยไม่มีข้อผิดพลาดใดๆ โซฟีและเขาใช้เวลาที่เหลือในช่วงบ่ายทบทวนบันทึกและความทรงจำทั้งหมดของพวกเขา และดำเนินการวิเคราะห์แนวโน้มต่อไป เมื่อมองย้อนกลับไปที่การทดสอบ เขายังตั้งข้อสังเกตอีกว่าไม่มีผู้เข้าร่วมคนไหนมีปัญหากับบริบทอุปกรณ์เคลื่อนที่จำลอง แม้ว่าพวกเขาจะไม่สามารถทดสอบได้ในโลกจริง

โนอาห์จบสัปดาห์ด้วยการประชุมซักถามกับทีมงานโครงการเพื่อแบ่งปันข้อค้นพบที่สำคัญ และเสนอให้เป็นเจ้าภาพการประชุมเพิ่มเติมในสัปดาห์ถัดไป

สัปดาห์หลัง

ในช่วงสุดสัปดาห์ที่ผ่านมา ทีมสนับสนุนแอปบันทึกบนมือถือได้ส่งอีเมลถึงโนอาห์ โดยยอมรับว่าพวกเขาไม่ทราบสาเหตุที่วิดีโอที่สามเสียหาย แต่ได้ส่งคำแนะนำทีละขั้นตอนเพื่อค้นหาและแบ่งปันคลิปวิดีโอดิบจาก iPhone แก่เขา เขาไม่ได้รู้สึกมีความหวังมากนัก เขาซิป อัปโหลดและแชร์ไฟล์ 2Gb กับพวกเขา

เนื่องจากรายงานการทดสอบการใช้งานขั้นสุดท้ายมีความคืบหน้า โนอาห์จึงกำหนดเวลารายงานร่วมกับผู้มีส่วนได้ส่วนเสียในโครงการหลักและทีมงานโครงการในบ่ายวันศุกร์ Noah และ Sophie ใช้เวลาที่เหลือของสัปดาห์ในการวิเคราะห์ข้อมูล อัปเดตแนวโน้ม และจัดทำเอกสารการค้นพบที่สำคัญพร้อมกับความรุนแรงและคำแนะนำสำหรับการปรับปรุง แม้ว่าจะมีเทมเพลตและรูปแบบต่างๆ มากมายสำหรับการรายงานสิ่งที่ค้นพบ โนอาห์ชอบใช้รูปแบบ PowerPoint ที่เขาปรับแต่งมาตลอดหลายปีที่ผ่านมา ซึ่งอนุญาตให้แสดงและบอกเล่าด้วยภาพได้ เขาเชื่อมั่นอย่างมากในพลังของคลิปวิดีโอสั้น ๆ (หรือการตัดต่อ) ของผู้ใช้ที่กำลังดิ้นรนกับคุณลักษณะบางอย่างเพื่อสร้างช่วงเวลา "A-ha" สำหรับผู้ที่ไม่ได้เป็นส่วนหนึ่งของการทดสอบ โซฟีครอบตัดวิดีโอคลิปเพื่อสนับสนุนการสังเกตและคำแนะนำที่สำคัญสองสามข้อตามบริบท

ทุกๆ วันระหว่างรับประทานอาหารกลางวันในสัปดาห์นั้น โนอาห์นำเซสชันการทบทวนวิดีโอกับทีมโครงการ โดยทบทวนการบันทึกวิดีโอของผู้เข้าร่วมคนละคนกันในแต่ละวัน สิ่งนี้ไม่เพียงช่วยให้ทีมได้เห็นโดยตรงว่าผู้ใช้โต้ตอบกับต้นแบบแอพของพวกเขาอย่างไรและที่พวกเขาสะดุดตรงไหน แต่ยังเปิดเผยข้อสังเกตและข้อมูลเชิงลึกบางประการที่ Noah และ Sophie ไม่ได้จับ

การรายงานขั้นสุดท้ายในบ่ายวันศุกร์มีผู้มีส่วนได้ส่วนเสียหลักเข้าร่วมเป็นอย่างดี โนอาห์นำเสนอข้อค้นพบระดับสูง และโซฟีเข้าไปดูรายละเอียด พวกเขาถามคำถามสองสามข้อเกี่ยวกับการสังเกตและข้อเสนอแนะที่แตกต่างจากที่คณะกรรมการดำเนินการคาดการณ์ไว้สำหรับแอปนี้ ดังที่โนอาห์ได้เห็นครั้งแล้วครั้งเล่า คลิปวิดีโอสนับสนุนก็เพียงพอแล้วสำหรับผู้มีส่วนได้ส่วนเสียที่จะลุกขึ้นนั่งสังเกตและเริ่มการสนทนาเกี่ยวกับการเปลี่ยนหลักสูตร

ขณะที่เขากลับบ้านในช่วงสุดสัปดาห์ โนอาห์ได้ทบทวนในช่วงหกสัปดาห์ที่ผ่านมาและการทดสอบการใช้งานมือถือครั้งแรกของเขา – ข้อกังวลของเขาในช่วงเริ่มต้นนั้นเกินจริง การเปลี่ยนไปใช้การทดสอบความสามารถในการใช้งานบนมือถือของเขานั้นค่อนข้างง่าย เนื่องจากเขาเคยมีประสบการณ์กับการทดสอบการใช้งานเดสก์ท็อปแบบเดิมมาก่อน การตั้งค่าเป็นความแตกต่างที่ใหญ่ที่สุดระหว่างทั้งสองและมีความแตกต่างเล็กน้อยที่เกี่ยวข้องกับมือถือที่เขาต้องดูแล แต่ก็ไม่เหมือนกับการเรียนรู้ทักษะใหม่ทั้งหมด

หลายเดือนต่อมา การทดสอบการใช้งานอย่างต่อเนื่องของโนอาห์ช่วยทีมโครงการปรับแต่งแอปในขณะที่พัฒนาจากต้นแบบไปสู่ผลิตภัณฑ์ที่ทำงานได้อย่างสมบูรณ์ สำหรับการเปิดตัวและการเปิดตัวครั้งสำคัญทุกเวอร์ชันที่ตามมา แอปได้รับบทวิจารณ์ระดับ 4 และ 5 ดาวเป็นส่วนใหญ่

TL;DR: เส้นเวลาของกิจกรรม

หนึ่งเดือนก่อน

• ทำงานร่วมกับทีมออกแบบเพื่อระบุสิ่งที่สามารถสร้างขึ้นสำหรับการทดสอบและให้แน่ใจว่าจะพร้อมก่อนการทดสอบครั้งแรกสองสามวัน

สามสัปดาห์ก่อน

• ระบุโปรไฟล์ผู้เข้าร่วมการทดสอบการใช้งานตามบุคลิก
• สร้างตัวคัดกรองการสรรหา
• คัดกรองและรับสมัครผู้เข้าร่วม

สองสัปดาห์ก่อน

• ทบทวนแผนการทดสอบความสามารถในการใช้งานกับผู้มีส่วนได้ส่วนเสียและทำงานให้เสร็จสิ้น
• ระบุและจองห้องที่จำเป็นสำหรับการทดสอบ
• สรุปและกำหนดเวลาผู้เข้าร่วมและผู้เข้าร่วมลอยตัวสแตนด์บาย
• จัดให้มีสิ่งจูงใจผู้เข้าร่วม

หนึ่งสัปดาห์ก่อน

• เดินผ่านงานโดยใช้ต้นแบบหรือแอพที่จะทดสอบ
• ทดสอบการตั้งค่าการบันทึก
• ทำการทดสอบการใช้งานทั้งหมดแบบแห้ง

สัปดาห์แห่งการทดสอบการใช้งาน

• พิมพ์เอกสารทั้งหมดที่จำเป็น (แผนการทดสอบ สคริปต์ การไม่เปิดเผย แบบฟอร์มการปล่อยตัว ใบเสร็จค่าตอบแทน)
• ตรวจสอบการตั้งค่าห้องทดสอบการใช้งาน ซึ่งรวมถึงกำลังไฟ การเชื่อมต่อ แสงสะท้อน ฯลฯ
• ทำการซักถามภายในเมื่อสิ้นสุดแต่ละเซสชั่นและทบทวนเมื่อสิ้นสุดวัน
• ระบุและบันทึกแนวโน้มหลังการทดสอบเสร็จสิ้น

สัปดาห์หลัง

• เอกสารการค้นพบในรายงานการใช้งาน
• ตรวจสอบการบันทึกวิดีโอกับทีมงานโครงการ
• ระบุและสร้างคลิปวิดีโอจากการบันทึกเพื่อสนับสนุนข้อสังเกตและคำแนะนำที่สำคัญ
• รายงานการค้นพบ

แหล่งข้อมูลและลิงค์

เทมเพลตการวางแผนและการตั้งค่าการบันทึก

• การวางแผนการทดสอบการใช้งาน
• ตัวทดสอบการใช้งาน - การทดสอบอุปกรณ์มือถือ
• เทมเพลตแผนการทดสอบการใช้งาน
• คู่มือการทดสอบผู้ใช้มือถือที่ง่ายและไม่ยุ่งยาก

รายการตรวจสอบการทดสอบมือถือ

• รายการตรวจสอบโดยละเอียดและการดาวน์โหลดอื่นๆ จากการ ผ่าตัดจรวดของ Steve Krug Made Easy
• UserTesting รายการตรวจสอบการทดสอบการใช้งานมือถือ (จำเป็นต้องลงทะเบียนฟรี)

เทมเพลตรายงานการใช้งาน

• แม่แบบยาว
• แม่แบบสั้น
• ตัวอย่างรายงานการทดสอบการใช้งาน

อ่านเพิ่มเติม เกี่ยวกับ SmashingMag:

• จัดลำดับความสำคัญของอุปกรณ์: การทดสอบและการออกแบบเว็บไซต์ที่ตอบสนอง
• Open Device Labs ที่ดีที่สุดในโลกอยู่ที่ไหน
• คู่มือการทดสอบผู้ใช้มือถือที่ง่ายและไม่ยุ่งยาก