Переход Ноя к юзабилити-тестированию мобильных устройств

Ной был обеспокоен. Он был «UX-парнем» в корпоративном офисе регионального ресторана быстрого обслуживания (сети быстрого питания), который находился в процессе создания мобильного приложения, позволяющего посетителям настраивать свои блюда, размещать заказы и получать вознаграждения.

Он заметил, что ожидания пользователей возросли, и они стали меньше прощать плохие впечатления от мобильных устройств. Вот почему Ной был твердо убежден в важности проверки удобства использования мобильного пользовательского интерфейса, учитывая более высокие ожидания пользователей, меньшие экраны и ограничения беспроводных устройств с батарейным питанием. Но Ноа беспокоило то, что он никогда не проводил юзабилити-тестирования мобильных устройств, даже имея многолетний опыт традиционного юзабилити-тестирования. Это, а также тот факт, что до первого раунда испытаний оставался всего месяц.

Он быстро понял, что юзабилити-тестирование мобильных устройств имеет больше общего с традиционным тестированием юзабилити настольных компьютеров, чем различий . Самые большие различия были в самом тестировании; все, что предшествовало фактическому тесту и после него, осталось прежним. Было доступно множество вариантов проведения юзабилити-тестов, включая модерируемые и немодерируемые, удаленные или личные, а также их комбинации. Хотя немодерируемое удаленное тестирование позволило ему расширить сеть с гораздо большим количеством участников, оно не предоставило возможности для контекстуального исследования.

Изучая доступные варианты, Ной добавил в закладки такие сервисы, как UserZoom и UserTesting, как потенциальные варианты для будущих нужд удаленного тестирования. Его прошлый опыт научил его тому, что модерируемое личное тестирование дает пользователю ценную информацию , которую часто упускают при использовании других методов. Это позволило бы ему сосредоточиться на определенных функциях и функциях с несколькими участниками, а также на концепциях, которые они изучали, что сделало бы его предпочтительным подходом для их предстоящих раундов тестирования.

За месяц до первого запланированного юзабилити-теста он начал готовиться к тестам, начав с тех частей, которые знал лучше всего. Давайте проследим за тем, как Ной переходит от тестирования юзабилити настольных компьютеров к мобильным.

За месяц до

Команда дизайнеров и разработчиков медленно перебралась на встречу после обеда, которую запланировал Ной, некоторые соблазнились обещанными им пирожными. Он использовал встречу для обзора функций и функций, которые должны были быть протестированы на первом сеансе тестирования удобства использования. Поскольку в настоящее время они находятся на этапе проектирования, они будут проводить тестирование удобства использования с использованием прототипа приложения для iOS.

Команда только что завершила черновой дизайн экрана и приступила к созданию интерактивного высокоточного прототипа, который позволил бы пользователям выполнять задачи, как если бы это было живое приложение или сайт. Ведущий дизайнер накормил себя последним (и третьим) кусочком пирожных, пообещав подготовить прототип приложения за целую неделю до первого юзабилити-теста. Ной поставил напоминание на эту дату на своем телефоне.

За три недели до

На следующей неделе Ноа приступил к важному первому шагу по созданию плана юзабилити-тестирования, в котором задокументировано, что, почему, когда, где, кто и как проводит юзабилити-тестирование. Прошлый опыт научил его тому, как важно, чтобы ключевые заинтересованные стороны и члены проектной группы подписывали детали плана. Это гарантировало, что в ходе юзабилити-тестирования проверялись правильные функции и функциональные возможности с правильной репрезентативной аудиторией на соответствующих устройствах, а также собирались и сообщались правильные показатели. В дополнение к плану тестирования он также подготовил другие документы, которые потребуются для проведения тестов, в том числе подписку о неразглашении, квитанцию ​​о компенсации и формы выпуска.

Ной знал, что не менее важным для успешного юзабилити-теста является поиск подходящих участников, так как нельзя подходить всем под одну гребенку. Как и в прошлом, Ной использовал персонажей проекта, чтобы определить профили участников, которых он будет использовать для тестирования. Он обратился в свою обычную фирму по исследованию рынка, чтобы создать систему отбора нужных участников из их экспертной группы. Поскольку они разрабатывали приложение для iOS, программа проверки также включала вопросы, чтобы убедиться, что участники используют iPhone с iOS 7 или более поздней версии, чтобы убедиться, что они знакомы с соглашениями о платформе и плоским дизайном.

Ему по-прежнему нужна была помощь, чтобы выяснить параметры настройки и записи для тестов. Поклонник «Кто хочет стать миллионером» Ноа использовал эквивалент линии поддержки «Спросите аудиторию», чтобы запросить отзывы от нескольких UX-групп LinkedIn о вариантах настройки для модерируемого личного тестирования удобства использования мобильных устройств. Большой сторонник обмена знаниями, он также пообещал собирать и делиться коллективным опытом с этими группами.

За две недели до

Вопросы Ноа в LinkedIn и Quora постепенно начали получать ответы, но многие ответы были получены и от других, которые тоже искали ответы. Он начал вырезать и собирать полезные подходы в Evernote, когда ему приходили уведомления о новых ответах.

Ной отправил электронное письмо Пэту, своему контактному лицу в рекрутинговом агентстве, для обновления статуса и получил ответ в течение часа. Они почти закончили набор для этого раунда: пять из семи слотов были заполнены в соответствии с профилями персонажей, а также три пустых места на случай неявки. Команда Пэта ждала подтверждения от своей панели для оставшихся двух слотов. Она пообещала разослать резюме участников к концу недели. Полностью осознавая, что его бухгалтерия бюрократична, он подал заявку на подарочные карты, которые будут использоваться для компенсации участникам за их время.

Поскольку он собирался проводить юзабилити-тесты лично, ему нужно было определить подходящее место. Ной провел свою долю тестов в формальных лабораториях юзабилити, но не чувствовал в этом необходимости. Он поискал в корпоративном офисе комнаты, которые мог бы использовать: одну для тестирования, другую в качестве комнаты ожидания для участников и третью в качестве комнаты для совещаний команды. Он нашел тихую комнату без окон в центре здания для теста удобства использования и две другие с прекрасным видом на улицу и быстро зарезервировал их для тестов.

Его самой важной целью на неделю было завершение проверки плана тестирования заинтересованными сторонами. Он разослал план по электронной почте заинтересованным сторонам проекта, включая отделы маркетинга, ИТ и креативного дизайна, за два дня до их обычной встречи утром в четверг. Он попросил их подготовить свои отзывы, особенно по задачам, которые нужно было протестировать. У творческой группы было несколько поправок к задачам, у ИТ-отдела их не было, но Чад из отдела маркетинга тщательно все просмотрел; его отзыв включал добавление нескольких дополнительных задач и подробные дополнительные вопросы по всему, от брендинга до маркировки. Ной объяснил, что в действительности они могли выполнить не более четырех основных задач в своем часовом тесте, и остаток утра они работали один на один с Чадом, чтобы завершить задачи в плане тестирования.

Утвердив задачи, Ной обратил внимание на свои варианты записи сеансов тестирования удобства использования. У него было множество возможностей для записи экрана, а также реакции участника при использовании компьютера благодаря встроенным веб-камерам и программному обеспечению для записи экрана. Тем не менее, запись сеанса мобильного юзабилити была сложной, поскольку большинство способов захвата подобных записей могли быть навязчивыми и могли повлиять на тест юзабилити. Вот где он надеялся, что его спасательный круг «Спросите аудиторию » поможет; он организовал дюжину ответов, и все они сошлись на четырех способах записи сеанса мобильного юзабилити. Вспомнив о своем предложении собрать информацию и поделиться своими выводами с остальными в группах, Ной начал документировать варианты.

Как только он поделился своими выводами в группах LinkedIn, телефон Ноя зачирикал, чтобы напомнить ему о пятничном ужине с женой через час — время пролетело незаметно! Он быстро перевел свой компьютер в спящий режим и отправился домой на выходные. Это была долгая, но плодотворная неделя.

За неделю до

Ной обдумывал свои варианты на выходных и склонялся к последнему варианту — использовать приложение, такое как UX Recorder, для записи теста без какого-либо дополнительного оборудования. Вернувшись на работу, команда проекта согласилась с его выбором, но UX-директор попросил его подтвердить его со специалистом по юзабилити из их местного UX Meetup. На следующий день Ной организовал рабочий обед со специалистом Дианой, которая последние пару лет проводила тесты удобства использования мобильных устройств.

Когда он работал с накопившейся за выходные электронной почтой, он увидел заполненный список профилей участников от рекрутингового агентства. Он просмотрел профили, мысленно подтверждая, что получил точную разбивку профиля личности, которую искал. Однако профиль одного участника, похоже, не соответствовал его личности, а такие характеристики, как доход, не соответствовали ожидаемому диапазону для этой личности. Он написал письмо Пэту в агентство, чтобы найти замену этому участнику.

На следующий день он встретил Дайан в одном из их ресторанов, что было похоже на спасательный круг « Спросите эксперта ». У него был подготовлен список тем, которые он хотел обсудить, и распечатка его плана тестирования, а также параметры настройки записи. Впервые он встретил Дайан на их местной встрече UX более года назад — она была самозваным приветственным комитетом из одного человека и быстро расположила его в группе из 70 или около того UX-специалистов.

Пока они ждали в очереди, чтобы разместить свои заказы, Диана рассказала о тесте удобства использования, который она только что завершила, в том числе о доброй бабушке, которая не хотела принимать компенсацию. Пока они ждали за своим столиком еду, он объяснил, что они планируют лично провести модерируемое юзабилити-тестирование с использованием прототипа своего приложения для iOS, и он надеется на ее рекомендации по поводу его выбора для записи теста. Она использовала все эти подходы в прошлом и, задав ему еще несколько вопросов о тесте, подтвердила его выбор.

Во время еды он попросил у нее совета по учету мобильного контекста (таких вещей, как среда и обстоятельства использования, влияющие на взаимодействие между пользователем и интерфейсом). Она объяснила, что в лабораторных условиях лучше всего было смоделировать этот контекст. Она сразу же вспомнила одно из его заданий о размещении заказа в фаст-фуде и его получении, и сказала, что сначала выяснит их ожидания относительно получения заказа. Затем она представляла концепцию того, как они думают об использовании геозоны, чтобы начать готовить свой заказ, и пыталась получить отзывы участников об этой концепции. Она пообещала отправить ему еще несколько советов по электронной почте до конца дня. Он поблагодарил Диану за ее руководство, когда они вышли из ресторана.

Ближе к концу обеда его телефон напомнил ему, что команда разработчиков пообещала завершить прототип к сегодняшнему дню. Вернувшись в офис, он направился в комнату команды дизайнеров, чтобы ознакомиться с прототипом. Руководитель отдела дизайна извиняющимся тоном объяснил, что им пришлось переосмыслить некоторые из своих проектов, основываясь на каком-то указании, полученном в последнюю минуту от маркетинга. Он сказал, что они стремятся завершить все это к выходным. Это было слишком близко к комфорту Ноя, поскольку он обычно проводил пробный прогон за несколько дней до теста, давая команде время внести последние коррективы. Он попытался отвлечься от этого, обновив задачу размещения и получения заказа, чтобы смоделировать контекст, основанный на предложении Дианы.

Пока он делал обновления, он получил электронное письмо от Дайаны с некоторыми советами.

Тема: Указатели мобильного тестирования

Ноа, как и было обещано во время обеда, вот несколько советов, о которых следует помнить при настройке и проведении тестов на следующей неделе.

Спасибо за обед и всего наилучшего!

Диана

---

Устройства/платформы . Если участники не используют свои собственные устройства, убедитесь, что они проводят тестирование на платформе (iOS, Android или Windows), с которой они знакомы и регулярно используют. Если они будут использовать свои собственные устройства, учтите логистику и время, необходимое для установки приложения, настройки любого доступа и т. д.

Блики : с компьютерами вы можете настроить свой экран, чтобы приспособиться к любым проблемам с освещением, но блики становятся проблемой с мобильными устройствами, когда вы используете камеру для записи мобильных экранов (первые два подхода, которые вы описали), поскольку пользователи склонны перемещать мобильные устройства. для более удобного использования, иногда делая части записи бесполезными. Если вы когда-либо использовали настройку документ-камеры (первый подход), используйте малярную ленту, чтобы напомнить пользователям о зоне, в которой должно оставаться мобильное устройство.

Аккумулятор/мощность . Еще одна проблема, связанная только с мобильными устройствами, заключается в том, чтобы убедиться, что в используемых устройствах достаточно заряда для теста, а длинные зарядные кабели всегда доступны. В первый раз, когда я использовал UX Recorder на личном устройстве для пробного прогона, на полпути к тесту нам пришлось остановиться и карабкаться, чтобы получить кабель для зарядного устройства — экран, видео и аудиозапись разряжали батарею быстрее, чем я мог себе представить.

Последний, но тем не менее важный:

Уведомления/предупреждения : отключите ВСЕ предупреждения и уведомления на тестовых устройствах. Это не только прерывает тест, но и может повлиять на вашу запись.

Ной сделал пометку перепроверить их во время пробного прогона, который теперь нужно было перенести на день до реальных испытаний. Следующая неделя будет для него долгой…

Неделя юзабилити-тестирования

Ярким и ранним утром в понедельник Ной принес Box O' Joe и пончики для команды дизайнеров, которые работали часть выходных, чтобы завершить прототип. Следующий час они провели вместе, изучая прототип и отмечая несколько незначительных изменений. Команда дизайнеров должна была завершить обновления до обеда, что дало бы Ною достаточно времени перед пилотным испытанием во второй половине дня. Он отправил электронное письмо с напоминанием своей коллеге Эмме, которая вызвалась на пробный прогон. Эмма не участвовала в разработке приложения и, за исключением того, что была фанатиком бренда в качестве сотрудника, была настолько хорошим участником тестирования, на что они могли надеяться.

Он начал свои последние приготовления к тестам, распечатав необходимые документы, включая заявления о неразглашении, формы выпуска и квитанции о компенсации. Он также купил тестовые кредиты, чтобы использовать UX Recorder для записи пилотного теста. Из соображений осторожности он также приготовил две веб-камеры с подставками в качестве резервной копии. Он настроил параметры записи в приложении, запустил прототип через браузер приложения и записал, как он нажимает на задачу. Все идет нормально!

Ной и Софи, назначенные вести заметки на сеансах, пришли в комнату, отведенную для юзабилити-тестирования, за 15 минут до теста, но обнаружили, что Эмма уже ждет их. Когда Ной настраивался, он объяснил, чего они надеются достичь в течение следующего часа. Однако он не смог вызвать прототип в приложении для записи — он быстро понял, что в его телефоне нет сотового или беспроводного сигнала, вероятно, из-за расположения комнаты в центре здания. Он извинился и пошел осмотреть другие комнаты, которые он зарезервировал для ожидания и совещаний.

В первой же комнате, которую он попробовал, прототип загрузился без задержек — у его телефона был сильный сигнал сотовой связи и Wi-Fi. Он проводил Эмму и Софи в новую комнату всего на несколько минут позже первоначального времени начала. Он объяснил основные правила и процесс, прежде чем начать запись в приложении. Четыре задания и 70 минут спустя он остановил запись и поблагодарил Эмму за помощь. Пока приложение экспортировало запись часового сеанса, он и Софи обсудили сеанс, определили задачу, которую им нужно было переформулировать, чтобы избежать путаницы, и искали области, где они могли бы сократить время реальных сеансов. Поэтому он всегда проводил хотя бы одну пробную прогонку перед реальными тестами — это помогало ему как модератору ознакомиться с задачами, позволяло убедиться, что задачи понятны постороннему, и при необходимости внести временные корректировки.

Первый день юзабилити-тестов начался во вторник утром, и Ной вернулся в свою зону комфорта в качестве модератора. Четыре запланированных теста прошли гладко, и Ной и Софи использовали время между тестами, чтобы подвести итоги и записать основные моменты сеанса на доске. Единственная заминка заключалась в том, что телефон получил входящий звонок во время третьего сеанса; он попросил участника отклонить его и продолжить тест. Хотя он отключил все оповещения и уведомления, как предложила Диана, звонок каким-то образом прошел. После четырех запланированных тестов на день, когда записи сеансов экспортировались, они начали определять предварительные тенденции по основным моментам сеанса на стене с доской. Первые два отрендерились без проблем, но третий сеанс оказался поврежденным и не мог быть экспортирован. К счастью, последний отрендерился без проблем. Он отправил электронное письмо в службу поддержки приложения вместе с журналами поврежденного видео, опасаясь, что эта проблема повторится на следующий день.

Первый запланированный участник в среду не явился, поэтому они провели тест со своим резервным поплавком. После каждого теста в тот день Ной перезапускал iPhone в надежде, что это предотвратит любые другие поврежденные записи, поскольку он не получил ответа от службы поддержки приложения. Он вздохнул с облегчением, когда три записи дня отрендерились без каких-либо сбоев. Остаток дня он и Софи провели, просматривая все свои записи и воспоминания и продолжая анализ тенденций. Оглядываясь назад на тесты, он также отметил, что ни у кого из участников не было проблем с симулированным мобильным контекстом, хотя они не могли протестировать его в реальном мире.

Ной завершил неделю подведением итогов с командой проекта, чтобы поделиться основными выводами, и предложил провести дополнительные сессии на следующей неделе.

Неделя после

На выходных команда поддержки мобильного приложения для записи написала Ною по электронной почте, признав, что они не могут понять, почему третье видео было повреждено, но отправила ему пошаговые инструкции, как найти необработанные видеоклипы с iPhone и поделиться ими. Не питая особых надежд, он заархивировал, загрузил и поделился с ними 2-гигабайтным файлом.

Поскольку они добились значительных успехов в подготовке окончательного отчета о тестировании удобства использования, Ной запланировал отчет с ключевыми заинтересованными сторонами проекта и командой проекта на вторую половину дня пятницы. Ной и Софи провели остаток недели, анализируя данные, обновляя тенденции и документируя основные выводы, а также степень серьезности и рекомендации по улучшению. Хотя существовало множество шаблонов и форматов для сообщения результатов, Ною нравилось использовать формат PowerPoint, который он дорабатывал на протяжении многих лет, что позволяло наглядно показать и рассказать. Он очень верил в силу коротких видеоклипов (или монтажа) пользователей, борющихся с определенной функцией, чтобы создать момент «ага» для тех, кто не участвовал в тестировании. Софи вырезала видеоклипы, чтобы контекстно поддержать несколько ключевых наблюдений и рекомендаций.

Каждый день во время обеда на этой неделе Ноа проводил сеанс просмотра видео с командой проекта, каждый день просматривая видеозаписи разных участников. Это не только помогло команде воочию увидеть, как пользователи взаимодействовали с прототипом их приложения и где они спотыкались, но также выявило несколько наблюдений и идей, которые Ной и Софи не зафиксировали.

На заключительном заседании по выпуску отчета в пятницу днем ​​присутствовали все основные заинтересованные стороны. Ной представил выводы высокого уровня, а Софи углубилась в детали. Они ответили на несколько вопросов о наблюдениях и рекомендациях, которые отличались от того, что изначально предполагалось для приложения руководящим комитетом. Как Ной видел снова и снова, поддерживающих видеоклипов было достаточно, чтобы заинтересованные стороны сели, обратили внимание и начали обсуждение об изменении своего курса.

Направляясь домой на выходные, Ной размышлял о последних шести неделях и своем первом тесте на удобство использования мобильных устройств — его опасения в начале были преувеличены. Его переход к тестированию юзабилити для мобильных устройств был относительно легким, так как у него был предыдущий опыт тестирования юзабилити для настольных компьютеров. Настройка была самой большой разницей между ними, и были некоторые нюансы, связанные с мобильными устройствами, о которых ему пришлось позаботиться, но это не походило на изучение совершенно нового навыка.

В последующие месяцы постоянные юзабилити-тесты Ноя помогли команде проекта отладить приложение по мере того, как оно переходило от прототипа к полнофункциональному продукту. При запуске и каждом последующем крупном выпуске приложение получило большинство отзывов с 4 и 5 звездами.

TL;DR: Хронология деятельности

За месяц до

• Работайте с командой разработчиков, чтобы определить, что можно построить для тестов, и убедитесь, что это будет готово за несколько дней до первого теста.

За три недели до

• Определите профили участников юзабилити-тестирования на основе персонажей
• Создать рекрутинговый скринер
• Отбирать и набирать участников

За две недели до

• Просмотрите план тестирования юзабилити с заинтересованными сторонами и доработайте задачи.
• Определить и зарезервировать комнаты, необходимые для тестирования
• Завершить и запланировать участников и резервных участников-поплавков
• Организовать поощрение участников

За неделю до

• Пройдитесь по задачам, используя прототип или приложение для тестирования
• Настройка тестовой записи
• Проведите пробный прогон всего юзабилити-теста

Неделя юзабилити-тестирования

• Распечатайте все необходимые документы (план тестирования, сценарии, заявления о неразглашении, формы выпуска, квитанции о компенсации)
• Проверьте настройку комнаты для тестирования удобства использования, включая питание, подключение, блики и т. д.
• Проводите внутренние разборы в конце каждой сессии и обзор в конце дня
• Выявление и документирование тенденций после завершения тестирования

Неделя после

• Документировать выводы в отчете об удобстве использования
• Просмотр видеозаписей с командой проекта
• Определите и создайте видеоклипы из записей, чтобы поддержать ключевые наблюдения и рекомендации
• Отчет о выводах

Ресурсы и ссылки

Шаблоны планирования и настройка записи

• Планирование юзабилити-теста
• Скринер юзабилити-тестирования — тестирование мобильных устройств
• Шаблон плана тестирования юзабилити
• Руководство по простому и безболезненному мобильному пользовательскому тестированию

Контрольные списки мобильного тестирования

• Подробный контрольный список и другие загрузки из Rocket Surgery Made Easy Стива Круга
• Контрольные списки тестирования удобства использования мобильных устройств UserTesting (требуется бесплатная регистрация)

Шаблоны отчетов об удобстве использования

• Длинный шаблон
• Короткий шаблон
• Пример отчета о тестировании удобства использования

Дальнейшее чтение на SmashingMag:

• Приоритизация устройств: тестирование и адаптивный веб-дизайн
• Где находятся лучшие в мире лаборатории открытых устройств?
• Руководство по простому и безболезненному мобильному пользовательскому тестированию