A transição de Noah para o teste de usabilidade em dispositivos móveis

Noah estava preocupado. Ele era o “cara do UX” para o escritório corporativo de um Quick Service Restaurant regional (uma rede de fast food) que estava em processo de criação de um aplicativo móvel para permitir que os clientes personalizassem suas refeições, fizessem pedidos e ganhassem recompensas.

Ele notou que as expectativas dos usuários estavam aumentando, e eles eram menos tolerantes com experiências móveis ruins. É por isso que Noah acreditava firmemente que era importante testar a usabilidade da experiência do usuário móvel, dadas as expectativas mais altas dos usuários, telas menores e as restrições de dispositivos sem fio alimentados por bateria. Mas Noah estava preocupado porque nunca havia realizado testes de usabilidade em dispositivos móveis, mesmo com anos de experiência em testes de usabilidade tradicionais. Isso e o fato de que a primeira rodada de testes estava a apenas um mês de distância.

Ele rapidamente percebeu que os testes de usabilidade em dispositivos móveis tinham mais semelhanças com os testes tradicionais de usabilidade em desktops do que diferenças . As maiores diferenças estavam no próprio teste real; tudo o que levou ao teste real e após o teste permaneceu o mesmo. Havia muitas opções disponíveis para realizar testes de usabilidade, incluindo moderado ou não moderado, remoto ou presencial e suas combinações. Embora os testes remotos não moderados lhe permitissem lançar uma rede mais ampla com muito mais participantes, não oferecia oportunidades de sondagem contextual.

Enquanto pesquisava as opções disponíveis, Noah marcou serviços como UserZoom e UserTesting como opções potenciais para futuras necessidades de testes remotos. Sua experiência anterior lhe ensinou que testes moderados em pessoa forneciam informações ricas do usuário que muitas vezes eram perdidas usando outros métodos. Isso permitiria que ele se concentrasse em certos recursos e funcionalidades com alguns participantes, bem como nos conceitos de sondagem que eles estavam explorando, tornando-se sua abordagem preferida para as próximas rodadas de testes.

Um mês antes do primeiro teste de usabilidade agendado, ele começou a se preparar para os testes, começando pelas peças que conhecia melhor. Vamos acompanhar Noah enquanto ele faz a transição dos testes de usabilidade de desktop para dispositivos móveis.

Um mês antes

A equipe de design e desenvolvimento aos poucos chegou à reunião pós-almoço que Noah havia marcado, alguns tentados pelas mordidas de brownie que ele havia prometido. Ele aproveitou a reunião para revisar a funcionalidade e os recursos que seriam testados na primeira sessão de teste de usabilidade. Como eles estavam atualmente na fase de design, eles estariam realizando testes de usabilidade usando um protótipo do aplicativo iOS.

A equipe havia acabado de concluir os designs de tela rudimentares e estava começando a criar um protótipo interativo de alta fidelidade que permitiria aos usuários concluir tarefas como se fosse um aplicativo ou site ao vivo. O líder de design se serviu da última (e terceira) mordida de brownie, pois prometeu ter o protótipo do aplicativo pronto uma semana antes do primeiro teste de usabilidade. Noah definiu um lembrete para essa data em seu telefone.

Três semanas antes

Na semana seguinte, Noah começou a primeira etapa crucial de criar um plano de teste de usabilidade que documentava o quê, por que, quando, onde, quem e como do teste de usabilidade. A experiência anterior lhe ensinou a importância de ter os principais interessados ​​e membros da equipe do projeto assinando os detalhes do plano. Isso garantiu que o teste de usabilidade estivesse testando os recursos e funcionalidades corretos, com o público representativo correto em dispositivos apropriados, e que as métricas corretas estivessem sendo coletadas e relatadas. Além do plano de testes, ele também preparou os outros documentos que seriam necessários para os testes, incluindo um documento de confidencialidade, recibo de compensação e formulários de liberação.

Noah sabia que igualmente importante para um teste de usabilidade bem-sucedido era encontrar os participantes certos, já que um tamanho não serve para todos. Como no passado, Noah usou personas de projeto para identificar os perfis de participantes que ele usaria para testes. Ele recorreu à sua habitual empresa de pesquisa de mercado para criar uma triagem para recrutar os participantes certos de seu painel de opinião. Como eles estavam construindo um aplicativo para iOS, o rastreador também incluiu perguntas para garantir que os participantes usassem iPhones com iOS 7 ou superior, para garantir que estivessem familiarizados com convenções de plataforma e design plano.

Ele ainda precisava de ajuda para descobrir as opções de configuração e gravação para os testes. Fã de “Quem quer ser um milionário”, Noah usou o equivalente da linha de vida Ask the Audience para solicitar feedback de alguns grupos de UX do LinkedIn sobre opções de configuração para testes moderados de usabilidade em dispositivos móveis em pessoa. Um grande crente em compartilhar conhecimento, ele também prometeu compilar e compartilhar a sabedoria coletiva com esses grupos.

Duas semanas antes

As perguntas de Noah no LinkedIn e no Quora começaram lentamente a obter respostas, mas muitas respostas eram de outras pessoas que também procuravam respostas. Ele começou a recortar e coletar abordagens úteis no Evernote enquanto era notificado sobre novas respostas.

Noah enviou um e-mail para Pat, seu contato na agência de recrutamento, para uma atualização de status e obteve uma resposta em uma hora. Eles estavam quase terminando o recrutamento para esta rodada, com cinco das sete vagas preenchidas correspondendo aos perfis de persona, além de três flutuadores no caso de não comparecimento. A equipe de Pat estava esperando para receber as confirmações de seu painel para as duas vagas restantes. Ela prometeu enviar os resumos dos perfis dos participantes até o final da semana. Plenamente ciente de que seu departamento de contabilidade era burocrático, ele apresentou uma solicitação de vale-presente para ser usado para compensar os participantes por seu tempo.

Como ele iria realizar testes de usabilidade pessoalmente, ele precisava identificar um local adequado. Noah havia conduzido sua cota de testes em laboratórios formais de usabilidade, mas não achava que isso fosse necessário para esses testes. Ele vasculhou o escritório corporativo em busca de salas que pudesse usar – uma para testes, outra como sala de espera para os participantes e uma terceira como sala de debriefing para a equipe. Ele encontrou uma sala silenciosa sem janelas no meio do prédio para o teste de usabilidade e outras duas com belas vistas externas e rapidamente as reservou para os testes.

Sua meta mais importante para a semana era concluir a revisão do plano de teste por parte das partes interessadas. Ele havia enviado o plano por e-mail para as partes interessadas do projeto, incluindo marketing, TI e design criativo, dois dias antes de sua reunião habitual de quinta-feira de manhã. Ele pediu que eles viessem preparados com seus comentários, especificamente sobre as tarefas a serem testadas. A equipe criativa teve alguns ajustes para as tarefas e a TI não teve nenhum, mas Chad, do marketing, passou por isso com um pente fino; seu feedback incluiu a adição de algumas tarefas adicionais e perguntas detalhadas de acompanhamento para tudo, desde branding até rotulagem. Noah explicou que eles realisticamente não poderiam completar mais do que quatro tarefas principais em seu teste de uma hora e trabalharam individualmente com Chad o resto da manhã para finalizar as tarefas do plano de teste.

Com as tarefas aprovadas, Noah voltou sua atenção para as opções de gravação das sessões de testes de usabilidade. Ele tinha muitas opções para gravar a tela, bem como as reações dos participantes ao usar um computador, graças às webcams embutidas e ao software de gravação de tela. No entanto, gravar uma sessão de usabilidade móvel foi complicado porque a maioria das maneiras de capturar gravações semelhantes pode ser intrusiva e pode afetar o teste de usabilidade. É aí que ele esperava que sua tábua de salvação Ask the Audience ajudasse; ele organizou a dúzia de respostas e todas convergiram em quatro maneiras de gravar uma sessão de usabilidade móvel. Lembrando sua oferta de compilar e compartilhar suas descobertas com os outros nos grupos, Noah começou a documentar as opções.

Assim que ele compartilhou suas descobertas nos grupos do LinkedIn, o telefone de Noah tocou para lembrá-lo sobre seu jantar de sexta à noite com sua esposa em uma hora – o tempo voou! Ele rapidamente colocou seu computador no modo de hibernação e foi para casa no fim de semana. Esta foi uma semana longa, mas frutífera.

Uma semana antes

Noah estava pensando em suas opções no fim de semana e estava inclinado para a última opção – usar um aplicativo como o UX Recorder para gravar o teste, sem nenhum equipamento adicional. De volta ao trabalho, a equipe do projeto concordou com sua escolha, mas o diretor de UX pediu que ele a validasse com um especialista em usabilidade do Meetup de UX local. Noah marcou um almoço de trabalho no dia seguinte com a especialista Diane, que vinha realizando testes de usabilidade móvel nos últimos dois anos.

Enquanto trabalhava em sua lista de pendências de e-mail do fim de semana, ele viu a lista completa de perfis de participantes da agência de recrutamento. Ele examinou os perfis, confirmando mentalmente que recebeu o detalhamento exato do perfil de persona que estava procurando. No entanto, o perfil de um participante não parecia se encaixar em sua persona, com características como renda não correspondendo ao intervalo esperado para essa persona. Ele enviou um e-mail para Pat na agência para encontrar um substituto para aquele participante.

No dia seguinte, ele conheceu Diane em um de seus restaurantes, para o que parecia ser uma tábua de salvação Pergunte a um especialista . Ele veio preparado com uma lista de tópicos que queria discutir e uma impressão de seu plano de teste, bem como as opções de configuração de gravação. Ele conheceu Diane em seu UX Meetup local há mais de um ano – ela era um comitê de boas-vindas de uma pessoa autonomeada e rapidamente o colocou à vontade no grupo de 70 ou mais UXers.

Enquanto esperavam na fila para fazer seus pedidos, Diane falou sobre o teste de usabilidade que acabara de concluir, incluindo a bondosa avó que estava relutante em aceitar uma compensação. Enquanto esperavam em sua mesa para suas refeições, ele explicou que eles estavam planejando realizar testes de usabilidade moderados pessoalmente usando um protótipo de seu aplicativo iOS, e ele esperava por sua orientação sobre sua escolha para gravar o teste. Ela havia usado todas essas abordagens no passado e depois de fazer mais algumas perguntas sobre o teste, ela validou sua escolha.

Durante a refeição, ele pediu sugestões de fatoração no contexto móvel (coisas como o ambiente e as circunstâncias de uso que afetam a interação entre o usuário e a interface). Ela explicou que em um ambiente de laboratório, a melhor opção era simular esse contexto. Ela imediatamente se lembrou de uma de suas tarefas sobre fazer um pedido de fast food e pegá-lo, e disse que primeiro investigaria suas expectativas de retirada de pedidos. Ela então apresentaria o conceito de como eles estavam pensando em usar geofencing para começar a preparar seu pedido e tentaria obter feedback dos participantes sobre o conceito. Ela prometeu enviar-lhe mais algumas dicas antes do final do dia. Ele agradeceu a Diane por sua orientação quando saíram do restaurante.

Perto do final do almoço, seu telefone o lembrou de que a equipe de design havia prometido ter o protótipo concluído até hoje. De volta ao escritório, ele foi até a sala da equipe de design para ver o protótipo. O líder de design explicou se desculpando que eles tiveram que repensar alguns de seus designs com base em alguma orientação de marketing de última hora. Ele disse que eles estavam com o objetivo de ter tudo concluído até o fim de semana. Isso foi muito perto para o conforto de Noah, já que ele geralmente fazia um teste alguns dias antes do teste, dando tempo à equipe para fazer ajustes de última hora. Ele tentou esquecer isso atualizando a tarefa de colocação de pedidos e coleta para simular o contexto com base na sugestão de Diane.

Enquanto fazia atualizações, ele recebeu o e-mail de Diane com algumas dicas.

Assunto: Ponteiros de teste para dispositivos móveis

Noah, como prometido durante o almoço, aqui estão algumas dicas a serem lembradas ao configurar e realizar seus testes na próxima semana.

Obrigado pelo almoço e tudo de bom!

Diana

---

Dispositivos/Plataformas : Se os participantes não estiverem usando seus próprios dispositivos, verifique se estão testando na plataforma (iOS, Android ou Windows) com a qual estão familiarizados e usam regularmente. Se eles usarão seus próprios dispositivos, leve em consideração a logística e o tempo para instalar o aplicativo, configurar qualquer acesso etc.

Brilho : com computadores, você pode ajustar sua tela para acomodar qualquer problema de iluminação, mas o brilho se torna um problema com dispositivos móveis, ao usar uma câmera para gravar telas móveis (as duas primeiras abordagens que você descreveu), pois os usuários tendem a mover os dispositivos móveis para uso mais confortável, às vezes tornando inúteis partes da gravação. Se você usar a configuração da câmera de documentos (primeira abordagem), use fita adesiva para lembrar os usuários da zona em que o dispositivo móvel precisa permanecer.

Bateria/Energia : Outro problema apenas para dispositivos móveis é garantir que os dispositivos usados ​​tenham energia suficiente para o teste e que cabos de carregamento longos estejam prontamente disponíveis. A primeira vez que usei o UX Recorder em um dispositivo pessoal para um teste, no meio do teste tivemos que parar e lutar para obter um cabo de carregamento – a tela, a gravação de vídeo e áudio esgotaram a bateria mais rápido do que eu imaginava.

Por último, mas não menos importante:

Notificações/Alertas : Desligue TODOS os alertas e notificações nos dispositivos de teste. Além de interromper o teste, pode afetar sua gravação.

Noah fez uma anotação para verificar novamente durante o teste, que agora precisava ser remarcado para o dia anterior aos testes reais. A próxima semana seria uma longa semana para ele...

A semana de testes de usabilidade

Bem cedo na segunda-feira de manhã, Noah trouxe um Box O' Joe e rosquinhas para a equipe de design, que trabalhou parte do fim de semana para completar o protótipo. Eles passaram a próxima hora andando coletivamente pelo protótipo e notando algumas pequenas mudanças. A equipe de projeto teria as atualizações concluídas antes do almoço, o que daria a Noah tempo suficiente antes do teste piloto naquela tarde. Ele enviou um e-mail de lembrete para sua colega, Emma, ​​que se ofereceu para a simulação. Emma não estava envolvida com o aplicativo e, exceto por ser uma funcionária fanática da marca, era uma participante de teste tão boa quanto eles poderiam esperar.

Ele começou seus preparativos finais para os testes imprimindo os documentos necessários, incluindo não-divulgações, formulários de liberação e recibos de compensação. Ele também comprou créditos de teste para usar o UX Recorder para gravar o teste piloto. Sendo cauteloso, ele também tinha duas webcams prontas com suportes como backup. Ele configurou as opções de gravação no aplicativo, lançou o protótipo pelo navegador do aplicativo e gravou a si mesmo clicando em uma tarefa. Até agora tudo bem!

Noah e Sophie, o anotador designado para as sessões, chegaram à sala reservada para o teste de usabilidade 15 minutos antes do teste, apenas para encontrar Emma já esperando por eles. Enquanto Noah se preparava, ele explicou o que eles esperavam realizar na próxima hora. No entanto, ele não conseguiu abrir o protótipo no aplicativo de gravação – ele rapidamente percebeu que seu telefone não tinha sinal de celular ou sem fio, provavelmente por causa da localização da sala no meio do prédio. Ele se desculpou e foi experimentar as outras salas que havia reservado como salas de espera e de interrogatório.

Na primeira sala que ele tentou, o protótipo carregou sem demora – seu telefone tinha um forte sinal de celular e Wi-Fi. Ele acompanhou Emma e Sophie até o novo quarto apenas alguns minutos depois do horário original de início. Ele explicou as regras básicas e o processo antes de iniciar a gravação no aplicativo. Quatro tarefas e 70 minutos depois, ele parou a gravação e agradeceu a Emma pela ajuda. Enquanto o aplicativo exportava a gravação da sessão de uma hora, Sophie e ele discutiram a sessão, identificaram uma tarefa que precisavam reformular para evitar confusão e procuraram áreas onde poderiam cortar algum tempo das sessões reais. É por isso que ele sempre realizava pelo menos uma simulação antes dos testes reais – isso o ajudava a se familiarizar com as tarefas como moderador, permitia que ele verificasse se as tarefas estavam claras para um estranho e fazia ajustes de tempo, se necessário.

O primeiro dia de testes de usabilidade começou na terça-feira de manhã, e Noah estava de volta à sua zona de conforto como moderador. Os quatro testes programados correram bem, e Noah e Sophie usaram o tempo entre os testes para fazer um resumo e capturar os destaques da sessão na parede do quadro branco. O único problema foi que o telefone recebeu uma chamada durante a terceira sessão; ele pediu ao participante que o dispensasse e continuasse com o teste. Embora ele tivesse desligado todos os alertas e notificações como Diane havia sugerido, a ligação de alguma forma conseguiu. Após os quatro testes programados para o dia, à medida que as gravações das sessões estavam sendo exportadas, eles começaram a identificar tendências preliminares dos destaques da sessão na parede do quadro branco. Os dois primeiros renderizados sem problemas, mas a terceira sessão parecia estar corrompida e não pôde ser exportada. Felizmente, o último renderizado sem problemas. Ele enviou um e-mail para a equipe de suporte do aplicativo junto com os registros do vídeo corrompido, preocupado que esse problema se repetisse no dia seguinte.

O primeiro participante agendado na quarta-feira não compareceu, então eles realizaram o teste com seu flutuador de reserva. Após cada teste naquele dia, Noah reiniciou o iPhone na esperança de que isso impedisse quaisquer outras gravações corrompidas, já que ele não havia recebido uma resposta da equipe de suporte do aplicativo. Ele deu um suspiro de alívio quando as três gravações do dia renderam sem falhas. Sophie e ele passaram o resto da tarde revisando todas as anotações e lembranças e continuando a análise de tendências. Olhando para os testes, ele também observou que nenhum dos participantes teve problemas com o contexto móvel simulado, embora não pudessem testá-lo no mundo real.

Noah terminou a semana com uma reunião de esclarecimento com a equipe do projeto para compartilhar as principais descobertas e se ofereceu para realizar sessões adicionais na semana seguinte.

A semana seguinte

No fim de semana, a equipe de suporte do aplicativo de gravação móvel enviou um e-mail para Noah, admitindo que não conseguia descobrir por que o terceiro vídeo estava corrompido, mas enviou instruções passo a passo para localizar e compartilhar os videoclipes brutos do iPhone. Não se sentindo muito esperançoso, ele zipou, carregou e compartilhou o arquivo de 2Gb com eles.

Como eles estavam fazendo um bom progresso no relatório final do teste de usabilidade, Noah agendou um relatório com as principais partes interessadas do projeto e a equipe do projeto para sexta-feira à tarde. Noah e Sophie passaram o resto da semana analisando os dados, atualizando tendências e documentando as principais descobertas junto com a gravidade e recomendações para melhorias. Embora houvesse muitos modelos e formatos para relatar as descobertas, Noah gostava de usar um formato de PowerPoint que ele havia ajustado ao longo dos anos, o que permitia um show-and-tell visual. Ele acreditava muito no poder de videoclipes curtos (ou uma montagem) de usuários lutando com um determinado recurso para criar um momento “A-ha” para aqueles que não fizeram parte do teste. Sophie cortou os videoclipes para apoiar contextualmente algumas observações e recomendações importantes.

Todos os dias durante o almoço daquela semana, Noah liderou uma sessão de revisão de vídeo com a equipe do projeto, revisando a gravação de vídeo de um participante diferente a cada dia. Isso não apenas ajudou a equipe a testemunhar em primeira mão como os usuários interagiram com o protótipo do aplicativo e onde eles tropeçaram, mas também revelou algumas observações e insights que Noah e Sophie não haviam capturado.

A sessão do relatório final na tarde de sexta-feira contou com a participação de todos os principais interessados. Noah apresentou as descobertas de alto nível e Sophie entrou nos detalhes. Eles responderam a algumas perguntas sobre observações e recomendações que eram diferentes do que o comitê de direção havia imaginado originalmente para o aplicativo. Como Noah tinha visto várias vezes, os videoclipes de apoio foram suficientes para que as partes interessadas se sentassem e tomassem conhecimento e iniciassem conversas sobre a mudança de rumo.

Enquanto voltava para casa para o fim de semana, Noah refletiu sobre as últimas seis semanas e seu primeiro teste de usabilidade móvel – suas preocupações no início foram exageradas. Sua transição para o teste de usabilidade móvel foi relativamente fácil, pois ele tinha experiência anterior com testes tradicionais de usabilidade em desktop. A configuração era a maior diferença entre os dois, e havia algumas nuances relacionadas a dispositivos móveis que ele precisava cuidar, mas não era como aprender uma habilidade totalmente nova.

Ao longo dos meses que se seguiram, os testes de usabilidade contínuos de Noah ajudaram a equipe do projeto a ajustar o aplicativo à medida que progredia de um protótipo para um produto totalmente funcional. Para o lançamento e todos os lançamentos importantes que se seguiram, o aplicativo recebeu a maioria das avaliações de 4 e 5 estrelas.

TL;DR: Cronograma de Atividades

Um mês antes

• Trabalhar com a equipe de design para identificar o que pode ser construído para os testes e garantir que esteja pronto alguns dias antes do primeiro teste

Três semanas antes

• Identifique os perfis dos participantes do teste de usabilidade com base em personas
• Criar rastreador de recrutamento
• Selecionar e recrutar participantes

Duas semanas antes

• Revise o plano de teste de usabilidade com as partes interessadas e finalize as tarefas
• Identifique e reserve salas necessárias para testes
• Finalize e agende os participantes e os participantes flutuantes em espera
• Organizar incentivos para os participantes

Uma semana antes

• Percorra as tarefas usando o protótipo ou aplicativo a ser testado
• Configuração de gravação de teste
• Realize uma simulação de todo o teste de usabilidade

A semana de testes de usabilidade

• Imprima todos os documentos necessários (plano de teste, roteiros, não divulgações, formulários de liberação, recibos de compensação)
• Verifique a configuração da sala de teste de usabilidade, incluindo energia, conectividade, brilho, etc.
• Realizar debriefs internos no final de cada sessão e uma revisão no final do dia
• Identificar e documentar tendências após a conclusão do teste

A semana seguinte

• Documentar descobertas no relatório de usabilidade
• Revise as gravações de vídeo com a equipe do projeto
• Identifique e crie videoclipes a partir de gravações para apoiar as principais observações e recomendações
• Relatório sobre as descobertas

Recursos e links

Modelos de planejamento e configuração de gravação

• Planejando um teste de usabilidade
• Triagem de teste de usabilidade - Teste de dispositivo móvel
• Modelo de Plano de Teste de Usabilidade
• Um guia para testes simples e indolores de usuários móveis

Listas de verificação de teste para dispositivos móveis

• Lista de verificação detalhada e outros downloads de Rocket Surgery Made Easy de Steve Krug
• Listas de verificação de teste de usabilidade móvel do UserTesting (inscrição gratuita necessária)

Modelos de relatório de usabilidade

• Modelo Longo
• Modelo Resumido
• Exemplo de relatório de teste de usabilidade

Leitura adicional no SmashingMag:

• Priorizando Dispositivos: Testes e Web Design Responsivo
• Onde estão os melhores laboratórios de dispositivos abertos do mundo?
• Um guia para testes simples e indolores de usuários móveis