La transizione di Noè ai test di usabilità mobile

Noè era preoccupato. Era il "ragazzo UX" per l'ufficio aziendale di un Quick Service Restaurant regionale (una catena di fast food) che stava creando un'app mobile per consentire ai clienti di personalizzare i propri pasti, effettuare ordini e guadagnare premi.

Aveva notato che le aspettative degli utenti aumentavano e che perdonavano meno le esperienze mobili scadenti. Ecco perché Noah credeva fermamente che fosse importante testare l'usabilità dell'esperienza utente mobile date le aspettative più elevate degli utenti, gli schermi più piccoli e i vincoli dei dispositivi wireless alimentati a batteria. Ma Noah era preoccupato perché non aveva mai condotto test di usabilità mobile, anche con anni di esperienza tradizionale nei test di usabilità. Questo, e il fatto che il primo round di test fosse a un mese di distanza.

Si è subito reso conto che i test di usabilità mobile avevano più somiglianze con i tradizionali test di usabilità desktop che differenze . Le maggiori differenze erano nel test stesso; tutto ciò che ha portato al test vero e proprio e dopo il test è rimasto lo stesso. C'erano molte opzioni disponibili per condurre test di usabilità, inclusi moderati o non moderati, a distanza o di persona e loro combinazioni. Sebbene i test a distanza non moderati gli consentissero di creare una rete più ampia con molti più partecipanti, non offrivano opportunità per sondaggi contestuali.

Mentre ricercava le opzioni disponibili, Noah ha aggiunto servizi come UserZoom e UserTesting come potenziali opzioni per future esigenze di test a distanza. La sua esperienza passata gli aveva insegnato che i test di persona moderati fornivano informazioni dettagliate sugli utenti che spesso venivano perse utilizzando altri metodi. Gli consentirebbe di concentrarsi su alcune caratteristiche e funzionalità con alcuni partecipanti, nonché sui concetti di sonda che stavano esplorando, rendendolo il suo approccio preferito per i loro prossimi round di test.

Un mese prima del primo test di usabilità programmato, ha iniziato a prepararsi per i test, partendo dalle parti che conosceva meglio. Seguiamo Noah mentre effettua la transizione dai test di usabilità desktop ai dispositivi mobili.

Un mese prima

Il team di progettazione e sviluppo è entrato lentamente nell'incontro post-pranzo che Noah aveva programmato, alcuni tentati dai bocconcini di brownie che aveva promesso. Ha utilizzato la riunione per esaminare le funzionalità e le caratteristiche che dovevano essere testate nella prima sessione di test di usabilità. Dal momento che erano attualmente in fase di progettazione, avrebbero condotto test di usabilità utilizzando un prototipo dell'app iOS.

Il team aveva appena completato i progetti di schermate approssimative e stava appena iniziando a creare un prototipo interattivo ad alta fedeltà che avrebbe consentito agli utenti di completare le attività come se si trattasse di un'app o di un sito live. Il responsabile del design si è servito dell'ultimo (e del suo terzo) boccone di brownie promettendo di avere il prototipo dell'app pronto un'intera settimana prima del primo test di usabilità. Noah ha impostato un promemoria per quella data sul suo telefono.

Tre settimane prima

La settimana successiva, Noah ha iniziato il primo passo cruciale della creazione di un piano di test di usabilità che documentasse cosa, perché, quando, dove, chi e come del test di usabilità. L'esperienza passata gli aveva insegnato l'importanza di avere le parti interessate chiave e i membri del team di progetto che approvassero i dettagli del piano. Ciò ha garantito che il test di usabilità stesse testando le caratteristiche e le funzionalità giuste, con il pubblico rappresentativo corretto sui dispositivi appropriati e che le metriche giuste fossero raccolte e riportate. Oltre al piano di test, ha anche preparato gli altri documenti che sarebbero stati necessari per i test, tra cui una riservatezza, ricevuta di compensazione e moduli di rilascio.

Noah sapeva che altrettanto importante per un test di usabilità di successo era trovare i partecipanti giusti, poiché una taglia non va bene per tutti. Come in passato, Noah ha utilizzato le persone del progetto per identificare i profili dei partecipanti che avrebbe utilizzato per i test. Si è rivolto alla sua solita società di ricerche di mercato per creare uno screener per reclutare i partecipanti giusti dal loro panel di opinione. Dal momento che stavano creando un'app iOS, lo screener includeva anche domande per assicurarsi che i partecipanti utilizzassero iPhone con iOS 7 o versioni successive, per assicurarsi che avrebbero familiarità con le convenzioni della piattaforma e il design piatto.

Aveva ancora bisogno di aiuto per capire le opzioni di configurazione e registrazione per i test. Un fan di "Chi vuole essere milionario", Noah ha utilizzato l'equivalente dell'ancora di salvezza Ask the Audience per sollecitare feedback da alcuni gruppi di LinkedIn UX sulle opzioni di configurazione per i test di usabilità mobile moderati di persona. Un grande sostenitore della condivisione della conoscenza, ha anche promesso di raccogliere e condividere la saggezza collettiva con quei gruppi.

Due settimane prima

Le domande di Noah su LinkedIn e Quora hanno iniziato lentamente a ricevere risposte, ma molte risposte provenivano anche da altri in cerca di risposte. Ha iniziato a ritagliare e raccogliere approcci utili in Evernote quando è stato informato di nuove risposte.

Noah ha inviato un'e-mail a Pat, il suo contatto presso l'agenzia di reclutamento, per un aggiornamento sullo stato e ha ricevuto una risposta entro un'ora. Avevano quasi finito di reclutare per questo round, con cinque dei sette slot occupati corrispondenti ai profili delle persone, oltre a tre floater nel caso in cui non ci fossero presentazioni. La squadra di Pat era in attesa di ricevere conferme dal proprio pannello per i restanti due slot. Ha promesso di inviare i riepiloghi dei profili dei partecipanti entro la fine della settimana. Consapevole che il suo dipartimento di contabilità era burocratico, ha presentato una richiesta di buoni regalo da utilizzare per compensare i partecipanti per il loro tempo.

Dal momento che stava per condurre test di usabilità di persona, aveva bisogno di identificare un luogo adatto. Noah aveva condotto la sua quota di test in laboratori formali di usabilità, ma non sentiva che fosse necessario per questi test. Ha perlustrato l'ufficio aziendale in cerca di stanze che potesse utilizzare: una per i test, un'altra come sala d'attesa per i partecipanti e una terza come sala di debriefing per il team. Ha trovato una stanza tranquilla senza finestre nel mezzo dell'edificio per il test di usabilità e altre due con belle viste esterne e le ha prenotate rapidamente per i test.

Il suo obiettivo più importante della settimana era completare la revisione del piano di test da parte degli stakeholder. Aveva inviato via e-mail il piano alle parti interessate del progetto, inclusi marketing, IT e design creativo, due giorni prima del consueto incontro del giovedì mattina. Aveva chiesto loro di venire preparati con il loro feedback, in particolare sui compiti da testare. Il team creativo aveva apportato alcune modifiche alle attività e l'IT non ne aveva, ma Chad del marketing l'aveva affrontato con un pettine a denti fini; il suo feedback includeva l'aggiunta di alcune attività aggiuntive e domande dettagliate di follow-up per tutto, dal marchio all'etichettatura. Noah ha spiegato che realisticamente non potevano completare più di quattro compiti principali nel loro test di un'ora e hanno lavorato uno contro uno con Chad il resto della mattinata per finalizzare i compiti nel piano di test.

Con l'approvazione dei compiti, Noah ha rivolto la sua attenzione alle sue opzioni per la registrazione delle sessioni di test di usabilità. Aveva molte opzioni per registrare lo schermo e le reazioni dei partecipanti quando utilizzava un computer, grazie alle webcam integrate e al software di registrazione dello schermo. Tuttavia, la registrazione di una sessione di usabilità mobile è stata complicata perché la maggior parte dei modi per acquisire registrazioni simili potrebbe essere invadente e potrebbe influire sul test di usabilità. Ecco dove sperava che la sua ancora di salvezza Chiedi al pubblico sarebbe stata d'aiuto; ha organizzato le dozzine di risposte e tutte convergevano su quattro modi per registrare una sessione di usabilità mobile. Ricordando la sua offerta di compilare e condividere le sue scoperte con gli altri sui gruppi, Noah iniziò a documentare le opzioni.

Proprio mentre condivideva le sue scoperte nei gruppi di LinkedIn, il telefono di Noah cinguettava per ricordargli del suo appuntamento a cena del venerdì sera con sua moglie tra un'ora: il tempo era volato! Ha messo rapidamente il suo computer in modalità ibernazione e si è diretto a casa per il fine settimana. Era stata una settimana lunga, ma fruttuosa.

Una settimana prima

Noah aveva pensato alle sue opzioni durante il fine settimana e si stava orientando verso l'ultima opzione: utilizzare un'app come UX Recorder per registrare il test, senza alcuna attrezzatura aggiuntiva. Tornato al lavoro, il team di progetto ha concordato con la sua scelta, ma il direttore UX gli ha chiesto di convalidarla con uno specialista dell'usabilità del loro Meetup UX locale. Noah ha organizzato un pranzo di lavoro il giorno successivo con la specialista, Diane, che aveva condotto test di usabilità mobile negli ultimi due anni.

Mentre lavorava al suo arretrato di posta elettronica del fine settimana, ha visto l'elenco dei profili dei partecipanti completato dall'agenzia di reclutamento. Ha scansionato i profili, confermando mentalmente di aver ricevuto l'esatta ripartizione del profilo personale che stava cercando. Tuttavia, il profilo di un partecipante non sembrava adattarsi alla sua persona, con caratteristiche come il reddito che non corrispondevano all'intervallo previsto per quella persona. Ha inviato un'e-mail a Pat presso l'agenzia per trovare un sostituto per quel partecipante.

Il giorno seguente, ha incontrato Diane in uno dei loro ristoranti, per quella che sembrava un'ancora di salvezza di Ask An Expert . Era arrivato preparato con un elenco di argomenti che voleva discutere e una stampa del suo piano di test, nonché le opzioni di impostazione della registrazione. Aveva incontrato Diane per la prima volta al loro UX Meetup locale più di un anno fa: era un comitato di benvenuto auto-nominato di una sola persona e lo ha messo rapidamente a suo agio nel gruppo di circa 70 UXer.

Mentre aspettavano in fila per effettuare gli ordini, Diane ha parlato del test di usabilità che aveva appena concluso, inclusa la gentile nonna che era riluttante ad accettare un risarcimento. Mentre aspettavano al loro tavolo per i loro pasti, ha spiegato che stavano pianificando di condurre test di usabilità moderati di persona utilizzando un prototipo della loro app iOS e sperava nella sua guida sulla sua scelta per la registrazione del test. Aveva usato tutti quegli approcci in passato e dopo avergli fatto qualche altra domanda sul test, ha convalidato la sua scelta.

Durante il pasto, le ha chiesto suggerimenti sul factoring nel contesto mobile (cose come l'ambiente e le circostanze di utilizzo che influenzano l'interazione tra l'utente e l'interfaccia). Ha spiegato che in un ambiente di laboratorio, l'opzione migliore era simulare quel contesto. Ha immediatamente ricordato uno dei suoi compiti sull'effettuare un ordine di un fast food e ritirarlo, e ha detto che avrebbe prima sondato le loro aspettative di ritiro dell'ordine. Avrebbe quindi introdotto il concetto di come stavano pensando di utilizzare il geofencing per iniziare a cucinare il loro ordine e avrebbe cercato di ottenere il feedback dei partecipanti sul concetto. Ha promesso di inviargli un'e-mail con qualche altro suggerimento prima della fine della giornata. Ha ringraziato Diane per la sua guida mentre lasciavano il ristorante.

Verso la fine del pranzo, il suo telefono gli aveva ricordato che il team di progettazione aveva promesso di completare il prototipo entro oggi. Tornato in ufficio, si è diretto nella stanza del team di progettazione per ottenere una panoramica del prototipo. Il responsabile del design ha spiegato scusandosi di aver dovuto ripensare alcuni dei loro progetti sulla base di alcune indicazioni dell'ultimo minuto del marketing. Ha detto che miravano a completare tutto entro il fine settimana. Questo era troppo vicino per il comfort di Noah, dal momento che di solito conduceva una corsa sull'asciutto pochi giorni prima del test, dando alla squadra il tempo di apportare modifiche dell'ultimo minuto. Ha cercato di distrarsi aggiornando il posizionamento dell'ordine e l'attività di ritiro per simulare il contesto in base al suggerimento di Diane.

Mentre stava aggiornando, ha ricevuto l'e-mail di Diane con alcuni suggerimenti.

Oggetto: Puntatori per test mobili

Noah, come promesso durante il pranzo, ecco alcuni suggerimenti da tenere a mente mentre prepari e conduci i test la prossima settimana.

Grazie per il pranzo e tutto il meglio!

Diana

---

Dispositivi/Piattaforme : se i partecipanti non utilizzano i propri dispositivi, assicurarsi che stiano testando sulla piattaforma (iOS, Android o Windows) con cui hanno familiarità e che utilizzano regolarmente. Se utilizzeranno i propri dispositivi, considera la logistica e il tempo necessario per installare l'app, configurare qualsiasi accesso, ecc.

Abbagliamento : con i computer, puoi regolare lo schermo per adattarsi a eventuali problemi di illuminazione, ma l'abbagliamento diventa un problema con i dispositivi mobili, quando si utilizza una fotocamera per registrare schermi mobili (i primi due approcci che avevi delineato) poiché gli utenti tendono a spostare i dispositivi mobili per un uso più confortevole, a volte rendendo inutili parti della registrazione. Se utilizzi mai la configurazione della telecamera documenti (primo approccio), usa il nastro del pittore per ricordare agli utenti la zona in cui il dispositivo mobile deve rimanere all'interno.

Batteria/Alimentazione : un altro problema solo per dispositivi mobili è garantire che i dispositivi utilizzati abbiano una carica sufficiente per il test e che i cavi di ricarica lunghi siano prontamente disponibili. La prima volta che ho utilizzato UX Recorder su un dispositivo personale per una corsa a secco, a metà del test ci siamo dovuti fermare e arrampicarci per ottenere un cavo di ricarica: lo schermo, la registrazione video e audio hanno scaricato la batteria più velocemente di quanto avessi mai immaginato.

Ultimo, ma non per importanza:

Notifiche/Avvisi : disattiva TUTTI gli avvisi e le notifiche sui dispositivi di prova. Non solo interrompe il test, ma potrebbe influire sulla registrazione.

Noah ha preso nota di ricontrollarli durante la corsa a secco, che ora doveva essere riprogrammata per il giorno prima dei test effettivi. La prossima settimana sarebbe stata una lunga settimana per lui...

La settimana dei test di usabilità

Luminoso e presto lunedì mattina, Noah ha portato una Box O' Joe e ciambelle per il team di progettazione, che aveva lavorato parte del fine settimana per completare il prototipo. Trascorsero l'ora successiva esaminando collettivamente il prototipo e notando alcune piccole modifiche. Il team di progettazione avrebbe completato gli aggiornamenti prima di pranzo, il che avrebbe concesso a Noah abbastanza tempo prima del test pilota quel pomeriggio. Ha inviato un'e-mail di promemoria alla sua collega, Emma, ​​che si era offerta volontaria per la corsa a secco. Emma non era stata coinvolta nell'app e, a parte il fatto di essere una fanatica del marchio come dipendente, è stata una valida partecipante al test come potevano sperare.

Ha iniziato i suoi ultimi preparativi per le prove stampando i documenti richiesti, tra cui riservatezza, moduli di liberatoria e ricevute di compensazione. Ha anche acquistato crediti di prova per utilizzare UX Recorder per registrare il test pilota. Essendo cauto, aveva anche due webcam pronte con supporti come backup. Ha configurato le opzioni di registrazione nell'app, ha avviato il prototipo tramite il browser dell'app e si è registrato facendo clic su un'attività. Fin qui tutto bene!

Noah e Sophie, l'addetta agli appunti assegnata alle sessioni, hanno raggiunto la stanza riservata al test di usabilità 15 minuti prima del test, solo per trovare Emma già ad aspettarli. Mentre Noah si preparava, spiegò cosa speravano di ottenere nell'ora successiva. Tuttavia, non è riuscito a visualizzare il prototipo nell'app di registrazione: si è subito reso conto che il suo telefono non aveva un segnale cellulare o wireless, probabilmente a causa della posizione della stanza al centro dell'edificio. Si scusò e andò a provare le altre stanze che aveva prenotato come sale di attesa e di debriefing.

Nella prima stanza che ha provato, il prototipo si è caricato senza indugio: il suo telefono aveva un forte segnale cellulare e Wi-Fi. Ha accompagnato Emma e Sophie nella nuova stanza solo pochi minuti dopo l'orario di inizio originale. Ha spiegato le regole di base e il processo prima di avviare la registrazione nell'app. Quattro compiti e 70 minuti dopo, ha interrotto la registrazione e ha ringraziato Emma per il suo aiuto. Mentre l'app esportava la registrazione della sessione di un'ora, Sophie e lui discutevano della sessione, identificavano un'attività da riformulare per evitare confusione e cercavano aree in cui potevano ritagliare un po' di tempo dalle sessioni effettive. Ecco perché ha sempre condotto almeno un ciclo di prova prima dei test effettivi: lo ha aiutato a familiarizzare con i compiti come moderatore, gli ha permesso di verificare che i compiti fossero chiari a un estraneo e di apportare eventuali aggiustamenti di tempo se necessario.

La prima giornata di test di usabilità è iniziata martedì mattina e Noah è tornato nella sua zona di comfort come moderatore. I quattro test programmati si sono svolti senza intoppi e Noah e Sophie hanno utilizzato il tempo tra i test per fare un debriefing e acquisire i momenti salienti della sessione sul muro della lavagna. L'unico inconveniente è stato che il telefono ha ricevuto una chiamata in arrivo durante la terza sessione; ha chiesto al partecipante di respingerlo e continuare con il test. Sebbene avesse disattivato tutti gli avvisi e le notifiche come aveva suggerito Diane, la chiamata in qualche modo è riuscita. Dopo i quattro test programmati per la giornata, durante l'esportazione delle registrazioni delle sessioni, hanno iniziato a identificare le tendenze preliminari dai momenti salienti della sessione sulla lavagna. I primi due sono stati renderizzati senza problemi, ma la terza sessione sembrava essere danneggiata e non poteva essere esportata. Per fortuna, l'ultimo è stato reso senza problemi. Ha inviato un'e-mail al team di supporto dell'app insieme ai registri del video corrotto, preoccupato che il problema si ripetesse il giorno successivo.

Il primo partecipante in programma mercoledì è stato un no-show, quindi hanno condotto il test con il loro galleggiante in standby. Dopo ogni test quel giorno, Noah ha riavviato l'iPhone nella speranza che impedisse qualsiasi altra registrazione corrotta, dal momento che non aveva ricevuto risposta dal team di supporto dell'app. Ha tirato un sospiro di sollievo quando le tre registrazioni della giornata sono state rese senza intoppi. Sophie e lui hanno passato il resto del pomeriggio a rivedere tutti i loro appunti e ricordi ea continuare l'analisi delle tendenze. Ripensando ai test, ha anche notato che nessuno dei partecipanti ha avuto problemi con il contesto mobile simulato anche se non potevano testarlo nel mondo reale.

Noah ha concluso la settimana con un incontro di debriefing con il team del progetto per condividere i risultati chiave e si è offerto di ospitare sessioni aggiuntive la settimana successiva.

La settimana dopo

Durante il fine settimana, il team di supporto dell'app di registrazione mobile ha inviato un'e-mail a Noah, ammettendo che non riuscivano a capire perché il terzo video fosse corrotto, ma gli ha inviato istruzioni dettagliate per individuare e condividere i video clip grezzi dall'iPhone. Non sentendosi molto fiducioso, ha zippato, caricato e condiviso il file da 2 GB con loro.

Mentre stavano facendo buoni progressi nel rapporto finale sul test di usabilità, Noah ha programmato un rapporto con le principali parti interessate del progetto e il team di progetto per venerdì pomeriggio. Noah e Sophie hanno trascorso il resto della settimana ad analizzare i dati, aggiornare le tendenze e documentare i risultati chiave insieme alla gravità e alle raccomandazioni per il miglioramento. Sebbene esistessero molti modelli e formati per la segnalazione dei risultati, a Noah piaceva usare un formato PowerPoint che aveva ottimizzato nel corso degli anni, il che consentiva uno spettacolo visivo. Era un grande sostenitore del potere di brevi video clip (o di un montaggio) di utenti che lottavano con una certa funzionalità per creare un momento "A-ha" per coloro che non facevano parte del test. Sophie ha ritagliato i video clip per supportare contestualmente alcune osservazioni e raccomandazioni chiave.

Ogni giorno durante il pranzo di quella settimana, Noah ha condotto una sessione di revisione video con il team del progetto, rivedendo ogni giorno la registrazione video di un partecipante diverso. Questo non solo ha aiutato il team a testimoniare in prima persona come gli utenti hanno interagito con il prototipo dell'app e dove sono inciampati, ma ha anche rivelato alcune osservazioni e intuizioni che Noah e Sophie non avevano catturato.

La sessione del rapporto finale di venerdì pomeriggio ha visto la buona partecipazione di tutte le principali parti interessate. Noah ha presentato i risultati di alto livello e Sophie è entrata nei dettagli. Hanno posto un paio di domande su osservazioni e raccomandazioni che erano diverse da ciò che il comitato direttivo aveva originariamente previsto per l'app. Come Noah aveva visto più e più volte, i video clip di supporto erano sufficienti per consentire alle parti interessate di sedersi e prendere atto e avviare conversazioni sul cambiamento del loro corso.

Mentre tornava a casa per il fine settimana, Noah ha riflettuto sulle ultime sei settimane e sul suo primo test di usabilità mobile: le sue preoccupazioni all'inizio erano state sopravvalutate. Il suo passaggio ai test di usabilità mobile è stato relativamente facile, poiché aveva precedenti esperienze con i test di usabilità desktop tradizionali. La configurazione era la più grande differenza tra i due, e c'erano alcune sfumature relative ai dispositivi mobili di cui aveva dovuto occuparsi, ma non era come imparare un'abilità completamente nuova.

Nei mesi successivi, i continui test di usabilità di Noah hanno aiutato il team di progetto a mettere a punto l'app mentre passava da un prototipo a un prodotto completamente funzionante. Per il lancio e tutte le principali versioni successive, l'app ha ricevuto la maggior parte delle recensioni a 4 e 5 stelle.

TL; DR: Cronologia delle attività

Un mese prima

• Collaborare con il team di progettazione per identificare cosa può essere costruito per i test e assicurarsi che sia pronto qualche giorno prima del primo test

Tre settimane prima

• Identificare i profili dei partecipanti al test di usabilità in base alle persone
• Crea un selezionatore di reclutamento
• Seleziona e recluta i partecipanti

Due settimane prima

• Rivedere il piano di test di usabilità con le parti interessate e finalizzare le attività
• Identificare e prenotare le stanze necessarie per i test
• Finalizzare e programmare i partecipanti e i partecipanti floater in standby
• Organizzare incentivi per i partecipanti

Una settimana prima

• Svolgi le attività utilizzando il prototipo o l'app da testare
• Prova la configurazione della registrazione
• Eseguire una prova a secco dell'intero test di usabilità

La settimana dei test di usabilità

• Stampa tutti i documenti richiesti (piano di test, script, riservatezza, moduli di rilascio, ricevute di compensazione)
• Controlla la configurazione della sala prove di usabilità, inclusi alimentazione, connettività, abbagliamento, ecc.
• Condurre debriefing interni alla fine di ogni sessione e una revisione alla fine della giornata
• Identificare e documentare le tendenze al termine del test

La settimana dopo

• Documentare i risultati nel rapporto sull'usabilità
• Rivedi le registrazioni video con il team di progetto
• Identifica e crea clip video dalle registrazioni per supportare osservazioni e raccomandazioni chiave
• Relazione sui risultati

Risorse e collegamenti

Modelli di pianificazione e configurazione della registrazione

• Pianificazione di un test di usabilità
• Screener test di usabilità - Test di dispositivi mobili
• Modello di piano di test di usabilità
• Una guida per test utente mobili semplici e indolori

Liste di controllo per i test mobili

• Elenco di controllo dettagliato e altri download da Rocket Surgery Made Easy di Steve Krug
• UserTesting Liste di controllo per test di usabilità mobile (è necessaria la registrazione gratuita)

Modelli di report sull'usabilità

• Modello lungo
• Modello corto
• Esempio di rapporto di test di usabilità

Ulteriori letture su SmashingMag:

• Priorità ai dispositivi: test e web design reattivo
• Dove sono i migliori laboratori di dispositivi aperti al mondo?
• Una guida per test utente mobili semplici e indolori