La transición de Noah a las pruebas de usabilidad móvil

Noé estaba preocupado. Era el "chico de UX" para la oficina corporativa de un restaurante regional de servicio rápido (una cadena de comida rápida) que estaba en proceso de crear una aplicación móvil para permitir a los clientes personalizar sus comidas, hacer pedidos y ganar recompensas.

Había notado que las expectativas de los usuarios aumentaban y que perdonaban menos las malas experiencias móviles. Es por eso que Noah creía firmemente que era importante probar la usabilidad de la experiencia del usuario móvil dadas las expectativas más altas de los usuarios, las pantallas más pequeñas y las limitaciones de los dispositivos inalámbricos que funcionan con baterías. Pero Noah estaba preocupado porque nunca había realizado pruebas de usabilidad móvil, incluso con años de experiencia en pruebas de usabilidad tradicionales. Eso, y el hecho de que la primera ronda de pruebas estaba a solo un mes de distancia.

Rápidamente se dio cuenta de que las pruebas de usabilidad móvil tenían más similitudes que diferencias con las pruebas de usabilidad de escritorio tradicionales . Las mayores diferencias estaban en las pruebas mismas; todo lo que condujo a la prueba real y después de la prueba permaneció igual. Había muchas opciones disponibles para realizar pruebas de usabilidad, incluidas moderadas o no moderadas, remotas o en persona y combinaciones de las mismas. Si bien las pruebas remotas no moderadas le permitieron lanzar una red más amplia con muchos más participantes, no ofreció oportunidades para el sondeo contextual.

Mientras investigaba las opciones disponibles, Noah marcó servicios como UserZoom y UserTesting como posibles opciones para futuras necesidades de pruebas remotas. Su experiencia anterior le había enseñado que las pruebas presenciales moderadas proporcionaban conocimientos valiosos para el usuario que a menudo se pasaban por alto con otros métodos. Le permitiría concentrarse en ciertas características y funcionalidades con algunos participantes, así como en los conceptos de sondeo que estaban explorando, lo que lo convierte en su enfoque preferido para sus próximas rondas de pruebas.

Un mes antes de la primera prueba de usabilidad programada, comenzó a prepararse para las pruebas, comenzando con las partes que mejor conocía. Sigamos a Noah mientras hace la transición de las pruebas de usabilidad de escritorio a dispositivos móviles.

un mes antes

El equipo de diseño y desarrollo llegó lentamente a la reunión posterior al almuerzo que Noah había programado, algunos tentados por los bocados de brownie que había prometido. Aprovechó la reunión para revisar la funcionalidad y las características que se iban a probar en la primera sesión de prueba de usabilidad. Dado que actualmente se encontraban en la fase de diseño, realizarían pruebas de usabilidad utilizando un prototipo de la aplicación iOS.

El equipo acababa de completar diseños de pantalla preliminares y estaba comenzando a crear un prototipo interactivo de alta fidelidad que permitiría a los usuarios completar tareas como si fuera una aplicación o un sitio en vivo. El líder de diseño se sirvió el último (y el tercero) bocado de brownie, ya que prometió tener el prototipo de la aplicación listo una semana antes de la primera prueba de usabilidad. Noah estableció un recordatorio para esa fecha en su teléfono.

tres semanas antes

La semana siguiente, Noah comenzó el primer paso crucial de crear un plan de prueba de usabilidad que documentara el qué, por qué, cuándo, dónde, quién y cómo de la prueba de usabilidad. La experiencia anterior le había enseñado la importancia de que las partes interesadas clave y los miembros del equipo del proyecto firmaran los detalles del plan. Esto aseguró que la prueba de usabilidad probara las características y la funcionalidad correctas, con la audiencia representativa correcta en los dispositivos apropiados, y que se recopilaran y reportaran las métricas correctas. Además del plan de prueba, también preparó los demás documentos que serían necesarios para las pruebas, incluidos formularios de confidencialidad, recibo de compensación y liberación.

Noah sabía que igualmente importante para una prueba de usabilidad exitosa era encontrar a los participantes correctos, ya que una talla no sirve para todos. Como en el pasado, Noah usó personas del proyecto para identificar los perfiles de los participantes que usaría para las pruebas. Recurrió a su empresa de investigación de mercado habitual para crear un filtro para reclutar a los participantes correctos de su panel de opinión. Dado que estaban creando una aplicación para iOS, el evaluador también incluyó preguntas para asegurarse de que los participantes usaran iPhones con iOS 7 o superior, para asegurarse de que estuvieran familiarizados con las convenciones de la plataforma y el diseño plano.

Todavía necesitaba ayuda para determinar las opciones de configuración y grabación para las pruebas. Fanático de "Quién quiere ser millonario", Noah usó el equivalente de la línea de vida Ask the Audience para solicitar comentarios de algunos grupos de UX de LinkedIn sobre las opciones de configuración para las pruebas de usabilidad móvil moderadas en persona. Un gran creyente en compartir conocimientos, también prometió compilar y compartir la sabiduría colectiva con esos grupos.

dos semanas antes

Las consultas de Noah en LinkedIn y Quora comenzaron a recibir respuestas lentamente, pero muchas respuestas también provenían de otras personas que buscaban respuestas. Comenzó a recortar y recopilar enfoques útiles en Evernote cuando recibió notificaciones sobre nuevas respuestas.

Noah envió un correo electrónico a Pat, su contacto en la agencia de contratación, para obtener una actualización de estado y obtuvo una respuesta en una hora. Casi habían terminado con el reclutamiento para esta ronda, con cinco de los siete espacios ocupados que coincidían con los perfiles de personas, así como tres flotantes en caso de que no se presentaran. El equipo de Pat estaba esperando recibir confirmaciones de su panel para los dos espacios restantes. Prometió enviar los resúmenes de los perfiles de los participantes al final de la semana. Plenamente consciente de que su departamento de contabilidad era burocrático, envió una solicitud de tarjetas de regalo para compensar a los participantes por su tiempo.

Como iba a realizar pruebas de usabilidad en persona, necesitaba identificar una ubicación adecuada. Noah había realizado su parte de pruebas en laboratorios formales de usabilidad, pero no creía que fuera necesario para estas pruebas. Revisó la oficina corporativa en busca de salas que pudiera usar: una para pruebas, otra como sala de espera para los participantes y una tercera como sala de información para el equipo. Encontró una habitación tranquila sin ventanas en el medio del edificio para la prueba de usabilidad y otras dos con bonitas vistas al exterior y rápidamente las reservó para las pruebas.

Su objetivo más importante para la semana era completar la revisión del plan de prueba por parte de las partes interesadas. Había enviado el plan por correo electrónico a las partes interesadas del proyecto, incluidos marketing, TI y diseño creativo, dos días antes de su reunión habitual de los jueves por la mañana. Les había pedido que vinieran preparados con sus comentarios, específicamente sobre las tareas que se evaluarían. El equipo creativo hizo algunos ajustes para las tareas y TI no tenía ninguno, pero Chad de marketing lo había revisado con cuidado; sus comentarios incluyeron agregar algunas tareas adicionales y preguntas de seguimiento detalladas para todo, desde la marca hasta el etiquetado. Noah explicó que, de manera realista, no podían completar más de cuatro tareas principales en su prueba de una hora y trabajaron uno a uno con Chad el resto de la mañana para finalizar las tareas en el plan de prueba.

Con las tareas aprobadas, Noah centró su atención en sus opciones para grabar las sesiones de prueba de usabilidad. Tenía muchas opciones para grabar la pantalla, así como las reacciones de los participantes al usar una computadora, gracias a las cámaras web incorporadas y al software de grabación de pantalla. Sin embargo, grabar una sesión de usabilidad móvil fue complicado porque la mayoría de las formas de capturar grabaciones similares podrían ser molestas y afectar la prueba de usabilidad. Ahí es donde esperaba que su línea de vida Ask the Audience ayudaría; organizó la docena de respuestas y todas convergieron en cuatro formas de grabar una sesión de usabilidad móvil. Recordando su oferta de compilar y compartir sus hallazgos con los demás en los grupos, Noah comenzó a documentar las opciones.

Justo cuando compartió sus hallazgos en los grupos de LinkedIn, el teléfono de Noah sonó para recordarle que tenía una cita para cenar el viernes por la noche con su esposa en una hora: ¡el tiempo había pasado volando! Rápidamente puso su computadora en modo de hibernación y se dirigió a casa para pasar el fin de semana. Esta había sido una semana larga, pero fructífera.

Una semana antes

Noah había estado pensando en sus opciones durante el fin de semana y se inclinaba por la última opción: usar una aplicación como UX Recorder para grabar la prueba, sin ningún equipo adicional. De vuelta en el trabajo, el equipo del proyecto estuvo de acuerdo con su elección, pero el director de UX le pidió que la validara con un especialista en usabilidad de su reunión local de UX. Noah organizó un almuerzo de trabajo al día siguiente con la especialista, Diane, que había estado realizando pruebas de usabilidad móvil durante los últimos dos años.

Mientras trabajaba en su correo electrónico atrasado del fin de semana, vio la lista completa de perfiles de participantes de la agencia de reclutamiento. Escaneó los perfiles, confirmando mentalmente que recibió el desglose exacto del perfil de persona que estaba buscando. Sin embargo, el perfil de un participante no parecía encajar con su persona, con características como los ingresos que no coincidían con el rango esperado para esa persona. Envió un correo electrónico a Pat a la agencia para encontrar un reemplazo para ese participante.

Al día siguiente, conoció a Diane en uno de sus restaurantes, para lo que parecía ser un salvavidas de Ask An Expert . Había venido preparado con una lista de temas que quería discutir y una copia impresa de su plan de prueba, así como las opciones de configuración de grabación. Conoció a Diane por primera vez en su reunión local de UX hace más de un año: ella era un comité de bienvenida de una sola persona autoproclamado y rápidamente lo tranquilizó en el grupo de 70 o más UXers.

Mientras esperaban en la fila para hacer sus pedidos, Diane habló sobre la prueba de usabilidad que acababa de terminar, incluida la amable abuela que se mostró reacia a aceptar una compensación. Mientras esperaban sus comidas en la mesa, él explicó que planeaban realizar pruebas de usabilidad moderadas en persona utilizando un prototipo de su aplicación para iOS, y esperaba su orientación sobre su elección para grabar la prueba. Ella había usado todos esos enfoques en el pasado y después de hacerle algunas preguntas más sobre la prueba, validó su elección.

Durante la comida, le pidió sugerencias sobre cómo tener en cuenta el contexto móvil (cosas como el entorno y las circunstancias de uso que afectan la interacción entre el usuario y la interfaz). Explicó que en un entorno de laboratorio, la mejor opción era simular ese contexto. Inmediatamente recordó una de sus tareas sobre hacer un pedido de comida rápida y recogerlo, y dijo que primero indagaría sobre sus expectativas de recogida de pedidos. Luego, presentaba el concepto de cómo estaban pensando en usar geofencing para comenzar a cocinar su pedido e intentaba obtener comentarios de los participantes sobre el concepto. Ella prometió enviarle un correo electrónico con algunos consejos más antes de que terminara el día. Agradeció a Diane por su guía mientras salían del restaurante.

Hacia el final del almuerzo, su teléfono le había recordado que el equipo de diseño había prometido tener el prototipo terminado para hoy. De vuelta en la oficina, se dirigió a la sala del equipo de diseño para ver el prototipo. El líder de diseño se disculpó y explicó que habían tenido que repensar algunos de sus diseños en función de una dirección de marketing de última hora. Dijo que tenían como objetivo tenerlo todo terminado para el fin de semana. Esto fue demasiado estrecho para la comodidad de Noah, ya que normalmente realizaba un ensayo unos días antes de la prueba, lo que le daba tiempo al equipo para hacer los ajustes de última hora. Trató de dejar de pensar en eso actualizando la tarea de colocación y recogida de pedidos para simular el contexto según la sugerencia de Diane.

Mientras realizaba actualizaciones, recibió el correo electrónico de Diane con algunos consejos.

Asunto: Indicadores de pruebas móviles

Noah, como prometí durante el almuerzo, aquí hay algunos consejos para tener en cuenta al configurar y realizar sus pruebas la próxima semana.

¡Gracias por el almuerzo y todo lo mejor!

Diana

---

Dispositivos/Plataformas : si los participantes no usan sus propios dispositivos, asegúrese de que estén realizando pruebas en la plataforma (iOS, Android o Windows) con la que están familiarizados y que usan regularmente. Si van a usar sus propios dispositivos, tenga en cuenta la logística y el tiempo para instalar la aplicación, configurar cualquier acceso, etc.

Deslumbramiento : con las computadoras, puede ajustar su pantalla para adaptarse a cualquier problema de iluminación, pero el deslumbramiento se convierte en un problema con los dispositivos móviles, cuando se usa una cámara para grabar pantallas móviles (los dos primeros enfoques que había descrito) ya que los usuarios tienden a mover los dispositivos móviles para un uso más cómodo, a veces inutilizando partes de la grabación. Si alguna vez usa la configuración de la cámara de documentos (primera aproximación), use cinta de pintor para recordar a los usuarios la zona en la que debe permanecer el dispositivo móvil.

Batería/alimentación : otro problema exclusivo de los dispositivos móviles es asegurarse de que los dispositivos que se utilizan tengan suficiente energía para la prueba y que los cables de carga largos estén fácilmente disponibles. La primera vez que usé UX Recorder en un dispositivo personal para una prueba, a la mitad de la prueba tuvimos que detenernos y luchar para conseguir un cable de carga: la pantalla, la grabación de video y audio agotaron la batería más rápido de lo que jamás imaginé.

Por último, si bien no menos importante:

Notificaciones/Alertas : Desactive TODAS las alertas y notificaciones en los dispositivos de prueba. No solo interrumpe la prueba, sino que puede afectar su grabación.

Noah tomó nota de verificarlos dos veces durante la prueba, que ahora tuvo que reprogramarse para el día anterior a las pruebas reales. La próxima semana iba a ser una semana larga para él...

La semana de las pruebas de usabilidad

Brillante y temprano el lunes por la mañana, Noah trajo un Box O' Joe y donas para el equipo de diseño, que había trabajado parte del fin de semana para completar el prototipo. Pasaron la hora siguiente recorriendo colectivamente el prototipo y observando algunos cambios menores. El equipo de diseño completaría las actualizaciones antes del almuerzo, lo que le daría a Noah suficiente tiempo antes de la prueba piloto de esa tarde. Envió un correo electrónico de recordatorio a su colega, Emma, ​​que se había ofrecido como voluntaria para la prueba. Emma no había estado involucrada con la aplicación y, excepto por ser una fanática de la marca como empleada, era una participante de prueba tan buena como cabía esperar.

Comenzó sus preparativos finales para las pruebas imprimiendo los documentos requeridos, incluidas las no divulgaciones, los formularios de liberación y los recibos de compensación. También compró créditos de prueba para usar UX Recorder para grabar la prueba piloto. Siendo cauteloso, también tenía dos cámaras web listas con soportes como respaldo. Configuró las opciones de grabación en la aplicación, lanzó el prototipo a través del navegador de la aplicación y se grabó haciendo clic en una tarea. ¡Hasta aquí todo bien!

Noah y Sophie, la encargada de tomar notas asignada para las sesiones, llegaron a la sala reservada para la prueba de usabilidad 15 minutos antes de la prueba, solo para encontrar a Emma esperándolos. Cuando Noah se preparó, explicó lo que esperaban lograr en la siguiente hora. Sin embargo, no pudo mostrar el prototipo en la aplicación de grabación; rápidamente se dio cuenta de que su teléfono no tenía una señal celular o inalámbrica, probablemente debido a la ubicación de la habitación en el medio del edificio. Se disculpó y fue a probar las otras habitaciones que había reservado como salas de espera e interrogatorios.

En la primera habitación que probó, el prototipo se cargó sin demora: su teléfono tenía una fuerte señal celular y Wi-Fi. Acompañó a Emma y Sophie a la nueva habitación solo unos minutos más tarde de la hora de inicio original. Explicó las reglas básicas y el proceso antes de iniciar la grabación en la aplicación. Cuatro tareas y 70 minutos después, detuvo la grabación y agradeció a Emma por su ayuda. Mientras la aplicación exportaba la grabación de la sesión de una hora, Sophie y él discutieron la sesión, identificaron una tarea que necesitaban reformular para evitar confusiones y buscaron áreas en las que pudieran recortar algo de tiempo de las sesiones reales. Es por eso que siempre realizó al menos una prueba antes de las pruebas reales: lo ayudó a familiarizarse con las tareas como moderador, le permitió verificar que las tareas eran claras para un extraño y hacer ajustes de tiempo si era necesario.

El primer día de pruebas de usabilidad comenzó el martes por la mañana y Noah volvió a su zona de confort como moderador. Las cuatro pruebas programadas transcurrieron sin problemas, y Noah y Sophie usaron el tiempo entre las pruebas para informar y capturar los aspectos más destacados de la sesión en la pared de la pizarra. El único contratiempo fue que el teléfono recibió una llamada entrante durante la tercera sesión; le pidió al participante que lo descartara y continuara con la prueba. Aunque había desactivado todas las alertas y notificaciones como había sugerido Diane, la llamada de alguna manera se logró. Después de las cuatro pruebas programadas para el día, mientras se exportaban las grabaciones de las sesiones, comenzaron a identificar tendencias preliminares a partir de los puntos destacados de las sesiones en la pared de la pizarra. Los dos primeros se renderizaron sin problemas, pero la tercera sesión parecía estar corrupta y no se podía exportar. Afortunadamente, el último renderizado sin problemas. Envió un correo electrónico al equipo de soporte de la aplicación junto con los registros del video corrupto, preocupado de que este problema se repitiera al día siguiente.

El primer participante programado el miércoles no se presentó, por lo que realizaron la prueba con su flotador de reserva. Después de cada prueba ese día, Noah reinició el iPhone con la esperanza de evitar cualquier otra grabación corrupta, ya que no había recibido respuesta del equipo de soporte de la aplicación. Dio un suspiro de alivio cuando las tres grabaciones del día se reprodujeron sin problemas técnicos. Sophie y él pasaron el resto de la tarde revisando todas sus notas y recuerdos, y continuando con su análisis de tendencias. Mirando hacia atrás en las pruebas, también notó que ninguno de los participantes tuvo problemas con el contexto móvil simulado a pesar de que no pudieron probarlo en el mundo real.

Noah terminó la semana con una reunión informativa con el equipo del proyecto para compartir los hallazgos clave y se ofreció a organizar sesiones adicionales la semana siguiente.

La semana siguiente

Durante el fin de semana, el equipo de soporte de la aplicación de grabación móvil le envió un correo electrónico a Noah, admitiendo que no podían averiguar por qué el tercer video estaba corrupto, pero le enviaron instrucciones paso a paso para ubicar y compartir los videos sin procesar del iPhone. No sintiéndose muy esperanzado, comprimió, cargó y compartió el archivo de 2 Gb con ellos.

Como estaban haciendo un buen progreso en el informe final de la prueba de usabilidad, Noah programó un informe con las partes interesadas clave del proyecto y el equipo del proyecto para el viernes por la tarde. Noah y Sophie pasaron el resto de la semana analizando los datos, actualizando las tendencias y documentando los hallazgos clave junto con la gravedad y las recomendaciones de mejora. Aunque había muchas plantillas y formatos para informar los hallazgos, a Noah le gustaba usar un formato de PowerPoint que había modificado a lo largo de los años, lo que permitía mostrar y contar visualmente. Él era un gran creyente en el poder de los videoclips cortos (o un montaje) de usuarios que luchan con una función determinada para crear un momento "A-ha" para aquellos que no formaron parte de la prueba. Sophie recortó los videoclips para respaldar contextualmente algunas observaciones y recomendaciones clave.

Todos los días durante el almuerzo de esa semana, Noah dirigió una sesión de revisión de video con el equipo del proyecto, revisando la grabación de video de un participante diferente cada día. Esto no solo ayudó al equipo a ser testigo de primera mano de cómo los usuarios interactuaban con su prototipo de aplicación y dónde tropezaban, sino que también reveló algunas observaciones e ideas que Noah y Sophie no habían captado.

La sesión del informe final del viernes por la tarde contó con la asistencia de todas las partes interesadas clave. Noah presentó los hallazgos de alto nivel y Sophie entró en detalles. Respondieron un par de preguntas sobre observaciones y recomendaciones que eran diferentes de lo que el comité directivo había previsto originalmente para la aplicación. Como Noah había visto una y otra vez, los videoclips de apoyo fueron suficientes para que las partes interesadas se sentaran y tomaran nota e iniciaran conversaciones sobre cómo cambiar su rumbo.

Mientras se dirigía a casa para el fin de semana, Noah reflexionó sobre las últimas seis semanas y su primera prueba de usabilidad móvil: sus preocupaciones al principio habían sido exageradas. Su transición a las pruebas de usabilidad móvil había sido relativamente fácil, ya que tenía experiencia previa con las pruebas de usabilidad de escritorio tradicionales. La configuración fue la mayor diferencia entre los dos, y hubo algunos matices relacionados con los dispositivos móviles de los que tuvo que ocuparse, pero no fue como aprender una habilidad completamente nueva.

Durante los meses que siguieron, las pruebas de usabilidad en curso de Noah ayudaron al equipo del proyecto a ajustar la aplicación a medida que avanzaba de un prototipo a un producto completamente funcional. Para el lanzamiento y todos los lanzamientos importantes posteriores, la aplicación recibió una mayoría de reseñas de 4 y 5 estrellas.

TL; DR: Cronología de actividades

Un mes antes

• Trabaje con el equipo de diseño para identificar qué se puede construir para las pruebas y asegúrese de que esté listo unos días antes de la primera prueba.

tres semanas antes

• Identifique los perfiles de los participantes de la prueba de usabilidad en función de las personas
• Crear filtro de reclutamiento
• Seleccionar y reclutar participantes

dos semanas antes

• Revisar el plan de prueba de usabilidad con las partes interesadas y finalizar las tareas
• Identificar y reservar las salas requeridas para las pruebas.
• Finalizar y programar participantes y participantes flotantes en espera
• Organizar incentivos para los participantes

Una semana antes

• Recorra las tareas utilizando el prototipo o la aplicación que se probará
• Configuración de grabación de prueba
• Realice un ensayo de toda la prueba de usabilidad

La semana de las pruebas de usabilidad

• Imprima todos los documentos requeridos (plan de prueba, guiones, no divulgaciones, formularios de liberación, recibos de compensación)
• Compruebe la configuración de la sala de pruebas de usabilidad, incluida la alimentación, la conectividad, el deslumbramiento, etc.
• Realizar informes internos al final de cada sesión y una revisión al final del día.
• Identifique y documente las tendencias una vez finalizadas las pruebas

La semana siguiente

• Documente los hallazgos en el informe de usabilidad
• Revise las grabaciones de video con el equipo del proyecto
• Identifique y cree videoclips a partir de grabaciones para respaldar observaciones y recomendaciones clave
• Informe sobre los hallazgos

Recursos y enlaces

Plantillas de planificación y configuración de grabación

• Planificación de una prueba de usabilidad
• Examinador de pruebas de usabilidad - Pruebas de dispositivos móviles
• Plantilla de plan de prueba de usabilidad
• Una guía para la prueba de usuario móvil simple e indolora

Listas de verificación de pruebas móviles

• Lista de verificación detallada y otras descargas de Rocket Surgery Made Easy de Steve Krug
• Listas de verificación de pruebas de usabilidad móvil de UserTesting (se necesita registro gratuito)

Plantillas de informes de usabilidad

• Plantilla larga
• Plantilla corta
• Ejemplo de informe de prueba de usabilidad

Lectura adicional en SmashingMag:

• Priorización de dispositivos: pruebas y diseño web receptivo
• ¿Dónde están los mejores laboratorios de dispositivos abiertos del mundo?
• Una guía para la prueba de usuario móvil simple e indolora