Método 07 · Fretello · 2019
Benchmarking con SUM
Dos prototipos, un número. Cómo dejamos de discutir sobre capturas de pantalla.
Los dos prototipos. The Path a la izquierda, The Birdseye a la derecha.
- SUM de «The Path», con un margen de error del 11%
- 91,5%
- Ronda tres
- SUM en cada tarea principal del diseño combinado
- > 75%
- En producción
- retención de la primera semana
- +35%
- Tras el lanzamiento
- conversión trial-to-paid
- +20%
- Tras el lanzamiento
En breve
Álvaro Velasco comparó los conceptos The Path y The Birdseye del Learn Path de Fretello en 2019 usando SUM, la métrica única de usabilidad. Finalización, tiempo en tarea y satisfacción sobre tareas compartidas se estandarizaron en una puntuación por variante. The Path obtuvo un 91,5%, con un margen de error del 11%. El diseño combinado que se lanzó subió la retención de la primera semana un 35% y la conversión trial-to-paid un 20%.
01 · El método
Tres medidas, un número comparable.
Para cada variante, realiza un test de usabilidad con el mismo guion de tareas. Recoge finalización, tiempo en tarea y satisfacción, estandarízalos por tarea y promédialos en una puntuación por variante: la métrica única de usabilidad.
No necesita feature flag, ni cohorte de rollout, ni tráfico de producción. Bastan unos prototipos clicables y un cronómetro.
El workshop del Learn Path descrito en el caso de estudio de Fretello produjo los dos prototipos en ProtoPie: el mismo contenido, con modelos mentales distintos.
Cómo se agregan los números brutos. Estandariza dentro de cada tarea, promedia entre tareas, acaba con un solo número por variante.
Variante A
The Path
Una escalera guiada a través del contenido. Ganó de media: SUM del 91,5%, con un margen de error del 11%.
Variante B
The Birdseye
Un catálogo con el progreso superpuesto. Perdió de media, pero ganó en tareas concretas, como buscar un curso destacado.
El test
Análisis de usabilidad
Escribimos un guion de tareas que mapeaba a los requisitos: completar un módulo, navegar al siguiente módulo, encontrar un curso destacado, retomar donde lo dejaste, saltar a una lección concreta. Tres rondas de testing en dos sprints. Cada tarea capturaba finalización, tiempo en tarea y satisfacción autorreportada; estandarizamos las puntuaciones brutas y las promediamos en un SUM por variante.
Puntuaciones SUM por tarea. The Path gana de media; The Birdseye gana en unas pocas tareas que la sostienen.
02 · La decisión
No elijas uno. Pregunta qué hace bien cada uno.
Un tercer prototipo tomó la columna vertebral de The Path y añadió el catálogo de The Birdseye. Superó el 75% en cada tarea principal y lo llevamos a producción. La retención de la primera semana subió un 35% y la conversión trial-to-paid un 20%.
Diseño combinado: por encima del 75% en cada tarea, más la pantalla Learn lanzada con Path y Courses como rutas paralelas.
Responsabilidad
Del plan de test al diseño combinado.
Senior Product Designer. El equipo de UX de Fretello trabajó con ingeniería para construir el MVP. Me encargué del plan de test, los prototipos en ProtoPie, los guiones de tareas, el análisis de datos y la decisión sobre el diseño combinado.
La lección
Cuando dos prototipos puntúan bien, la respuesta rara vez es elegir uno.
Es entender qué hace bien cada uno y si la gente puede tener ambos sin confusión.
Encaja limpiamente con el diseño orientado a hipótesis. Tu hipótesis nombra lo que esperas que sea cierto; SUM te dice si lo era. Las métricas que mides (finalización, tiempo, satisfacción) tienen la misma forma que la línea “Sabremos que esto es cierto cuando…”.