Comparar versiones: descubra si el cambio mejoró la experiencia

Una nueva versión puede parecer más clara para el equipo y aun así introducir dificultades para el público. Comparar rondas de investigación ayuda a examinar el efecto del cambio, siempre que las condiciones sean visibles. Si el público, la tarea y el material cambian al mismo tiempo, resulta difícil explicar el resultado.

Comience registrando lo que se modificó y qué comportamiento espera mejorar. “La nueva versión será mejor” no ofrece un criterio de evaluación. “La entrada de la tarea será más fácil de encontrar” permite preparar una comparación específica.

Diferencie la comparación de versiones y el experimento

En UXTap, las versiones publicadas y los segmentos permiten examinar los resultados lado a lado. Esta característica organiza la lectura, pero no garantiza una distribución aleatoria entre versiones ni elimina las diferencias de reclutamiento.

Documente cómo cada grupo llegó al estudio. Cuando la recopilación ocurre en períodos diferentes, considere los cambios en el producto, la familiaridad y el origen de los participantes.

Elija la métrica principal antes de mirar los números

Imagine una aplicación ficticia en la que los clientes cambian la dirección de entrega. El equipo movió la acción a los detalles del pedido.

El criterio principal puede ser completar el cambio. El tiempo, el camino y los comentarios ayudan a explicar la experiencia, pero no necesitan tener el mismo peso en la decisión.

Defina también lo que representa una diferencia útil. Un cambio pequeño en una medida puede no justificar un cambio amplio en el producto, incluso cuando hay evidencia estadística disponible.

Cómo comparar versiones sin mezclar condiciones

Use el mismo escenario y datos equivalentes. No facilite el enunciado de la nueva versión ni proporcione instrucciones adicionales a un grupo.

Si las mismas personas experimentan ambas propuestas, considere el aprendizaje. El primer intento puede enseñar dónde buscar o aclarar una regla de negocio. Planifique el orden y registre esta condición.

Cuando el objetivo es evaluar el descubrimiento inicial, los participantes sin exposición previa suelen ofrecer una condición más alineada con la pregunta. La composición aún debe planificarse según el estudio.

Lea la base, la distribución y los segmentos

En UXTap, la comparación puede mostrar diferencias en métricas por bloque y pruebas estadísticas donde hay evidencia compatible. No todas las medidas reciben el mismo análisis automático.

Verifique el número de respuestas de cada grupo y qué sesiones entran en las distribuciones. El tratamiento de los parciales debe ser consistente entre las versiones.

Investigue segmentos relevantes, como dispositivo o experiencia. Evite buscar decenas de recortes hasta encontrar una diferencia favorable. Si surge una hipótesis durante el análisis, regístrela como exploratoria y planifique su verificación.

Un resultado numérico necesita explicación

En un ejemplo hipotético, el éxito pasa de 12 de 20 intentos a 15 de 20. La diferencia observada es de 15 puntos porcentuales, pero estos números por sí solos no demuestran que el cambio causó la mejora.

Consulte los intentos fallidos. Quizás la nueva entrada ayudó a localizar la acción, mientras que un paso posterior sigue siendo confuso. La recomendación puede ser mantener la ubicación y revisar la confirmación.

También examine posibles pérdidas. Un cambio que ayuda a los nuevos usuarios puede dificultar una rutina frecuente de otro grupo.

Escriba un protocolo corto antes de la nueva ronda

Retome la alteración de dirección de la aplicación ficticia. Registre la hipótesis: colocar la acción en los detalles del pedido debe facilitar su descubrimiento en el contexto de una entrega. La medida principal puede ser completar la alteración correcta. La primera elección, los retornos y la interpretación de la confirmación entran como evidencias para explicar el resultado.

Defina lo que permanecerá igual: escenario, dirección ficticia, estado del pedido, dispositivo previsto y criterios de reclutamiento. Liste por separado lo que cambió en la interfaz. Si la nueva versión también tiene información más completa o un flujo acortado, la comparación evalúa ese conjunto; no será posible atribuir toda la diferencia a la posición del botón.

Decida de antemano qué sesiones se considerarán válidas. Un fallo de carga puede requerir un tratamiento diferente al de una persona que intentó y se rindió. No excluya intentos difíciles solo de una versión. La regla debe aplicarse de manera consistente y permanecer disponible para quien revise el resultado.

Elija entre participantes diferentes y repetición con las mismas personas

Personas diferentes evitan que el primer intento enseñe directamente al segundo, pero los grupos pueden tener experiencias distintas. Compare su composición y registre el reclutamiento. Un grupo formado por clientes frecuentes no equivale automáticamente a otro compuesto por personas que nunca usaron el producto.

Repetir con las mismas personas permite observar cambios individuales, pero trae aprendizaje y memoria. Alguien puede encontrar la acción más rápidamente porque ya conoce la tarea. Si este diseño es adecuado, planifique el orden y reconozca este límite; no presente el segundo intento como un descubrimiento inicial independiente.

Una comparación entre rondas también está sujeta a diferencias de período. Campañas, cambios de público y acontecimientos externos pueden influir en el uso. El panel organiza los resultados disponibles, pero el diseño de la investigación sigue siendo responsabilidad del equipo. Mantenga esta distinción en el informe.

Separe el tamaño de la diferencia y la fuerza de la conclusión

En el ejemplo ficticio de 12 éxitos en 20 intentos contra 15 en 20, la diferencia observada es de 15 puntos porcentuales. La siguiente pregunta es cuánta incertidumbre existe y qué otros cambios pueden explicar el resultado. Presentar solo una flecha de crecimiento esconde estas cuestiones.

Cuando haya análisis estadístico compatible, léalo junto al tamaño de las bases y al diseño del estudio. Una indicación de diferencia no corrige grupos reclutados de forma incompatible. La ausencia de indicación tampoco prueba que las versiones sean idénticas; el estudio puede no permitir una conclusión suficientemente precisa.

Discuta también la relevancia práctica. Una alteración puede ayudar al descubrimiento y empeorar la comprensión de quien recibirá el pedido. Otra puede reducir el tiempo solo entre quienes lograron concluir, mientras más personas desisten. Defina qué efectos importan para la decisión y evite elegir solo la medida favorable. La lectura conjunta de SUS y tareas puede añadir percepción de usabilidad cuando el instrumento sea adecuado.

Decida y preserve el razonamiento

Escriba lo que la comparación permite afirmar, qué dudas permanecen y qué acción se tomará. Si la evidencia es inconclusiva, registre el motivo y el próximo diseño necesario.

Para empezar, elija un cambio pequeño y una tarea importante en UXTap. Defina el criterio principal, preserve condiciones comparables y planifique el análisis antes de la recopilación. Luego, combine los números con sesiones y relatos para decidir qué mantener, revisar o investigar nuevamente.

Al concluir la comparación, prepare un informe ejecutivo de UX y consulte los recursos de resultados para presentar diferencias junto a las evidencias.

Preguntas frecuentes sobre la comparación de versiones

¿Comparar dos investigaciones equivale a una prueba A/B?

No necesariamente. Un experimento exige diseño y control de las condiciones, incluyendo cómo las personas llegan a las alternativas. Poner resultados lado a lado permite comparar lo observado, pero no crea retroactivamente una distribución aleatoria ni elimina diferencias de público y contexto.

¿Puedo comparar una tarea cuyo texto fue alterado?

Puede analizar ambas rondas, pero registre que el instrumento cambió. Una instrucción más clara o más específica puede alterar la dificultad independientemente de la interfaz. Si el cambio de texto es relevante, evite tratar los resultados como medidas directamente equivalentes del mismo problema.

¿Qué hacer cuando ninguna versión gana claramente?

Describa lo que el estudio permite afirmar y lo que sigue siendo incierto. Use las sesiones para localizar ventajas y limitaciones concretas y considere el costo de implementación, el riesgo y la reversibilidad de la decisión. Otra ronda puede ser necesaria, pero debe resolver una duda específica, no solo repetir la disputa hasta que aparezca un número favorable.

Cree su cuenta en UXTap para preparar su primer estudio.