Una guía completa para las pruebas A/B

Ser orientado a los datos no se trata de sobresalir en Python, ser un experto en Excel o ser experto en consultas SQL. Se trata de hacer las preguntas correctas para obtener una respuesta relevante, veraz y medible. Creo que la parte más complicada de la última oración es la palabra “verdadero”.

¿Has oído alguna vez el chiste de que las estadísticas son la mayor mentira? Lo menciono porque los números no son solo números, y su origen y características son importantes al presentar cualquier resultado. ¿Y si existiera una manera de obtener esos resultados verdaderos y medibles de forma fiable?

Hay una solución universal: ¡las pruebas A/B! ¿Qué son? ¿Y cómo puedes garantizar resultados realmente fiables? ¡No te pierdas el artículo de hoy!

¿Qué son las pruebas A/B?

Las pruebas A/B, también conocidas como pruebas divididas , son un método de análisis comparativo en el que se comparan dos versiones de un cambio de producto (A y B) para determinar cuál funciona mejor con una métrica específica. Claro que se pueden probar con más variantes y analizar diferentes métricas, pero las pruebas A/B/C/…/Z no son tan fáciles de aprender.

Para decirlo de una manera más simple, pero abstracta, las pruebas A/B se pueden comparar fácilmente con observar eventos en dos (¡o más!) dimensiones paralelas y luego poder elegir vivir en la que más te guste.

La mayor ventaja sobre otras formas de prueba es la confianza en los resultados por defecto. La audiencia y las condiciones de la prueba son las mismas; el único cambio real en el producto es el introducido. Por lo tanto, si alguna métrica cambia en alguno de los grupos de prueba, se puede atribuir únicamente al cambio. Hay algunas excepciones, pero ya hablaré de ellas.

Proceso de prueba A/B

Ahora, veamos un esquema básico del proceso de realización de una prueba A/B:

1. Formula tu hipótesis

Como en cualquier aspecto de la gestión de productos, es necesario partir de un problema que resolver. Una vez que se sabe qué se quiere abordar, se puede decidir la solución que se someterá a pruebas A/B.

Un ejemplo sería: “Cambiar la cadena de un botón aumentará el número de usuarios registrados”.

2. Elija la(s) métrica(s) a observar

Cada objetivo que establezcas como gerente de proyecto debe ser medible y estar representado por una métrica. Por lo tanto, con tus pruebas A/B, debes seleccionar un KPI que determine qué variante de prueba es la ganadora. También es importante conocer la tasa de error de medición típica de la métrica elegida.

En mi carrera, suelo buscar un cambio de al menos el 5 % para asegurarme de que el cambio haya tenido un impacto significativo. Sin embargo, también puedes usar una calculadora especializada , pero eso se explicará más detalladamente en la parte del análisis de datos, después del examen.

Dicho esto, el software de análisis de datos puede conllevar un error de medición inherente que debe tener en cuenta al establecer los objetivos de sus pruebas. Su analista de negocios o de datos debería poder ayudarle con esto.

3. Decide el número de variantes y la audiencia

Esto puede ser complicado. La recomendación general es tener un único grupo de referencia (A – sin cambios) frente a una única variante. Sin embargo, si cuenta con más soluciones potenciales y un grupo de usuarios lo suficientemente grande, además de los recursos de desarrollo necesarios para crear más variantes, nada lo detendrá.

Puede usar una calculadora específica para determinar el tamaño mínimo de la muestra. Sin embargo, si debe realizar una prueba arriesgada o muy preocupante, puede optar por reducir el grupo de prueba para limitar la posibilidad de una recaída en caso de una prueba fallida.

4. Elija la duración de la prueba

Esto dependerá de la cantidad de usuarios que tenga y del tamaño mínimo de muestra que necesite alcanzar. Probablemente necesite una o dos semanas para los productos más grandes, pero podría necesitar mucho más tiempo si su grupo de usuarios de prueba necesita ese tiempo para alcanzar esa cantidad mínima.

5. Prepare el panel de pruebas

Según las métricas de prueba seleccionadas, tenga listo un panel para supervisar los resultados desde el primer día de la prueba. También sería útil comprobar si los datos fluyen hacia el panel creado. No hay nada más decepcionante que ejecutar una prueba A/B y no ver que los datos fluyen.

6. Ejecutar la prueba

Pulsa “Ir” en tu prueba una vez que el código esté activo y ¡mira cómo sucede la magia!

7. Elige al vencedor

Cuando tenga suficientes datos para determinar la variante ganadora, podrá completar la prueba y decidir qué hacer a continuación. Ya sea que tenga una clara victoria, que todas las variantes tengan un rendimiento similar o que necesite más trabajo para determinar las siguientes acciones, usted decide con base en los datos disponibles.

8. Ordenar limpieza

Una vez que haya terminado, asegúrese de eliminar las pruebas y el código relacionado con las variantes perdidas. Cuanto más código inactivo de pruebas anteriores quede en el producto, más difícil será para los desarrolladores mantenerlo.

Ejemplos de pruebas A/B

Uno de mis ejemplos favoritos de pruebas A/B es el famoso Desafío Pepsi. Se trataba de una cata a ciegas en la vida real en la que se pedía a los participantes que probaran dos refrescos de cola sin etiquetar y decidieran cuál preferían. A pesar de ser Coca-Cola líder del mercado, muchos participantes eligieron Pepsi, lo que dio lugar a una importante campaña de marketing de Pepsi para destacar estos resultados.

Este experimento jugó un papel fundamental en la Guerra de las Cola y es un excelente ejemplo de prueba A/B en acción.

Otro gran ejemplo es cuando YouTube habilitó una función de pruebas A/B. Esta función permitió a los creadores probar diferentes aspectos de sus videos, incluyendo las miniaturas. Con esto, el YouTuber más popular de la plataforma determinó que si no hablaba de sus miniaturas, ¡la gente vería más videos!

Si bien esta es una conexión poco probable, MrBeast tiene millones de suscriptores y estoy bastante seguro de que vio tanta aceptación en su métrica de tiempo de visualización que los resultados fueron confiables y concluyentes:

Mejores prácticas para las pruebas A/B

Como mencioné, las pruebas A/B son una herramienta fácil de implementar con resultados concluyentes. Sin embargo, para sacar el máximo provecho de sus pruebas, tenga en cuenta las siguientes sugerencias.

• Maximiza el tamaño de la muestra : si no detectas ningún riesgo claro en tu prueba, realiza pruebas A/B con toda tu base de usuarios. Cuantas más personas participen en la prueba, más fiables serán los resultados.
• Monitorear todas las métricas clave del producto : mientras se determinan las variables que determinan al ganador desde el principio, es mejor mantener una visión general del impacto del cambio en el producto. De esta manera, se pueden detectar beneficios y desventajas que no se previeron.
• Evite sesgos : asegúrese de que los grupos de prueba sean aleatorios. No querrá que estén llenos de grupos específicos de usuarios. Puede excluir a los “usuarios avanzados” del análisis de sus pruebas para asegurarse de que su participación intensa no contamine los resultados.
• Mantenga las condiciones iguales entre los grupos de prueba : haga todo lo posible por evitar cualquier factor adicional que diferencie al grupo de prueba. Cualquier otro cambio, como campañas de marketing, debe aplicarse a ambos grupos durante la prueba.
• Documenta todo : lo mejor es crear un documento específico sobre tu prueba A/B para registrar todo el proceso del experimento. Esto ayudará a tus compañeros a comprender qué está sucediendo y facilitará enormemente la creación de futuras presentaciones.

Errores comunes en las pruebas A/B

Las pruebas A/B tienen sus mejores prácticas , pero su eficacia depende de quienes las implementan. Por ello, aquí hay algunos errores que conviene evitar.

Conclusiones prematuras

No cierre la prueba después de 2 o 3 días, cuando crea tener los resultados. Permita que se reciban más datos, por ejemplo, del fin de semana, para garantizar que los resultados que observa al principio sean correctos y relevantes.

Sobregeneralización de los resultados

Los resultados de las pruebas A/B solo deben aplicarse a una prueba A/B real. Al realizar pruebas A/B de las mismas actualizaciones de producto en Android e iOS, era habitual ver resultados diferentes en ambas plataformas. La base de usuarios de iOS es bastante diferente a la de Android, y realizar una sola prueba en una de ellas nunca era suficiente.

Mala configuración de usuario/duración

Tanto los tamaños de muestra demasiado pequeños como los demasiado grandes pueden ser problemáticos. Un tamaño de muestra pequeño puede no proporcionar información fiable, mientras que realizar una prueba para una cohorte grande durante demasiado tiempo será simplemente una pérdida de tiempo. ¡Tiempo que podría dedicar a otra prueba!

Ignorando la significación estadística

A menos que su prueba A/B alcance significancia estadística, los resultados serán completamente aleatorios y poco fiables. Solo al alcanzar este nivel, podrá considerar los resultados de la prueba como procesables.

Selección cuidadosa de resultados

Como se menciona en la sección de mejores prácticas, es necesario monitorear un conjunto de métricas, independientemente de cuáles sean los criterios de éxito reales. Si solo se presentan los cambios favorables sin comprender ni revelar las posibles desventajas, no se beneficiará ni a los usuarios ni al producto. Fallar en una prueba A/B no es motivo de vergüenza.

Demasiadas pruebas al mismo tiempo

Si se realizan diferentes pruebas A/B simultáneamente, pueden influirse entre sí y, por lo tanto, generar contaminación mutua. Solo si las diferentes pruebas se realizan en áreas distintas y muy alejadas del producto, se pueden considerar las pruebas paralelas.

No se pudieron segmentar los datos

Considere segmentar sus resultados para comprender cómo los distintos grupos de usuarios pueden comportarse de forma diferente. Esto puede ser muy útil si sus usuarios se comportan de forma distinta en distintos países. Una prueba A/B con todos los países mezclados podría no ofrecer resultados fiables.

No tener en cuenta los factores externos

A veces, eventos externos a la prueba, como festividades o campañas de marketing, pueden influir en los resultados. Es importante tener en cuenta estos factores al analizar los datos. El caso más común es un error del producto que afecta solo a uno de los grupos de prueba.

Pasando por alto el efecto novedad

A veces, los usuarios pueden responder positivamente a un cambio simplemente porque es nuevo, y su impacto puede volverse irrelevante con el tiempo. Una buena idea en este caso es analizar cohortes de usuarios nuevos y existentes y comprobar si el impacto positivo de la prueba es similar en ambos. Si existe inconsistencia entre ambos, podría tratarse de un efecto de novedad.

Conclusiones clave

Las pruebas A/B son la forma más fiable y eficaz de recopilar datos para comprobar la hipótesis de tu producto. Sin embargo, ten en cuenta que no son gratuitas en cuanto al tiempo de desarrollo, por lo que te recomiendo usar el sentido común al realizar este tipo de experimentos.

Algunas actualizaciones no lo requieren y tú decides. Dicho esto, saber cuándo no realizar una prueba A/B es algo que se tratará en otro artículo. Si te gustó este artículo, ¡no olvides volver para leer más! Gracias.

Fuente de la imagen destacada: IconScout

Si quieres conocer otros artículos parecidos a Una guía completa para las pruebas A/B puedes visitar la categoría Guias.