Diseño de los Test A/B y su calidad

De Adrián Coutin

Independientemente de poseer un software que nos permite de forma sencilla realizar test A/B o multivariante sus resultados tendrán una estrecha relación con la calidad con la que hemos diseñado experimentos de este tipo; no obstante nada nos debe parar a la hora de experimentar como recomienda aqui el gran Avinash Experiment or Die. Five Reasons And Awesome Testing Ideas

Los diseños de experimentos son modelos estadísticos clásicos cuyo objetivo es averiguar si unos determinados factores influyen en la variable de interés y si existe influencia de algún factor cuantificarla.

Lo ideal de un experimento es aplicarlo en un ambiente cerrado, un laboratorio, donde controlamos el número de participantes, las condiciones en que serán sometido al experimento, etc.

Cuando aplicamos un test A/B en un sitio web en funcionamiento buscando conocer la versión de una página web que convierte mejor que otra, estamos expuestos a un conjunto de variables que pueden distorsionar los resultados finales del experimento.

Y el tamaño de la muestra decide en mucho los resultados.

Un ejemplo sencillo:

Un sitio Web de ventas de salchichas con un promedio de visitas de 200 personas diarias, aplicamos un test A/B buscando optimizar la conversión. Varios diseños de determinada página se van a valorar.

Una noticia favorable al consumo de salchichas surge en los días que estamos aplicando el test A/B. Se disparan las búsquedas informativas sobre salchichas por palabras claves donde determinados contenidos de la Web están posicionados pero habitualmente no generan tráfico.

El tráfico llega a 1000 visitas diarias pero una inmensa mayoría de este tráfico busca información, no comprar salchichas. ¿Resultado del experimento? Totalmente alterado.

¿Qué podemos hacer para evitar esto?

• Diseñar test A/B con un número elevado de visitas. Para sitios Web con pequeño tráfico no funcionan bien. Puedes usar Google Analytics para despejarte dudas de conversión, navegación en el contenido, etc. sin necesidad de trabajar en un diseño de test más complejo.
• Controlar y planificar el tráfico del sitio, sobre todo los que entran a las páginas que estas evaluando.
• Si detectas un incremento de tráfico por palabras clave que no convierten SUSPENDE el experimento.
• Si tienes campañas CPC debes mantener el tráfico estable, es decir, mientras dure el test A/B mantener los niveles de tráfico desde ese canal. Nada de campañas nuevas.

Estas son algunas ideas sobre los test A/B. Es sencillo de instalar el software pero debes tener en cuenta que es un experimento y debes conocer y cumplir sus reglas.