Un fundador me abrió su panel de experimentación el mes pasado, orgulloso de ello. Cuarenta y una pruebas en ejecución. Le pedí que nombrara tres que habían cambiado una decisión real en el último trimestre. Se quedó en silencio, se desplazó un rato y aterrizó en uno. Tal vez.
No es descuidado. Es apenas temprano para un problema que se avecina para todos los equipos en crecimiento. La parte difícil de realizar un experimento solía ser construirlo. Informó a un diseñador, esperó las variantes de los anuncios, conectó el seguimiento y creó la página. Una semana de trabajo para realizar una prueba en vivo, con tal vez una hora de pensamiento real detrás. La semana de construcción ya pasó. Puede realizar 40 pruebas en el tiempo que antes tardaba una, y así lo hace, y casi ninguna le enseña nada.
El volumen nunca fue lo que frenó a los equipos. Lo que los detuvo fue obtener un resultado real a partir de ruido aleatorio y encontrar el valor para matar a los perdedores antes de que agotaran el presupuesto. La IA resolvió el problema barato y dejó el caro exactamente donde estaba. Luego les dio a todos una manera más rápida de equivocarse.
Así que aquí está la regla que importa ahora. El marco que desea es el que se vuelve más difícil de aprobar a medida que las pruebas se vuelven más fáciles de ejecutar.
Lo que se volvió más barato
La asimetría sobre la que escribí en la formación de equipos atraviesa directamente el proceso de experimentación. Hoy en día, crear variantes cuesta casi nada. Escribir una hipótesis que valga la pena probar cuesta lo que siempre costó. Un modelo dimensionará su prueba en segundos y redactará la lectura semanal en un minuto, y todavía no puede decirle si debe creer en esa lectura. Para eso se necesita una persona que haya sido quemada por suficientes curvas bonitas como para desconfiar de la siguiente.
Apunte la IA al trabajo de producción y mantenga la cabeza despejada sobre la hipótesis, el diseño y la decisión final, y todo se complica. Apunte a todo ello y habrá construido una máquina para enviar ruido más rápido de lo que puede captarlo.
Comience con menos apuestas
Mi primer paso con un nuevo equipo es reducir la acumulación de pruebas, no alimentarla. Pídale ideas a un modelo y con gusto le entregará 200. Una lista de 200 ideas sin clasificar no es una estrategia. Es una forma de sentirse ocupado mientras las apuestas importantes esperan su turno. El trabajo es elegir los cinco que cuentan este trimestre y decir no a los otros 195 en voz alta, donde el equipo pueda escucharlo.
Clasificamos cada idea según tres preguntas:
- ¿Qué tan grande será la ganancia si aterriza?
- ¿Qué tan seguros vamos a entrar?
- ¿Cuánto costará ejecutarlo?
Las ideas baratas, de alta confianza y con grandes ventajas pasan al frente. El que un fundador vio en LinkedIn durante el desayuno espera en la fila como todo lo demás, a menos que supere el mismo listón. La hoja de puntuación no es la disciplina. La disciplina está acabando con una idea que suena bien antes de que se consuma en tres semanas.
Un cliente quería interrumpir todo su flujo de incorporación por instinto. Obtuvo una puntuación baja en confianza y peor en costo, por lo que realizamos una prueba de tres pantallas con el flujo que ya tenía. Su instinto estaba equivocado. La prueba barata recuperó una cuarta parte del tiempo de ingeniería que estaba a punto de prender fuego.
Un modelo puede escribir las ideas e incluso esbozar las partituras. No puede decirle qué apuesta su empresa puede permitirse equivocarse. Esa llamada es tuya.
Cree la prueba para que la respuesta cuente
La mayoría de los experimentos que “fallan” nunca tuvieron la oportunidad de tener éxito, porque no fueron diseñados para responder nada. Una prueba limpia mueve una variable contra un control real, se ejecuta a un tamaño de muestra que usted fijó antes de comenzar y mantiene una barrera sobre el número que se niega a dañar. Cambie el titular, el diseño y la audiencia a la vez, y un ascensor simplemente se encoge de hombros. Nunca sabrás qué movimiento funcionó. Lea el resultado el segundo día porque la línea está subiendo y usted ha convertido el ruido en estrategia.
Aquí es donde la IA ayuda, de forma estrecha y real. Me apoyo en él para calcular cuánto tiempo debe ejecutarse una prueba antes de que pueda decir algo, para simular el resultado antes de gastar un dólar y para detectar la confusión obvia que me pierdo a las seis de la mañana. Lo único que nunca dejo que haga es elegir la métrica. Entregue el objetivo a un modelo y obtendrá una magnífica ganancia en un número por el que nadie paga, mientras que el número que mantiene las luces encendidas se desliza silenciosamente hacia el otro lado. La regla del ser humano involucrado que todo el mundo repite sobre el contenido de IA es igualmente estricta para el diseño de pruebas.
Ejecute la máquina, no el juicio
Aquí es donde la IA se gana su lugar. La construcción, las permutaciones variantes, el control de calidad, el cambio de tamaño, el formato de la plataforma, el primer borrador de la lectura: entréguelo todo a las herramientas. Meta Advantage+ y Google Performance Max generan creatividades y ofertas. GrowthBook y Statsig ejecutan las estadísticas y mantienen honestos a sus grupos de prueba. Google Analytics 4 con Mixpanel o Heap contiene los datos del evento. Un modelo puede convertir los resultados brutos en un lenguaje sencillo, por lo que su analista pasa la hora leyéndolos en lugar de formatear las diapositivas. Coloqué la pila más completa en otro lugar y no la repetiré aquí.
Lo que nunca abandona a un humano: la hipótesis, la definición métrica, el juicio sobre si un resultado es real y el llamado a escalarlo o enterrarlo. Entrega la mano de obra. Mantenga el juicio. La mayor parte de este marco vive en esa única línea.
Una cadencia en la que puedes confiar
Ir rápido y sin ritmo sólo te llevará antes al accidente. Realizamos una lectura por semana. Cada prueba en vivo sale de esa sala con un único veredicto: escalar, eliminar o iterar. No se puede “darle unos días más” a menos que la prueba honestamente no haya alcanzado el tamaño de muestra que establecimos. Y cada veredicto va en un registro, junto a la hipótesis que probó y lo que concluimos.
Ese registro hace el trabajo silencioso y poco glamoroso que mantiene honesto a todo el sistema. Un año después, es por eso que el discurso entusiasmado de un nuevo empleado es recibido con “lo hicimos en marzo, esto es lo que pasó”, y por qué una victoria real del último trimestre no desaparece la semana después de su envío. Realizar experimentos ahora es barato. El registro es lo que convierte un montón de ellos en algo que realmente sabes.
Un cliente de Serie B vino a nosotros realizando más de 20 “pruebas” al mes y sin confiar en casi ninguna de ellas. Lo redujimos a seis pruebas con la potencia adecuada, trasladamos la producción a las herramientas y presentamos un único veredicto semanal de escala o eliminación frente a una persona que toma las decisiones. En un trimestre, la tasa de aciertos en las pruebas que escalaron aumentó de un lanzamiento de moneda a aproximadamente dos de cada tres, y el costo por adquisición cayó un 24%. Hicieron una tercera parte de las pruebas y finalmente confiaron en las que realizaron.
Cómo realmente se filtra el presupuesto
Los mismos errores aparecen en casi todas las cuentas y la IA los acelera todos. Los equipos eligen un ganador el segundo día porque el panel se actualiza en vivo y la curva parece amigable. Realizan pruebas demasiado pequeñas para alcanzar importancia y luego leen el futuro en lo estático. Persiguen un número que el modelo puede empujar mientras el número que importa se desvía en dirección equivocada. Y el hábito más caro de todos: nunca matan nada, por lo que el trabajo pendiente aumenta, el gasto se distribuye y ninguna prueba tiene una oportunidad justa.
Nada de esto es nuevo. La IA acaba de ponerlo en un reloj más rápido, que es la única razón por la que el marco tiene que mantener su forma a alta velocidad.
La comida para llevar
Los equipos que ganan en marketing de resultados en la era de la IA no son los que tienen más experimentos en marcha. Son ellos los que todavía pueden creer en sus propios resultados cuando el volumen sube. La ejecución barata es un verdadero regalo. Sólo vale la pena si sus estándares aumentan tan rápido como lo hace su producción. Haga que el sistema sea más difícil de superar a medida que sea más fácil de ejecutar, mantenga a un humano en juicio y deje que la máquina haga el resto. Eso es lo que se mantiene cuando el precio de una prueba más cae a casi nada.
Más recursos:
Imagen de portada: Prostock-studio/Shutterstock
