Zahir Hasan no tuvo que decirme que las cifras de su empresa estaban equivocadas.
Le envié a Hasan, director de operaciones de la firma de investigación Clovion AI, con sede en Oslo, una lista de preguntas metodológicas sobre “Sobrevivir al embudo de IA”, el nuevo estudio de Clovion sobre cómo Claude, ChatGPT y Gemini recomiendan marcas a lo largo de una conversación. La décima pregunta era rutinaria, el tipo de cosas que se le hacen a todo equipo de investigación. El informe dice que los tres asistentes de IA se contradicen rotundamente en cuanto a datos de marca el 15% de las veces, basándose en 33 contradicciones verificadas. ¿Fue realmente suficiente 33 para respaldar una afirmación sobre qué modelo tiende a subestimar las características de una marca y cuál tiende a sobrevenderlas?
La respuesta de Hasan no fue una defensa del número. Fue una corrección. “El número real es 330”, respondió. “Un diseñador dejó caer un cero en el diseño”. El mismo decimal deslizado, dijo, también había convertido 2.040 marcas en “204” en la página siete del PDF que me habían enviado antes de su publicación. Esta semana saldrá una versión revisada. Entonces, primero obtuve las cifras corregidas.
Es una forma extraña de comenzar una columna sobre un informe de investigación de IA, admitiendo antes que nada que el borrador del informe tenía un error. Pero es la forma más honesta de hacerlo, porque la corrección dice algo que las estadísticas principales del estudio nunca podrían decir. Leer las respuestas de la IA correctamente, ya sea que sea un especialista en marketing que intenta descubrir si ChatGPT está recomendando su producto o un investigador que está realizando un estudio al respecto, se reduce a captar el punto decimal antes de desarrollar una estrategia sobre él.
El embudo, recapitulado
Si dejamos de lado el error tipográfico por un momento, la investigación subyacente se sostiene. Clovion realizó 69.120 conversaciones de varios turnos entre los tres asistentes en 36 categorías de software B2B y fintech, formulando una pregunta inicial como “¿las mejores herramientas de CRM?” y luego un único seguimiento realista. Volver a hacer la misma pregunta mantuvo intacto el 90% de la lista recomendada. Al agregar un detalle común y corriente del comprador, algo tan sencillo como “para un equipo pequeño”, se mantuvo sólo el 28%. El sesenta y dos por ciento de las marcas que dieron la primera respuesta desaparecieron en la segunda.
Le pregunté a Hasan si se había elegido un “equipo pequeño” para producir esa caída. No lo fue. Su equipo también realizó la prueba “para una gran empresa” y obtuvo una tasa de abandono casi idéntica, alrededor del 72 % en ambos sentidos, frente a aproximadamente el 10 % cuando la pregunta simplemente se repitió. La lista no es inestable. Responde, y principalmente a si el modelo ha decidido para quién es realmente una marca.
Esa es la parte que vale la pena considerar si te ganas la vida haciendo SEO o estrategia de marca. Ser nombrado en una respuesta de IA no es lo mismo que confiar en ella. Un modelo que lo coloca en su primera lista de CRM aún puede eliminarlo en el momento en que un comprador se vuelve específico, y los datos de Clovion dicen que eso sucede la mayor parte del tiempo, no algunas veces.
La corrección cambia la forma del número más pequeño y más citado
Aquí es donde el decimal fijo realmente importa a la hora de leer este estudio. La antigua cifra, 33 contradicciones verificadas, era lo suficientemente pequeña como para que cualquier afirmación por modelo basada en ella estuviera sobre hielo fino. Corregido, es 330, y el desglose por modelo que compartió Hasan es mucho más revelador que la cifra agregada del 15% que presenta el borrador del informe: Claude subestima las características propias de una marca 160 veces contra 10 sobreafirmaciones. ChatGPT subestima 70 veces y nunca sobredemanda. Géminis corre en dirección contraria, reclamando 80 veces contra 30 reclamando menos.
La teoría de trabajo de Hasan, extraída de un estudio separado de Clovion, aún no publicado, sobre dónde cada modelo obtiene sus respuestas, es que Gemini se apoya más en material de marketing y videos, por lo que tiende a acreditar a una marca lo que sea que esté publicitando. Claude y ChatGPT se apoyan más en la documentación y las páginas de productos, describen el producto principal con precisión y evitan “no lo tiene” cuando una característica más nueva no está bien documentada. Si eso se confirma según el estudio que Clovion aún no ha publicado, significa que la dirección del error de un asistente de IA sobre su producto es una función del tipo de contenido que le ha puesto delante y dónde se encuentra ese contenido.
He pasado más de 20 años diciéndoles a los clientes que clasificar bien y ser descrito con precisión son dos problemas diferentes. Esta es la evidencia más clara que he visto de que ahora son el mismo problema, que se desarrolla dentro de una sola conversación, y que la solución depende de qué asistente está haciendo la descripción errónea.
Por qué nadie detecta el cero perdido
Frederick Vallaeys tiene una historia en su libro “The AI-Amplified Marketer” que explica exactamente por qué un decimal eliminado sobrevive hasta su publicación. Una vez, un informe automatizado marcó “gran rendimiento” en una palabra clave porque su costo por adquisición era mucho más alto que el objetivo. En algún lugar del sistema, lo alto se había cambiado por lo bueno, cuando un CPA alto es una mala noticia, no una buena noticia. Cualquiera que hubiera hojeado el resumen habría asentido, porque la frase se leyó sin problemas a pesar de que su significado había cambiado.
Vallaeys vincula esto con la investigación sobre el procesamiento predictivo, la idea de que los lectores fluidos no decodifican cada palabra, sino que predicen lo que viene a continuación en función del contexto y siguen adelante. Así es como “teh” se lee como “el” y un “no” faltante se desliza junto a ti. Como dice Vallaeys, nuestro modelo mental de la oración anula el texto que tenemos delante. Un PDF seguro y bien formateado es el lugar más fácil del mundo para que eso suceda, y un cero en un archivo de diseño es una versión mucho más pequeña y mucho más perdonable del mismo error.
También es por eso que la solución no es “confiar menos en el informe”. Se trata de “mantener informado a un piloto humano que verifica el número en lugar de la vibra del párrafo que lo rodea”. Treinta y tres contradicciones y 330 contradicciones no difieren sólo por un factor de diez. Admiten niveles de confianza completamente diferentes sobre si un patrón por modelo es real. Doscientas cuatro marcas y 2.040 marcas no son el mismo estudio. Si Clovion no lo hubiera captado, y si yo no hubiera preguntado, las cifras más pequeñas y más inestables habrían seguido circulando como un hecho, citadas exactamente por el tipo de prensa especializada que se supone que debe captar esto.
Lo que Clovion no afirma y por qué esa es la parte honesta
El informe tiene cuidado al decir que el vínculo entre cómo un modelo percibe su ajuste y si lo recomienda es “un acoplamiento fuerte y consistente, no una ley causal comprobada”. Presioné a Hasan sobre cómo sería una prueba causal real. Su respuesta: cambiar una cosa, el contenido de posicionamiento público de una marca, dejar todo lo demás en paz y ver si el comportamiento de las modelos se mueve en relación con marcas que nadie tocó. Clovion aún no ha realizado esa prueba. También admitió directamente la posibilidad más incómoda: que el posicionamiento real de una marca en el mundo real probablemente esté determinando cómo la describe el modelo y si es recomendada, lo que haría que la posición de la palanca real y la “percepción” del modelo sean sólo un síntoma, no una causa.
Esa es una respuesta inusualmente sincera de una empresa que vende monitoreo de visibilidad de IA, y es exactamente por eso que confío en el resto de lo que me dijo Hasan. Tampoco tenía datos sobre qué tan rápido cambia la percepción de una marca por parte de la IA después de que esa marca cambia su propio contenido. “No hicimos una prueba de antes y después”, dijo. “Trátelo como si valiera la pena probarlo, no garantizado en X semanas”. Cualquiera que le diga que puede prometer un cronograma específico para cambiar la opinión de Claude o Gemini sobre su marca está adivinando, según admite el propio Clovion.
Qué hacer realmente al respecto
Hay tres cosas que debes hacer, según lo que me dijo Hasan y lo que respaldan los datos corregidos.
Primero, realice un seguimiento de toda la conversación, no de la primera respuesta. Si estás monitoreando la visibilidad de la IA con una verificación única, estás midiendo la parte superior de un embudo que pierde el 62 % de su contenido una oración después. Desarrolle su seguimiento en torno a las preguntas de seguimiento que realmente hacen sus compradores reales.
En segundo lugar, arregle a los asistentes uno a la vez, en orden. Hasan fue directo al decir que un solo cambio de contenido no moverá los tres modelos a la vez, porque provienen de diferentes fuentes. Su orden sugerido: corregir primero los errores fácticos planos, ya que son ganancias baratas, luego buscar las combinaciones de ajuste de segmento que más importan para su proceso, verificando a cada asistente en varias ejecuciones en lugar de confiar en una sola respuesta.
En tercer lugar, no cites una estadística cuya fuente no hayas rastreado, incluida ésta. El propio informe de Clovion necesitaba una corrección en su número más técnico y citable. Antes de crear una columna, una presentación para el cliente o un resumen de contenido sobre cualquier porcentaje de investigación de IA, pregunte de dónde proviene el recuento subyacente y si alguien ha verificado los cálculos desde que salió del software de diseño.
He visto al SEO pasar por algunos de estos momentos, desde Panda hasta la indexación móvil primero y el lento sangrado de la búsqueda sin clic. Cada uno recompensó a los profesionales que verificaron la fuente primaria en lugar de repetir el número del titular. La visibilidad de la IA se está perfilando de la misma manera. Las marcas que ganen el acto de desaparición que documentó Clovion no serán las que tengan el mejor comunicado de prensa sobre su estrategia de AI Overviews. Serán ellos los que lean el informe con suficiente atención como para preguntarse qué significa realmente el “33”, y quienes seguirán haciendo esa pregunta después de esta.
Zahir Hasan es director de operaciones de Clovion AI, con sede en Oslo, Noruega. Esta semana se espera la versión corregida de Clovion de “Sobrevivir al embudo de IA”, que refleja las cifras de esta columna.
