Lo que revela nuestro estudio sobre el comportamiento del usuario en modo IA sobre el futuro de la búsqueda

Nuestro nuevo estudio de usabilidad de 37 participantes en siete tareas de búsqueda específicas muestra claramente que las personas:

1. Leer modo AI
2. Rara vez hace clic y
3. Salga solo cuando estén listos para realizar transacciones.

Por lo que sabemos, no existe otro estudio de usabilidad independiente que haya explorado el modo AI con tanta profundidad.

En mayo, publiqué un extenso estudio de dos partes sobre AI Overviews (AIO) con Amanda, Eric Van Buskirk y su equipo. Eric y yo también colaboramos en el estudio del modo de IA de la industria de viajes de Propellic..

Trabajamos juntos nuevamente para presentarles el Growth Memo de esta semana: un estudio que proporciona información crucial y validación sobre los comportamientos de las personas cuando interactúan con el modo AI de Google.

Dado que ni Google ni OpenAI (ni nadie más) proporcionan datos de usuario para sus productos de IA (búsqueda), estamos llenando un vacío crucial.

Capturamos grabaciones de pantalla y sesiones de pensamiento en voz alta mediante estudio remoto. Las 250 tareas únicas recopiladas proporcionan un conjunto de datos sólido para nuestro análisis. (La metodología completa se proporciona al final de este memorando, incluidos detalles sobre las siete tareas de búsqueda).

Y es posible que algunos de los hallazgos le sorprendan. Lo estábamos.

Esta es una publicación más larga, así que toma una copa y acomódate.

Resumen ejecutivo

Nuestro nuevo estudio de usabilidad del Modo AI de Google revela cuán profundamente esta característica cambia el comportamiento del usuario.

• El modo AI capta la atención y mantiene a los usuarios dentro. En aproximadamente tres cuartas partes del total de sesiones de usuario, los usuarios nunca abandonaron el panel Modo AI y el 88 % de las primeras interacciones de los usuarios fueron con el texto generado por AI. El compromiso fue alto: el tiempo medio por tipo de tarea fue de aproximadamente 52 a 77 segundos.
• Los clics son raros y en su mayoría transaccionales. La mediana del número de clics externos por tarea fue cero. Sí. Has leído bien. Cero. Y el 77,6% de las sesiones tuvieron cero visitas externas.
• Las personas hojean pero aún toman decisiones en el modo AI. Más de la mitad de las tareas se clasificaron como “hojeadas rápidamente”, donde los usuarios echan un vistazo al resumen generado por la IA, se forman una opinión y siguen adelante.
• El modo AI ofrece “tipos de sitios” que coinciden con la intención. No se trata sólo de satisfacer consultas de búsqueda o intenciones inmediatas; AI Mode cita fuentes que se ajustan a categorías de sitios específicas (como mercados, sitios de reseñas y marcas).
• La visibilidad, no el tráfico, es la moneda emergente. Los participantes emitieron sus juicios sobre la marca directamente a partir de los resultados del modo AI.

TL;DR? Estos son los hallazgos principales de este estudio:

• El modo AI es complicado.
• Los clics están reservados para transacciones.
• El modo AI coincide con el tipo de sitio con la intención.
• Las vistas previas de productos actúan como mini páginas de detalles de productos (también conocidas como PDP).

Pero antes de profundizar, un breve agradecimiento al equipo detrás de este estudio.

Junto con el equipo de Eric Van Buskirk en Clickstream Solutions, llevé a cabo el primer estudio amplio de usabilidad del Modo AI de Google que descubre no solo información crucial sobre cómo las personas interactúan con el motor híbrido de búsqueda/chat de IA, sino también qué tipos de sitios de marca aparece el Modo AI y cuándo.

Quiero resaltar que Eric Van Buskirk fue el director de investigación. Si bien colaboramos estrechamente para dar forma a las preguntas de la investigación, las áreas de enfoque y la metodología, Eric dirigió el equipo, supervisó la ejecución del estudio y entregó los hallazgos. Luego, trabajamos codo a codo para interpretar los datos.

Los datos de clics son un excelente primer paso para el análisis de lo que sucede en el modo AI, pero con este estudio de usabilidad específicamente, esencialmente miramos “por encima del hombro” de los usuarios de la vida real mientras completaban tareas, lo que resultó en una sólida recopilación de datos de los cuales extraer información.

Nuestra plataforma de pruebas fue UXtweak.

Mejore sus habilidades con los conocimientos expertos semanales de Growth Memo. ¡Suscríbete gratis!

El propio Sundar Pichai de Google ha sido muy claro: el modo AI no es un juguete; es un campo de pruebas de cómo será la experiencia de búsqueda principal en el futuro.

En el podcast de Lex Fridman, Pichai dijo (en negrita mía):

“Nuestro plan actual es que el modo AI estará ahí como una pestaña separada para las personas que realmente quieran experimentarlo… Pero a medida que las funciones funcionen, Seguiremos migrandolo a la página principal…“(1)

Google ha argumentado que estas nuevas funciones centradas en la IA están diseñadas para dirigir a los usuarios a la web, pero en la práctica, nuestros datos muestran que los usuarios se quedan y toman decisiones sin hacer clic. En teoría, esto no sólo podría afectar los clics de salida a resultados orgánicos y citas, sino también reducir los clics externos a anuncios.

En agosto, exploré la realidad detrás de la canibalización de productos de Google con el modo AI y las AIO:

En este momento, según datos de Similarweb, el uso de la pestaña Modo AI en Google.com en los EE. UU. ha disminuido ligeramente y ahora se sitúa en poco más del 1%.

Las AIO de Google ahora son vistas por más de 1.500 millones de buscadores cada mes, y están al frente y al centro. Pero el compromiso está cayendo. Los usuarios pasan menos tiempo en Google y hacen clic en menos páginas.

Pero a medida que Google implementa el Modo AI de manera más amplia, trae consigo el mayor cambio jamás visto en la Búsqueda (el mayor canal de adquisición de clientes que existe).

El SEO tradicional es muy eficaz en el nuevo mundo de la IApero si el modo IA realmente se convierte en el predeterminado, existe la posibilidad de que debamos repensar nuestro arsenal de tácticas.

Prepararse para el futuro de la búsqueda significa tratar el modo AI como el destino (no la puerta de entrada) y descubrir cómo aparecer allí de maneras que realmente importen el comportamiento real del usuario.

Con este estudio, busqué descubrir y validar comportamientos reales de los usuarios dentro de la experiencia del Modo AI al realizar una variedad de tareas con diferentes intenciones de búsqueda.

1. El modo IA es complicado

Crédito de la imagen: Kevin Indig

Estadísticas clave

La gente lee primero y normalmente permanece dentro de la experiencia del Modo AI. Esto es lo que encontramos:

• La mayoría de las sesiones no tuvieron visitas externas: es decir, no abandonaron el modo AI (en absoluto).
• ~88% de la primera interacción* de los usuarios dentro de la función fue con el texto del Modo AI.
• La participación típica del usuario en el modo AI es de aproximadamente 50 a 80 segundos por tarea.

Estas tres estadísticas definen la superficie de búsqueda del modo AI: capta la atención y resuelve muchas tareas. sin enviando tráfico.

*Esto es lo que quiero decir con “interacción”:

• Una “interacción” dentro de las tareas del usuario = el participante interactuó significativamente con el modo AI después de que se cargó.
• Qué cuenta como interacción: leer o desplazarse por el cuerpo del modo AI para más que un vistazo rápido, incluido escanear un bloque de resultados como el paquete de compras o el panel derecho, abrir una tarjeta de comerciante, hacer clic en un enlace en línea, un ícono de enlace o un paquete de imágenes.
• Lo que no cuenta como interacción: breves movimientos oculares, pases del cursor o vacilación antes de participar.

Los usuarios están en el modo AI para leer, no necesariamente para navegar o buscar, y ~88% de las sesiones interactúan primero con el texto del resultado y pasan un minuto o más dentro de la experiencia del modo AI.

Además, es interesante ver que los usuarios pasan más del doble de tiempo en el modo AI en comparación con los AIO.

El compromiso general es mucho más fuerte.

Crédito de la imagen: Kevin Indig

Por qué es importante

Trate el panel del Modo AI como la superficie de lectura principal, no como un adelanto de enlaces azules.

El modo AI es una experiencia contenida en la que enviar clics a sitios web tiene una prioridad baja y brindar a los usuarios la mejor respuesta es la más alta.

Como resultado, cambia completamente la cadena de valor para los creadores de contenido, empresas y editores.

Conocimiento

¿Por qué otras fuentes y/o análisis de investigación del Modo AI dicen que los usuarios no regresan a la función del Modo AI con mucha frecuencia?

Mi teoría aquí es que, debido a que el modo AI es una experiencia de búsqueda separada (al menos, por ahora), no es tan visible como los AIO.

A medida que aumenta la adopción del Modo AI con Google incorporando Gemini (y el Modo AI) al navegador, espero que los hallazgos de nuestro estudio aumenten.

2. Los clics están reservados para transacciones

Si bien los clics son escasos, la intención de compra no lo es.

Los participantes en el estudio sólo hacían clic cuando la tarea lo exigía (por ejemplo, “poner un artículo en su carrito de compras”) o si navegaban un poco.

Sin embargo, los clics de navegación fueron tan pocos que podemos asumir con seguridad que el modo AI solo genera clics cuando los usuarios quieren comprar.

Incluso las indicaciones con fines comparativos e informativos tienden a mantener a los usuarios dentro de la función.

• Las indicaciones de compra como (bolsa de lona) y (ordenar los cables del escritorio) generan el porcentaje de salida más alto del modo AI.
• Los mensajes de comparación como (Oura vs Apple Watch) muestran el porcentaje de salida más bajo de las tareas.

Cuando se animó a los participantes a actuar (“poner un artículo en su carrito de compras” o “encontrar un producto”), la mayoría de los clics se dirigieron a funciones de compra como Shopping Packs o Merchant Cards.

Crédito de la imagen: Kevin Indig

El 18 % de las salidas se debieron a que los usuarios salieron del modo IA e iron directamente a otro sitio, lo que hace mucho más difícil realizar ingeniería inversa sobre lo que impulsó estas visitas en primer lugar.

Las transcripciones del estudio confirman que los participantes a menudo dicen en voz alta que “irán a la página del vendedor” o “encontrarán el producto en Amazon/ebay” para realizar búsquedas de productos.

Incluso al comparar productos, ya sea software o bienes físicos, los usuarios apenas hacen clic.

Crédito de la imagen: Kevin Indig

En términos sencillos, el modo AI consume todos los clics de TOFU y MOFU. Los usuarios descubren productos y forman opiniones sobre ellos en el modo AI.

Estadísticas clave

• ¡De 250 tareas válidas, la mediana de clics externos fue cero!
• La tarea inmediata de (bolsa de lona) tuvo 44 clics externos y (ordenar cables de escritorio) tuvo 31 clics, lo que representa dos tercios de todos los clics externos en este estudio.
• Las tareas de comparación como (Oura Ring vs Apple Watch) o (Ramp vs Brex) tuvieron muy pocos clics (≤6 en total en todas las tareas).

Esto es lo interesante…

En el estudio de usabilidad de AIOs Overviews, encontramos que los usuarios de escritorio hacen clic aproximadamente el 10,6% del tiempo en comparación con prácticamente el 0% en el modo AI.

Sin embargo, las AIO tienen resultados de búsqueda orgánicos y funciones SERP debajo de ellos. (Las personas hacen menos clic en las AIO, pero hacen clic en resultados orgánicos y funciones SERP con más frecuencia).

Cero clics

• Resúmenes de IA: 93%*
• Modo IA: ~100%

*Tenga en cuenta que los participantes del estudio de usabilidad de AIO hicieron clic en resultados de búsqueda orgánicos habituales. El 93% se relaciona con cero clics dentro de la descripción general de IA.

En el escritorio, el modo AI produce aproximadamente el doble de clics en el panel en comparación con el panel AIO. En las SERP de AIO, los clics totales aún pueden ocurrir a través de resultados orgánicos debajo del panel, por lo que la tasa a nivel de página se ubicará entre la cifra del panel de AIO y la línea de base clásica.

Una nota importante de Eric Van Kirk, director de este estudio: Al comparar el estudio AI Mode y AI Overview, no estamos comparando exactamente manzanas con manzanas. En este estudio, a los participantes se les asignaron tareas que los incitarían a abandonar el modo AI en 2 de 7 preguntas, y eso representa la mayoría de los clics salientes (que fueron menos de tres clics externos). Por otro lado, para el estudio de AIO, la pregunta más transaccional fue “Encuentre un cargador portátil para teléfonos de menos de $15. Busque como lo haría normalmente”. No se les dijo que “lo pusieran en el carrito de compras”. Sin embargo, los conocimientos recopilados sobre el comportamiento del usuario en este estudio del Modo AI (y el patrón de que los usuarios no sienten la necesidad de salir del Modo AI para tomar decisiones adicionales) siguen siendo un hallazgo sólido.

El panorama más amplio aquí es que las AIO son como una hoja informativa que eventualmente dirige a los usuarios a los sitios, pero el Modo AI es una experiencia cerrada en la que los usuarios rara vez hacen clic.

Lo que hace que el Modo AI (y ChatGPT, por cierto) sea complicado es cuando los usuarios abandonan la experiencia y van directamente a sitios web. Interfiere con los modelos de atribución y nuestra capacidad de comprender qué influye en las conversiones.

3. El modo IA coincide con el tipo de sitio con la intención

En el estudio, evaluamos qué tipos de sitios muestra el modo AI para nuestras siete tareas.

Los tipos son:

• Marcas: Vendedores/vendedores.
• Mercados: amazon.com, ebay.com, walmart.com, homedepot.com, bestbuy.com, target.com, rei.com.
• Sitios de reseñas: nerdwallet.com, pcmag.com, zdnet.com, nymag.com, usatoday.com, businessinsider.com.
• Editores: nytimes.com, nbcnews.com, youtube.com, thespruce.com.
• Plataforma: Google.

Crédito de la imagen: Kevin Indig

Los avisos de compra dirigen a las páginas de productos:

• Canvas Bag: el 93% de las salidas van a Brand + Marketplace.
• Cables de escritorio ordenados: el 68% va a Brand + Marketplace, con una porción visible de Publisher.

Ruta de comparaciones hacia reseñas:

• Rampa vs Brex: revisión del 83%.
• Oura vs Apple Watch: dividir 50% Marca y 50% Marketplace.

Cuando el usuario tiene que realizar una verificación de reputación, el resultado es una división de marca y editores:

• Muerte líquida: 56% marca, 44% editor.

El propio Google aparece en las tareas de compra:

• Las búsquedas de tiendas en business.google.com aparecen en Canvas Bag (7%) y Tidy desk cables (11%).

Consulte los dominios con más clics por tarea:

• Bolsa de lona: llbean.com, ebay.com, rticoutdoors.com, business.google.com.
• Cables de escritorio ordenados: walmart.com, amazon.com, homedepot.com.
• Aplicaciones de idioma de suscripción versus gratuitas: pcmag.com, nytimes.com, usatoday.com.
• Agua embotellada (muerte líquida): reddit.com, liquiddeath.com, youtube.com.
• Rampa vs Brex: nerdwallet.com, kruzeconsulting.com, airwallex.com.
• Oura Ring 3 frente a Apple Watch 9: ouraring.com, zdnet.com.
• Sala de juegos de realidad virtual o hogar inteligente: sandboxvr.com, business.google.com, yodobashi.com.

Las empresas necesitan entender el campo de juego. Mientras que el SEO clásico permitía que prácticamente cualquier sitio fuera visible para cualquier intención del usuario, el modo AI tiene reglas estrictas:

• Las marcas ganan a los mercados cuando los usuarios saben qué producto quieren.
• Se prefieren los mercados cuando las opciones son amplias o genéricas.
• Los sitios de reseñas aparecen para realizar comparaciones.
• Las opiniones destacan a Reddit y a los editores.
• El propio Google es más visible para la intención local y, a veces, para las compras.

Como SEO, debemos considerar cómo Google clasifica nuestro sitio en función de sus plantillas de página, su reputación y la participación de los usuarios. Pero lo más importante es que debemos monitorear las indicaciones en el modo AI y observar la combinación de sitios para comprender dónde podemos jugar.

Los sitios ya no pueden ni serán visibles para todos los tipos de consultas sobre un tema; Deberá filtrar su estrategia según la intención que se alinee con su tipo de sitio porque el modo AI solo muestra ciertos sitios (como sitios de reseñas o marcas) para tipos de intención específicos.

Las vistas previas de productos aparecen en aproximadamente el 25 % de las sesiones del modo AI, reciben aproximadamente 9 segundos de atención y la gente suele abrir solo una.

¿Entonces? El 45% se detiene ahí. Muchas aperturas son verificaciones rápidas de especificaciones, no un clic.

Crédito de la imagen: Kevin Indig

Puede ver fácilmente cómo algunas recomendaciones de productos mediante el modo AI y las experiencias en el sitio son bastante frustrantes para los usuarios.

La experiencia post-clic es fundamental: las mejores prácticas clásicas, como las reseñas, tienen un gran impacto a la hora de aprovechar al máximo los pocos clics que aún recibimos.

Vea este ejemplo:

“Parece que tiene muchas críticas positivas. Eso es algo que consideraría si fuera a comprar este bolso. Así que este sería el que elegiría”.

En las tareas de compra, descubrimos que los sitios de marcas obtienen la mayoría de las salidas.

En las tareas de comparación, descubrimos que dominan los sitios de reseñas. Para las comprobaciones de reputación (como un aviso de (Muerte líquida)), las salidas entre marcas y editores se dividieron.

• Para indicaciones de intención transaccional: Las marcas absorben la mayoría de las salidas cuando la tarea es comprar un artículo ahora. (Canvas Bag) muestra una fuerte inclinación hacia las PDP de marca.
• Para solicitudes de intención de reputación: Los sitios de marcas aparecen junto a los editores. Un mensaje para (Liquid Death) se divide entre liquiddeath.com y Reddit/YouTube/Eater.
• Para indicaciones de comparación: Las marcas pasan a un segundo plano. (Ramp vs Brex) las salidas van principalmente a sitios de reseñas como NerdWallet y Kruze.

Dado que los usuarios ahora pueden pagar directamente en ChatGPT y el modo AI, las tareas relacionadas con las compras podrían generar incluso menos clics.^{(2, 3)}

Por lo tanto, el modo AI se convierte en una experiencia completamente cerrada en la que incluso la intención de compra se cumple directamente en la aplicación.

Los clics son escasos. La influencia es abundante.

Los datos nos dan una prueba de la realidad: si los usuarios continúan adoptando la nueva forma de buscar en Google, el modo AI remodelará el comportamiento de búsqueda de maneras que los SEO no pueden darse el lujo de ignorar.

• La estrategia pasa de “obtener el clic” a “ganar la mención”.
• Las comparaciones son para la confianza, no para el tráfico. Reducen las salidas porque los usuarios se sienten informados dentro del panel.
• Los comerciantes deberían optimizar las salidas decisivas. Proporcione precios, disponibilidad y pruebas en la mitad superior de la página para convertir las pocas salidas que obtenga.

Necesitará obtener citas que respondan a la tarea y luego ganar las pocas salidas de alta intención que queden.

Pero nuestro estudio no termina aquí.

Los resultados de hoy revelan conocimientos básicos sobre cómo las personas interactúan con el modo AI. Analizaremos más para considerar con la Parte 2 lanzada la próxima semana.

Pero para aquellos que aman profundizar en los detalles, la metodología del estudio se incluye a continuación.

Metodología

Diseño y objetivo del estudio

Realizamos un estudio de usabilidad de métodos mixtos para cuantificar cómo el nuevo modo AI de Google cambia el comportamiento del buscador. Cada participante completó siete mensajes de búsqueda en vivo en Google a través de la función Modo AI. Este diseño nos permite observar tanto la mecánica de la interacción (desplazamientos, clics, permanencia, confianza) como el razonamiento cualitativo que los participantes expresan al completar las tareas.

Las tareas:

1. ¿Qué dice la gente sobre Liquid Death, la empresa de bebidas? ¿Te atraen sus bebidas?
2. Imagina que vas a comprar un rastreador de sueño y los únicos dos disponibles son el Oura Ring 3 o el Apple Watch 9. ¿Cuál elegirías y por qué?
3. Obtendrá información sobre las ventajas de una tarjeta de crédito Ramp frente a una tarjeta Brex para pequeñas empresas. ¿Cuál parece mejor? ¿Qué haría que una empresa cambiara de otra tarjeta: detalles de las tarifas, letra pequeña de elegibilidad o recompensas?
4. En el cuadro “Preguntar cualquier cosa” en el modo AI, ingrese “Ayúdame a comprar una bolsa de lona impermeable”. Selecciona el que mejor se adapte a tus necesidades y lo comprarías (por ejemplo, un bolso para cámara, un bolso de mano, un bolso de lona, ​​etc.).
   • Vaya a la página del vendedor. Haz clic para agregar al carrito de compras y completa esta tarea sin ir más lejos.
5. Compare las aplicaciones de idiomas de suscripción con las aplicaciones de idiomas gratuitas. ¿Pagarías y en qué situación? ¿Qué producto elegirías?
6. Suponga que está visitando a un amigo en una gran ciudad y desea ir a: 1. Una sala de juegos de realidad virtual O 2. Una sala de exposición de hogares inteligentes. ¿Cómo se llama la ciudad que estás visitando?
7. 1. Suponga que trabaja en un escritorio pequeño y sus cables son un desastre. 2. En el cuadro “Preguntar cualquier cosa” en el modo AI, ingrese: “Los cables del dispositivo están abarrotando el espacio de mi escritorio. ¿Qué puedo comprar hoy para ayudar?” 3. Luego elija el producto que crea que sería la mejor solución. Ponlo en el carrito de compras del sitio web externo y finaliza esta tarea.

Treinta y siete adultos estadounidenses de habla inglesa fueron reclutados a través de Prolific entre el 20 de agosto y el 1 de septiembre de 2025 (incluidos los participantes de un grupo pequeño que realizaron estudios piloto).*

La elegibilidad requería una tasa de aprobación de Prolific ≥ 95%, un navegador basado en Chromium y un micrófono que funcionara. Los participantes visitaron el Modo AI y realizaron tareas de forma remota a través de su computadora de escritorio; Las sesiones no válidas fueron excluidas por falla técnica o incumplimiento. El conjunto de datos final contiene más de 250 registros de tareas válidos entre 37 participantes.

*Los estudios piloto se llevan a cabo primero en pruebas de usabilidad remota para identificar y solucionar problemas técnicos, como problemas de uso compartido de pantalla, configuración de tareas o grabación, antes de que comience el estudio principal. Ayudan a refinar la redacción, el tiempo y las instrucciones de las tareas para garantizar que los participantes las interpreten correctamente. Lo más importante es que las sesiones piloto confirman que los datos recopilados realmente responderán a las preguntas de la investigación y que la metodología funciona sin problemas en un entorno remoto del mundo real.

Las sesiones se ejecutaron en el modo remoto no moderado de UXtweak. Los participantes leyeron un mensaje de tarea, hicieron clic en Google.com/aimode, activaron el Modo AI y expresaron sus pensamientos en voz alta mientras interactuaban con el Modo AI. Se les dieron las siguientes instrucciones: “Piensa en voz alta y explica brevemente lo que te llama la atención mientras revisas la información. Habla en voz alta y pasa el mouse para indicar dónde encuentras la información que buscas”. Cada participante completó siete tipos de tareas diseñadas para cubrir diversas categorías de intención, incluidos escenarios de comparación, transaccionales e informativos.

UXtweak grabó vídeo en pantalla completa, rutas del cursor, eventos de desplazamiento y audio. Las sesiones duraron en promedio 20-25 minutos. Los incentivos eran competitivos. Se exportaron grabaciones sin procesar, transcripciones y registros de eventos para su codificación y análisis.

Tres codificadores capacitados revisaron cada video en paralelo. Se registró una fila para los elementos de la interfaz de usuario que mantuvieron la atención durante aproximadamente 5 segundos o más. Las variables capturadas incluyeron:

• Estructural: Campos que describen la configuración, los metadatos o la estructura del estudio, no el comportamiento del usuario; incluya datos como ID de participante, ID de tarea, dispositivo, consulta, orden de los elementos de la interfaz de usuario en los que se hizo clic o se visitó durante la tarea, tipo de sitio en el que se hizo clic (por ejemplo, red social, comunidad, marca, plataforma), nombre de dominio del sitio externo visitado y más.
• Característica: Campos que describen elementos de la interfaz de usuario o componentes de la interfaz que aparecieron o estuvieron disponibles para el participante. Los ejemplos incluyen el tipo de elemento de la interfaz de usuario, incluidos carruseles de compras, tarjetas de comerciante, panel derecho, íconos de enlace, incrustación de mapa, paquete local, tarjeta GMB, paquetes de comerciante y tarjetas de comerciante.
• Compromiso: Campos que capturan la interacción activa del usuario, la atención o la inversión de tiempo. Incluye comportamiento de lectura y atención, chat y preguntas, junto con comportamiento de clic e interacción.
• Resultado: Campos que representan resultados de usuarios, evaluaciones de anotadores o interpretación del comportamiento. Comentarios del anotador, calificación del esfuerzo, dónde se encontró la información.

Los codificadores también marcaron temas cualitativos (p. ej., “velocidad”, “escepticismo”, “confianza en las citas”) para respaldar la recuperación basada en RAG. El director de investigación revisó aproximadamente el 10 % de los vídeos para validar la coherencia.

Las anotaciones se exportaron a Python/pandas 2.2. Se eliminaron los códigos de marcador de posición (‘999=No aplicable’, ‘998=No observable’) y se normalizaron las variables categóricas (por ejemplo, apariciones, clics, sentimiento). Los tiempos de permanencia y otras métricas de tiempo se recortaron para detectar valores atípicos extremos. Después de la limpieza, quedaron aproximadamente 250 filas válidas a nivel de tarea.

Nuestro proceso de recuperación-generación aumentada (RAG) permitió tres etapas de análisis:

• Preparación de datos (ingesta): Aplanamos las siete tareas de cada participante en filas individuales, limpiamos los valores codificados y estandarizamos el tiempo, los clics y otras métricas. Las transcripciones se conservaron para que los datos estructurados (como el tiempo de permanencia) pudieran asociarse con lo que los usuarios realmente dijeron. Meta: cree un conjunto de datos limpio y unificado que conecte el comportamiento con el razonamiento.
• Filtrado de relevancia (recuperación): Usamos campos estructurados y anotaciones para aislar patrones, como usuarios que abandonaron el modo AI, hicieron clic en una tarjeta de comerciante o mostraron dudas. Luego buscamos en las transcripciones temas como confianza, conveniencia o frustración. Meta: combine comportamiento y sentimiento para revelar la intención real del usuario.
• Interpretación (síntesis cuantitativa + cualitativa): Para cada grupo, calculamos estadísticas descriptivas (permanencia, clics, confianza) y las emparejamos con evidencia de transcripción. Así es como surgimos ideas como: “las tareas del sitio externo mostraron mayor satisfacción pero más confusión en las CTA”. Meta: vincule lo que las personas hicieron con lo que sintieron dentro del modo AI.

Este proceso nos permitió consultar el conjunto de datos de manera hiperespecífica (por ejemplo, “todos los participantes que se desplazaron >50 % en modo IA pero expresaron desconfianza”) y vincular los resultados cuantitativos con el razonamiento cualitativo.

En términos sencillos: podemos seleccionar el grupo adecuado de participantes o momentos, como “todas las personas que no confiaron en AIO” o “todos los que se desplazaron más del 50%”.

Resumimos el comportamiento del usuario utilizando estadísticas descriptivas e inferenciales en 250 registros de tareas válidos. Cada métrica incluyó el recuento, la media, la mediana, la desviación estándar, el error estándar y el intervalo de confianza del 95%. Los resultados categóricos, como si los participantes abandonaron el modo AI o hicieron clic en una tarjeta comercial, se informaron como proporciones.

Los análisis cubrieron más de 50 campos estructurados y de comportamiento, desde el tipo de dispositivo y el tiempo de permanencia hasta las interacciones de la interfaz de usuario y el sentimiento. Las medidas de confianza se derivaron de un análisis JSON del sentimiento del usuario a través de transcripciones de todos los usuarios.

Cada tarea fue anotada por un codificador capacitado y se verificó la coherencia entre los anotadores. Se compararon las distribuciones a nivel de codificador para confirmar patrones de etiquetado estables y coherencia interna.

Treinta y siete participantes completaron siete tareas cada uno, lo que dio como resultado aproximadamente 250 tareas válidas. En esa escala, proporciones de alrededor del 50% tienen un margen de error de aproximadamente seis puntos porcentuales, lo que le da al conjunto de datos suficiente precisión para detectar diferencias direccionales significativas.

El tamaño de la muestra es más pequeño que nuestro estudio AI Overviews (37 frente a 69 participantes) y está destinado a conocer a los usuarios con sede en EE. UU. (todos los participantes vivían en EE. UU.). Todas las consultas se realizaron en el modo AI, lo que significa que no comparamos directamente las condiciones de AI con las que no lo son. Pensar en voz alta puede inflar ligeramente los tiempos de permanencia. La codificación impulsada por RAG es tan sólida como sus entradas de anotaciones, aunque las comprobaciones exhaustivas al azar confirmaron su confiabilidad.

Los participantes dieron su consentimiento informado. Las grabaciones fueron cifradas y anónimas; no se retuvieron datos de identificación personal. El estudio se ajusta a la política de ética de Prolific y a los TOS de UXtweak.

Imagen publicada: Paulo Bobita/Search Engine Journal