La ciencia de cómo presta atención la IA

Mejore sus habilidades con los conocimientos expertos semanales de Growth Memo. ¡Suscríbete gratis!

Esta semana, comparto mis hallazgos al analizar 1,2 millones de respuestas de ChatGPT para responder a la pregunta de cómo mejorar tus posibilidades de ser citado.

Durante 20 años, los SEO han escrito “guías definitivas” diseñadas para mantener a los humanos en la página. Escribimos introducciones largas. Arrastramos ideas a lo largo del borrador hasta la conclusión. Generamos suspenso hasta el llamado a la acción final.

Los datos muestran que este estilo de escritura no es ideal para la visibilidad de la IA.

Después de analizar 1,2 millones de citas verificadas de ChatGPT, encontré un patrón tan consistente que tiene un valor P de 0,0: la “rampa de esquí”. ChatGPT presta una atención desproporcionada al 30% superior de su contenido. Además, encontré cinco características claras del contenido que se cita. Para ganar en la era de la IA, debes empezar a escribir como un periodista.

1. ¿Qué secciones de un texto tienen más probabilidades de ser citadas por ChatGPT?

No se sabe mucho sobre qué partes de un texto citan los LLM. Analizamos 18.012 citaciones y encontramos una distribución de “rampa de esquí”.

1. El 44,2% de todas las citas provienen del primer 30% del texto (la introducción). La IA lee como un periodista. Capta el “Quién, Qué, Dónde” de la parte superior. Si su idea clave está en la introducción, las posibilidades de que la citen son altas.
2. El 31,1% de las citas provienen del 30-70% de un texto (la mitad). Si oculta las características clave de su producto en el párrafo 12 de una publicación de 20 párrafos, es 2,5 veces menos probable que la IA las cite.
3. El 24,7% de las citas proceden del último tercio de un artículo (la conclusión). Esto demuestra que la IA se despierta al final (al igual que los humanos). Se salta el real pie de página (consulte la caída del 90-100%), pero le encanta la sección “Resumen” o “Conclusión” justo antes del pie de página.

Las posibles explicaciones para el patrón de rampa de esquí son el entrenamiento y la eficiencia:

• Los LLM están capacitados en periodismo y artículos académicos, que siguen la estructura “BLUF” (Bottom Line Up Front). El modelo aprende que la información más “ponderada” siempre está en la parte superior.
• Si bien los modelos modernos pueden leer hasta 1 millón de tokens para una sola interacción (entre 700 000 y 800 000 palabras), su objetivo es establecer el marco lo más rápido posible y luego interpretar todo lo demás a través de ese marco.

18.000 de 1,2 millones de citas nos brindan toda la información que necesitamos. El valor P de este análisis es 0,0, lo que significa que es estadísticamente indiscutible. Dividí los datos en lotes (divisiones de validación aleatorias) para demostrar la estabilidad de los resultados.

• El lote 1 era un poco más plano, pero los lotes 2, 3 y 4 son casi idénticos.
• Conclusión: debido a que los lotes 2, 3 y 4 siguieron exactamente el mismo patrón, los datos son estables en los 1,2 millones de citas.

Si bien estos lotes confirman la estabilidad a nivel macro de dónde mira ChatGPT en un documento, plantean una nueva pregunta sobre su comportamiento granular: ¿este sesgo de alto nivel persiste incluso dentro de un solo bloque de texto, o el enfoque de la IA cambia cuando lee más profundamente? Habiendo establecido que los datos son estadísticamente indiscutibles a escala, quise “acercarme” al nivel del párrafo.

Un análisis profundo de 1000 contenidos con una gran cantidad de citas muestra que el 53% de las citas provienen de la mitad de un párrafo. Sólo el 24,5% proviene de la primera frase y el 22,5% de la última frase de un párrafo. ChatGPT no es “vago” y solo lee la primera oración de cada párrafo. Se lee profundamente.

Llevar: No es necesario forzar la respuesta en la primera oración de cada párrafo. ChatGPT busca la oración con la mayor “ganancia de información” (el uso más completo de entidades relevantes e información aditiva y expansiva), independientemente de si esa oración es la primera, segunda o quinta del párrafo. Combinado con el patrón de rampa de esquí, podemos concluir que las mayores posibilidades de citas provienen de los párrafos del primer 20% de la página.

2. ¿Qué hace que ChatGPT tenga más probabilidades de citar fragmentos?

sabemos dónde en el contenido que a ChatGPT le gusta citar, pero ¿cuáles son las características que influyen en la probabilidad de citación?

El análisis muestra cinco características ganadoras:

1. Lenguaje definitivo.
2. Estructura conversacional de preguntas y respuestas.
3. Riqueza de la entidad.
4. Sentimiento equilibrado.
5. Escritura sencilla.

1. Definitivo vs. Lenguaje vago

Las citas ganadoras tienen casi el doble de probabilidades (36,2 % frente a 20,2 %) de contener un lenguaje definitivo (“se define como”, “se refiere a”). La cita del lenguaje no tiene por qué ser una definición palabra por palabra, pero las relaciones entre los conceptos deben ser claras.

Posibles explicaciones del impacto de la escritura declarativa directa:

• En una base de datos vectorial, la palabra “es” actúa como un puente fuerte que conecta un tema con su definición. Cuando un usuario pregunta “¿Qué es X?” el modelo busca la ruta vectorial más fuerte, que casi siempre es una estructura de oración directa “X es Y”.
• El modelo intenta responder al usuario de inmediato. Prefiere un texto que le permita resolver la consulta en una sola frase (Zero-Shot) en lugar de sintetizar una respuesta a partir de cinco párrafos.

Llevar: Comience sus artículos con una declaración directa.

• Malo: “En este mundo acelerado, la automatización se está volviendo clave…”
• Bueno: “La automatización de demostraciones es el proceso de utilizar software para…”

2. Escritura conversacional

El texto que se cita tiene el doble de probabilidades (18 % frente a 8,9 %) de contener un signo de interrogación. Cuando hablamos de escritura conversacional, nos referimos a la interacción entre preguntas y respuestas.

Comience con la consulta del usuario como una pregunta y luego responda inmediatamente. Por ejemplo:

• Estilo ganador: “¿Qué es el SEO programático? Es…”
• Estilo perdedor: “En este artículo, discutiremos los diversos matices de…”

El 78,4% de las citas con preguntas provienen de títulos. La IA trata su etiqueta H2 como el mensaje del usuario y el párrafo inmediatamente posterior como la respuesta generada.

Ejemplo de estructura perdedora:

Ejemplo de estructura ganadora (El 78%):

• ¿Cuándo empezó el SEO?

  (Consulta literal)

• El SEO comenzó en…

  (Respuesta directa)

La razón por la que gana el ejemplo específico es por lo que yo llamo “resonancia de entidad”: el encabezado pregunta sobre SEO y la primera palabra de la respuesta es SEO.

3. Riqueza de la entidad

El texto en inglés normal tiene una “densidad de entidad” (es decir, contiene nombres propios como marcas, herramientas, personas) de ~5-8%. ¡El texto muy citado tiene una densidad de entidad del 20,6%!

• La cifra del 5-8% es un punto de referencia lingüístico derivado de corpus estándar como el Brown Corpus (1 millón de palabras de texto representativo en inglés) y el Penn Treebank (Diario de Wall Street texto).

Ejemplo:

• Sentencia perdedora: “Existen muchas buenas herramientas para esta tarea”. (0% Densidad)
• Frase ganadora: “Las principales herramientas incluyen Salesforce, HubSpot y Pipedrive”. (30% Densidad)

Los LLM son probabilísticos. El consejo genérico (“elija una buena herramienta”) es arriesgado y vago, pero una entidad específica (“elija Salesforce”) está fundamentada y es verificable. El modelo prioriza oraciones que contienen “anclas” (entidades) porque reducen la perplejidad (confusión) de la respuesta.

Una oración con tres entidades contiene más “bits” de información que una oración con 0 entidades. Por lo tanto, no tenga miedo de mencionar nombres (sí, incluso sus competidores).

4. Sentimiento equilibrado

En mi análisis, el texto citado tiene una puntuación equilibrada de subjetividad de 0,47. La puntuación de subjetividad es una métrica estándar en el procesamiento del lenguaje natural (PNL) que mide la cantidad de opinión, emoción o juicio personal en un texto.

La puntuación se calcula en una escala de 0,0 a 1,0:

• 0.0 (Objetividad Pura): El texto contiene sólo hechos verificables. Sin adjetivos, sin sentimientos. Ejemplo: “El iPhone 15 se lanzó en septiembre de 2023”.
• 1.0 (Subjetividad pura): El texto contiene sólo opiniones personales, emociones o descriptores intensos. Ejemplo: “El iPhone 15 es una obra maestra absolutamente impresionante que me encanta”.

La IA no quiere texto seco de Wikipedia (0.1), ni quiere opiniones desquiciadas (0.9). Quiere la “voz del analista”. Prefiere frases que expliquen cómo se aplica un hecho, en lugar de simplemente indicar la estadística por sí sola.

El tono “ganador” se ve así (Puntuación ~0,5): “Si bien el iPhone 15 cuenta con un chip A16 estándar (hecho), su rendimiento en fotografía con poca luz lo convierte en una opción superior para los creadores de contenido (análisis/opinión).“

5. Escritura de nivel empresarial

Escritura de nivel empresarial (piense El economista o Revisión de negocios de Harvard) obtiene más citas. Los “ganadores” tienen una puntuación Flesch-Kincaid de 16 (nivel universitario) en comparación con los “perdedores” con 19,1 (nivel académico/doctorado).

Incluso en el caso de temas complejos, la complejidad puede resultar perjudicial. Una puntuación de 19º grado significa que las oraciones son largas, sinuosas y llenas de jerga multisílaba. La IA prefiere estructuras simples de sujeto-verbo-objeto con oraciones cortas a moderadamente largas, porque es más fácil extraer datos de ellas.

Conclusión

El patrón de “rampa de esquí” cuantifica una desalineación entre la escritura narrativa y la recuperación de información. El algoritmo interpreta la lenta revelación como una falta de confianza. Prioriza la clasificación inmediata de entidades y hechos.

El contenido de alta visibilidad funciona más como un informe estructurado que como una historia.

Esto impone un “impuesto de claridad” al escritor. Los ganadores en este conjunto de datos se basan en un vocabulario de nivel empresarial y una alta densidad de entidades, lo que refuta la teoría de que la IA recompensa el contenido “simplificado” (con excepciones).

No sólo estamos escribiendo robots… todavía. Pero la brecha entre las preferencias humanas y las limitaciones de las máquinas se está cerrando. En la redacción de negocios, los humanos buscan ideas. Al anticipar la conclusión, satisfacemos la arquitectura del algoritmo y la escasez de tiempo del lector humano.

Metodología

Para entender exactamente dónde y por qué AI cita contenido, analizamos el código.

Todos los datos de esta investigación provienen de Gauge.

• Gauge proporcionó aproximadamente 3 millones de respuestas de IA de ChatGPT, junto con 30 millones de citas. El contenido web de cada URL de cita se eliminó en el momento de la respuesta para proporcionar una correlación directa entre el contenido web real y la respuesta misma. Se eliminaron tanto el HTML sin formato como el texto sin formato.

1. El conjunto de datos

Comenzamos con un universo de 1,2 millones de resultados de búsqueda y respuestas generadas por IA. A partir de esto, aislamos 18.012 citas verificadas para análisis posicional y 11.022 citas para análisis de “ADN lingüístico”.

• Significado: Este tamaño de muestra es lo suficientemente grande como para producir un valor P de 0,0 (p ), lo que significa que los patrones que encontramos son estadísticamente indiscutibles.

2. El motor “cosechador”

Para encontrar exactamente qué frase estaba citando la IA, utilizamos incrustaciones semánticas (un enfoque de red neuronal).

• El modelo: Usamos all-MiniLM-L6-v2, un modelo transformador de oraciones que comprende el significado, no solo las palabras clave.
• El proceso: Convertimos cada respuesta de IA y cada oración del texto fuente en vectores de 384 dimensiones. Luego los emparejamos usando similitud coseno.
• El filtro: Aplicamos un umbral de similitud estricto (0,55) para descartar coincidencias débiles o alucinaciones, asegurándonos de analizar solo citas de alta confianza.

3. Las métricas

Una vez que encontramos la coincidencia exacta, medimos dos cosas:

• Profundidad posicional: Calculamos exactamente dónde apareció el texto citado en el HTML (por ejemplo, en la marca del 10 % frente a la marca del 90 %).
• ADN lingüístico: Comparamos los “ganadores” (introducciones citadas) con los “perdedores” (introducciones omitidas) utilizando el procesamiento del lenguaje natural (PLN) para medir:
  • Tasa de definición: Presencia de verbos definitivos (es, son, se refiere a).
  • Densidad de entidad: Frecuencia de nombres propios (marcas, herramientas, personas).
  • Subjetividad: Una puntuación de sentimiento de 0,0 (hecho) a 1,0 (opinión).

Imagen de portada: Paul Poetry/Search Engine Journal