Un estudio de PNAS revisado por pares encuentra que los modelos de lenguaje grande tienden a preferir el contenido escrito por otros LLM cuando se le pide que elija entre opciones comparables.
Los autores dicen que este patr贸n podr铆a darle al contenido asistido a AI-AI una ventaja a medida que m谩s descubrimiento de productos y recomendaciones fluyen a trav茅s de los sistemas de inteligencia artificial.
Sobre el estudio
Lo que probaron los investigadores
Un equipo dirigido por Walter Laurito y Jan Kulveit compar贸 versiones escritas por humanos y escritas por IA de los mismos art铆culos en tres categor铆as: descripciones de productos del mercado, res煤menes de papel cient铆fico y res煤menes de la trama de pel铆culas.
Modelos populares, incluidos GPT-3.5, GPT-4-1106, LLAMA-3.1-70B, MixTral-8x22b y Qwen2.5-72b, actuaron como selectores en las indicaciones por pares que forzaron una sola selecci贸n.
El documento dice:
“Nuestros resultados muestran una tendencia consistente para que los AI basados en LLM prefieran las opciones presentadas en LLM. Esto sugiere la posibilidad de futuros sistemas de IA impl铆citamente discriminados a los humanos como una clase, dando a los agentes de IA y a los humanos asistidos por AI una ventaja injusta”.
Resultados clave de un vistazo
Cuando GPT-4 proporcion贸 las versiones escritas por IA utilizadas en las comparaciones, los selectores eligieron el texto de IA con m谩s frecuencia que los evaluadores humanos:
- Productos: 89% de preferencia de IA por LLMS vs 36% por humanos
- Res煤menes de papel: 78% vs 61%
- Res煤menes de pel铆culas: 70% vs 58%
Los autores tambi茅n se帽alan los efectos del orden. Algunos modelos mostraron una tendencia a elegir la primera opci贸n, que el estudio intent贸 reducir intercambiando el orden y promediando los resultados.
Por qu茅 esto importa
Si los mercados, los asistentes de chat o las experiencias de b煤squeda usan LLM para obtener o resumir los listados, es m谩s probable que se seleccione la copia asistida por AI-AI en esos sistemas.
Los autores describen un posible “impuesto de puerta”, donde las empresas se sienten obligadas a pagar las herramientas de escritura de IA para evitar ser seleccionados por los evaluadores de IA. Esta es una pregunta de operaciones de marketing tanto como creativa.
L铆mites y preguntas
La l铆nea de base humana en este estudio es peque帽a (13 asistentes de investigaci贸n) y las opciones preliminares, y las opciones por pares no miden el impacto en las ventas.
Los resultados pueden variar seg煤n el dise帽o r谩pido, la versi贸n del modelo, el dominio y la longitud del texto. El mecanismo detr谩s de la preferencia a煤n no est谩 claro, y los autores piden trabajo de seguimiento sobre la estilometr铆a y las t茅cnicas de mitigaci贸n.
Mirando hacia el futuro
Si la clasificaci贸n mediada por la IA contin煤a expandi茅ndose en el comercio y el descubrimiento de contenido, es razonable considerar la asistencia de IA donde afecta directamente la visibilidad.
Trate esto como un carril de experimentaci贸n en lugar de una regla general. Mantenga a los escritores humanos en el bucle para obtener tono y reclamos, y valide con los resultados del cliente.
(Tagstotranslate) Noticias
