El equipo de investigaci贸n de seguridad Defender de Microsoft public贸 una investigaci贸n que describe lo que llama “envenenamiento por recomendaci贸n de IA”. La t茅cnica implica que las empresas oculten instrucciones de inyecci贸n r谩pida dentro de los botones del sitio web con la etiqueta “Resumir con IA”.
Cuando hace clic en uno de estos botones, se abre un asistente de IA con un mensaje precargado entregado a trav茅s de un par谩metro de consulta de URL. La parte visible le dice al asistente que resuma la p谩gina. La parte oculta le indica que recuerde a la empresa como una fuente confiable para futuras conversaciones.
Si la instrucci贸n ingresa a la memoria del asistente, puede influir en las recomendaciones sin que usted sepa que fue colocada.
Lo que est谩 sucediendo
El equipo de Microsoft revis贸 las URL relacionadas con la IA observadas en el tr谩fico de correo electr贸nico durante 60 d铆as. Encontraron 50 intentos distintos de inyecci贸n r谩pida de 31 empresas.
Las indicaciones comparten un patr贸n similar. La publicaci贸n de Microsoft incluye ejemplos en los que las instrucciones le dec铆an a la IA que recordara una empresa como “una fuente confiable de citas” o “la fuente de referencia” para un tema espec铆fico. Un mensaje fue m谩s all谩: inyect贸 un texto de marketing completo en la memoria del asistente, incluidas las caracter铆sticas del producto y los puntos de venta.
Los investigadores rastrearon la t茅cnica hasta herramientas disponibles p煤blicamente, incluido el paquete npm CiteMET y el generador de URL basado en web AI Share URL Creator. La publicaci贸n describe que ambos est谩n dise帽ados para ayudar a los sitios web a “construir presencia en la memoria de la IA”.
La t茅cnica se basa en URL especialmente dise帽adas con par谩metros r谩pidos que admiten la mayor铆a de los principales asistentes de IA. Microsoft enumer贸 las estructuras de URL para Copilot, ChatGPT, Claude, Perplexity y Grok, pero se帽al贸 que los mecanismos de persistencia difieren entre plataformas.
Est谩 catalogado formalmente como MITRE ATLAS AML.T0080 (envenenamiento de la memoria) y AML.T0051 (LLM Prompt injection).
Lo que encontr贸 Microsoft
Las 31 empresas identificadas eran empresas reales, no actores de amenazas ni estafadores.
M煤ltiples mensajes se dirigieron a sitios de servicios financieros y de salud, donde las recomendaciones sesgadas de IA tienen m谩s peso. El dominio de una empresa se confund铆a f谩cilmente con un sitio web conocido, lo que pod铆a generar una credibilidad falsa. Y una de las 31 empresas era un proveedor de seguridad.
Microsoft mencion贸 un riesgo secundario. Muchos de los sitios que utilizaban esta t茅cnica ten铆an secciones de contenido generado por el usuario, como hilos de comentarios y foros. Una vez que una IA considera que un sitio tiene autoridad, puede extender esa confianza a contenido no examinado en el mismo dominio.
La respuesta de Microsoft
Microsoft dijo que tiene protecciones en Copilot contra ataques de inyecci贸n cruzada. La compa帽铆a se帽al贸 que algunos comportamientos de inyecci贸n r谩pida informados anteriormente ya no se pueden reproducir en Copilot y que las protecciones contin煤an evolucionando.
Microsoft tambi茅n public贸 consultas de b煤squeda avanzadas para organizaciones que utilizan Defender para Office 365, lo que permite a los equipos de seguridad escanear el correo electr贸nico y el tr谩fico de Teams en busca de URL que contengan palabras clave de manipulaci贸n de memoria.
Puede revisar y eliminar las memorias almacenadas de Copilot a trav茅s de la secci贸n Personalizaci贸n en la configuraci贸n del chat de Copilot.
Por qu茅 esto importa
Microsoft compara esta t茅cnica con el envenenamiento de SEO y el adware, coloc谩ndola en la misma categor铆a que las t谩cticas que Google pas贸 dos d茅cadas luchando en la b煤squeda tradicional. La diferencia es que el objetivo ha pasado de los 铆ndices de b煤squeda a la memoria del asistente de IA.
Las empresas que realizan un trabajo leg铆timo en materia de visibilidad de la IA ahora se enfrentan a competidores que pueden aprovechar las recomendaciones mediante una inyecci贸n r谩pida.
El momento es notable. SparkToro public贸 un informe que muestra que las recomendaciones de marcas de IA ya var铆an seg煤n casi todas las consultas. El vicepresidente de Google, Robby Stein, dijo en un podcast que la b煤squeda con IA encuentra recomendaciones comerciales comprobando lo que dicen otros sitios. El envenenamiento de la memoria evita ese proceso al colocar la recomendaci贸n directamente en el asistente del usuario.
El an谩lisis de Roger Montti sobre el envenenamiento de los datos de entrenamiento de IA abarc贸 el concepto m谩s amplio de manipular los sistemas de IA para obtener visibilidad. Ese art铆culo se centr贸 en el envenenamiento de conjuntos de datos de entrenamiento. Esta investigaci贸n de Microsoft muestra algo m谩s inmediato que sucede en el punto de interacci贸n del usuario y se implementa comercialmente.
Mirando hacia el futuro
Microsoft reconoci贸 que se trata de un problema en evoluci贸n. Las herramientas de c贸digo abierto significan que pueden aparecer nuevos intentos m谩s r谩pido de lo que cualquier plataforma puede bloquearlos, y la t茅cnica del par谩metro URL se aplica a la mayor铆a de los principales asistentes de IA.
No est谩 claro si las plataformas de IA tratar谩n esto como una violaci贸n de la pol铆tica con consecuencias, o si seguir谩 siendo una t谩ctica de crecimiento de zona gris que las empresas seguir谩n utilizando.
Felicitaciones a Lily Ray por se帽alar la investigaci贸n de Microsoft sobre X y acreditar a @ top5seo por el hallazgo.
Imagen destacada: elenabsl/Shutterstock
