Los agentes de IA ya están aquí, y son... ¿lindos? En las últimas dos semanas, Meta lanzó su asistente personal de IA, Muse, y OpenAI presentó su agente de IA Dots. Estos agentes están diseñados para actuar de forma independiente en nombre de los usuarios: responder correos electrónicos, enviar facturas, reservar vuelos y comprar ropa. Lo que llama la atención es su empaquetado adorable: bots altamente avanzados presentados como compañeros adorables e inofensivos. Los Dots de OpenAI son bolas esponjosas de colores del arcoíris que usan gafas de sol y boinas. La mascota de Muse de Meta, Jolly, es una criatura peluda, regordeta y de mejillas sonrosadas que parece una mezcla entre un Labubu y un Squishmallow.
Pronto, Muse vendrá con el Muse Charm, un accesorio tipo Tamagotchi con la cara de la mascota que puede activarse con un sensor de huellas dactilares. "Hemos empaquetado mucha tecnología para que este pequeño quepa en un llavero y esté siempre disponible para hablar", dijo Mark Zuckerberg durante su discurso de apertura en Meta Connect en septiembre. Meta no ha confirmado si el Muse Charm tendrá cámaras y micrófonos, pero Zuckerberg añadió en el escenario: "Solo tocas el sensor de huellas dactilares en la esquina y puedes empezar a hablar".
Estos agentes han llegado en un momento en que las advertencias apocalípticas más amplias sobre la IA y su posible amenaza para la humanidad son generalizadas, lo que hace que su empaquetado amigable destaque aún más. "Cuando estas empresas hablan con inversores, reguladores e investigadores, la IA se describe como una tecnología extraordinariamente poderosa con preguntas serias y no resueltas sobre seguridad, protección y control", dice la Dra. Sarah Saska, sociotecnóloga y especialista en la relación de la tecnología con la cultura y el poder. "Sin embargo, versiones cada vez más íntimas de la misma tecnología se presentan a los consumidores como amigables, lúdicas, sin fricciones y de bajo riesgo".
En la misma semana en que el CEO de OpenAI, Sam Altman, presentó Dots, la empresa retiró su último modelo de IA y retrasó su salida a bolsa debido a preocupaciones de seguridad existencial sobre la misma tecnología de agentes de IA. Mientras tanto, apenas unas semanas antes de lanzar Muse, Meta acordó un acuerdo de 18.000 millones de dólares con 48 estados de EE. UU. —el mayor acuerdo corporativo en la historia del sector tecnológico— por acusaciones de que el diseño algorítmico de Facebook e Instagram perjudica a los niños.
Las advertencias de seguridad también provienen del interior de las principales empresas rivales: el CEO de Anthropic, Dario Amodei, pidió a la industria que frenara el ritmo de desarrollo de la IA de frontera, una súplica apoyada públicamente por Altman, Elon Musk de xAI y Demis Hassabis de Google DeepMind. (Zuckerberg, por su parte, ha rechazado los llamados a una desaceleración de toda la industria, argumentando en cambio que cada empresa debería decidir por sí misma si y cuándo frenar).
Los usuarios siguen intrigados por estos agentes de IA. En los 10 días posteriores a su lanzamiento, Muse tuvo más de 730.000 descargas en EE. UU. y desbancó a ChatGPT del primer puesto en la clasificación de la App Store de Apple en EE. UU. Días después, el entusiasmo de los inversores en torno al agente ayudó a que las acciones de Meta subieran un 11% en una sola sesión, añadiendo unos 192.000 millones de dólares a su valor de mercado. Sin embargo, en las dos primeras semanas desde su lanzamiento, varios informes plantearon preocupaciones sobre que Muse excedía los permisos previstos por los usuarios, incluido compartir información sensible y realizar acciones que los usuarios dijeron que no habían aprobado explícitamente.
"Mi preocupación es que estos diseños hacen que sistemas poderosos parezcan inofensivos y familiares, animando a las personas a compartir más y cuestionar menos". — Lidia Velkova, directora general de Clever Together Futureproof
Tras utilizar la feminización para suavizar las gafas inteligentes (véanse las asociaciones de gafas inteligentes de Meta con Kylie Jenner y Lisa), los expertos dicen que la kawaiificación es la siguiente frontera para hacer que la tecnología potencialmente inquietante resulte más aceptable para los consumidores. Los investigadores de seguridad de la IA advierten que esta ternura podría bajar la guardia de los consumidores, embotando las preocupaciones sobre privacidad que de otro modo podrían tener antes de entregar a un agente de IA acceso a sus correos electrónicos, mensajes privados y comportamiento de navegación, y mucho menos el poder de gastar en su nombre. "Estas son decisiones de diseño deliberadas, tomadas con una audiencia y una respuesta deseada en mente", dice Lidia Velkova, directora general de Clever Together Futureproof, una agencia de prospectiva de gobernanza y políticas centrada en la IA responsable y el marketing. "La investigación sobre robots sociales muestra que los rasgos infantiles pueden aumentar la confiabilidad percibida; una investigación separada sobre chatbots muestra que la interacción similar a la humana puede aumentar la confianza y la divulgación personal", añade. "Mi preocupación es que estos diseños hacen que sistemas poderosos parezcan inofensivos y familiares, animando a las personas a compartir más y cuestionar menos".
Un colapso de las fronteras del consumidor
Detrás de sus exteriores peludos, los agentes personales de IA representan una escalada significativa en el acceso que se pide a los consumidores que entreguen a las empresas tecnológicas sobre sus vidas digitales. Para ser genuinamente útil, un agente necesita contexto. Muse de Meta puede conectarse a correo electrónico, calendarios, Instagram, Facebook y otras aplicaciones, navegar por la web y realizar compras en nombre de los usuarios; los usuarios también pueden interactuar con él directamente a través de WhatsApp. Pero es precisamente este acceso lo que expone a los consumidores a los mayores riesgos de que sus datos caigan en manos equivocadas.
"Para que Muse sea lo más eficaz posible, lo que lo hace más pegajoso para el público general, por defecto opta por que todos los usuarios utilicen sus interacciones para entrenar su modelo de IA, además de almacenar todos los datos que compartes con él", dice Kate Winick, analista principal de Forrester. "Esto crea un enorme banco de datos personales que puede ser hackeado. Cuanto más le das a Muse, mejor funciona para ti, pero más expuesto estás tanto a malos actores como a malas acciones por parte de Meta".
"Cuanto más le das a Muse, mejor funciona para ti, pero más expuesto estás tanto a malos actores como a malas acciones por parte de Meta". — Kate Winick, analista principal de Forrester
El historial de Meta con los datos de los consumidores les da buenas razones para la cautela: la empresa se ha enfrentado a repetidas multas y demandas por su manejo de datos personales en los últimos años. Apenas unos días después del lanzamiento de Muse, un jurado de Nuevo México determinó que Meta había engañado a los usuarios sobre sus prácticas de datos en un caso derivado del escándalo de Cambridge Analytica en 2018. Un portavoz de Meta dijo a Vogue Business: "No estamos de acuerdo con el veredicto y seguiremos defendiéndonos contra los esfuerzos por distorsionar nuestro historial".
Meta confirma que el uso de las interacciones de Muse para el entrenamiento de IA está habilitado por defecto, aunque los usuarios pueden optar por no participar. También dice que Muse opera dentro de una máquina virtual aislada donde almacena los datos y archivos del usuario, con un sistema Sentinel separado que monitorea y examina las acciones del agente. Pero Meta reconoce que estas salvaguardas no eliminan el riesgo de filtraciones de datos.
"Muse no es inmune a los ataques. La inyección de prompts sigue siendo un problema abierto en la industria, y Muse a veces cometerá errores", dijo Meta en una publicación de blog sobre las medidas de privacidad de la tecnología.
Los primeros usuarios ya están viendo cómo se materializan los riesgos potenciales. Cuando el YouTuber Matt Robb pidió a su Muse que le ayudara a vender un teclado en Facebook Marketplace, su agente compartió posteriormente su dirección particular con un posible comprador, negoció en su nombre y organizó una recogida, y Robb solo se dio cuenta cuando el comprador y su familia aparecieron en la puerta de su casa. Resultó que en este incidente no hubo ninguna brecha técnica ni hackeo; más bien se derivó de un permiso de "permitir siempre" que Robb había seleccionado, entregando efectivamente a Muse las riendas de sus futuras conversaciones en Marketplace, incluida la capacidad de recurrir a detalles personales que había compartido previamente, como su dirección particular.
El CEO de OpenAI, Sam Altman, presentó los nuevos agentes "Dot" del creador de ChatGPT en el DevDay de OpenAI la semana pasada.
Foto: Heather Diehl/Getty Images
El episodio expone el mayor problema de la IA agéntica en la práctica: dónde trazamos la línea entre acceso y autoridad. Los consumidores están acostumbrados a hacer clic en los permisos de las aplicaciones, pero permitir que el software lea información y permitir que un agente actúe en tu nombre es diferente de dejarlo negociar con extraños, compartir tu información y tomar decisiones en tu nombre. Técnicamente, un agente puede mantenerse dentro del permiso que un usuario otorgó mientras hace algo que el usuario nunca imaginó que había autorizado. Una página de ayuda al cliente de Meta sobre cómo Muse realiza pagos dice claramente a los consumidores: "Eres responsable de todas las transacciones que tu Muse realice en tu nombre. Estate atento a las confirmaciones por correo electrónico, recibos y extractos". Un portavoz de Meta dijo a Vogue Business: "Los usuarios pueden tomar el control en cualquier momento, Muse está diseñado para pedir siempre permiso antes de comprar, y aplica principios éticos de navegación cuando se le pide hacer cosas que un humano no podría, como comprar todas las entradas de un evento".
Dónde deben asumir el coste las marcas
La idea es que los agentes navegarán por internet en nuestro nombre, y que la difuminación de la línea entre bot y cliente es un problema creciente para las marcas y los minoristas. Amazon ya ha bloqueado a Muse para que no compre en su sitio, argumentando que Meta no había solicitado el permiso adecuado, el agente no se identificaba como IA y su acceso a cuentas de clientes y credenciales de inicio de sesión planteaba preocupaciones de privacidad y seguridad.
Por el contrario, Muse tiene un camino mucho más fluido hacia marcas y minoristas que le han abierto formalmente sus puertas. Meta ha anunciado integraciones con Walmart, Sephora, Gap y otros, mientras que su asociación con Shopify ya da a Muse acceso estructurado a los catálogos de productos de los comerciantes y, para las tiendas elegibles, una ruta directa a través del pago, dos opciones que Shopify dice que los comerciantes pueden activar o desactivar.
Para las marcas, eso puede significar obtener acceso a un nuevo canal de ventas potencialmente poderoso sin dejar que un agente de IA navegue por sus sitios web sin ayuda. Pero también significa ceder parte del control sobre una parte crucial del recorrido del cliente a Meta. El agente puede situarse cada vez más entre el comprador y la tienda, descubriendo productos, haciendo recomendaciones y completando compras sin que el cliente visite necesariamente el sitio web del minorista. En otras palabras, las marcas pueden ganar un nuevo cliente en Muse mientras ceden parte de los datos y la relación directa que tradicionalmente venían con él. Eso plantea preguntas sobre todo, desde los datos de los clientes y la experiencia de marca hasta el fraude y la responsabilidad cuando un agente se equivoca.
También deja a las marcas más pequeñas en una posición más precaria: sin los recursos o la influencia para negociar integraciones a medida, un agente de IA podría llegar a su sitio y transaccionar en nombre de un cliente sin ninguna relación directa con la empresa detrás de él.
"La marca o el comerciante potencialmente asume el riesgo residual cuando no existe un acuerdo de comerciante con Meta, dejando a los minoristas expuestos a transacciones agénticas no verificadas", dice Nick Phillips, socio de propiedad intelectual en Edwin Coe LLP.
Las preocupaciones sobre estas lagunas llevaron a seis grandes bancos, incluidos Bank of America y Capital One, a pedir conjuntamente esta semana estándares globales comunes que rijan el comercio agéntico, incluidas reglas más claras sobre transparencia, consentimiento del consumidor, fraude, privacidad de datos y quién es responsable cuando una transacción impulsada por IA sale mal.
"Los agentes de IA no son niños, pero cuando toman acciones con las que los clientes no están contentos, los minoristas sentirán la presión de arreglarlo incluso si no están legalmente obligados a hacerlo". Kate Winick, analista principal de Forrester
La intervención de los bancos apunta a la pregunta más amplia sin resolver para las marcas: cuando un agente de IA realiza una compra que un consumidor luego disputa, ¿quién es responsable de arreglarlo? Por ahora, los expertos dicen que gran parte de esa carga aún puede recaer en el minorista.
"Las marcas pueden esperar que toda la responsabilidad que actualmente asumen en las transacciones digitales se aplique a las transacciones agénticas. Deben proteger la seguridad de las compras realizadas en su sitio, representar y entregar los productos con precisión, y tienen que cumplir sus leyes de protección al consumidor existentes, así como gestionar cuestiones reputacionales, tal como siempre lo han hecho", dice Winick.
Señala casos en los que un niño realiza un pedido: si un pedido se realiza a través de Alexa, Amazon normalmente sigue dando un reembolso, aunque su sistema pone la responsabilidad en los padres de evitar el pedido gestionando la configuración de su propia cuenta. "Los agentes de IA no son niños, pero cuando hacen algo con lo que un cliente no está contento, los minoristas sentirán presión para arreglarlo, incluso si no están legalmente obligados a hacerlo", dice.
Preguntas frecuentes
Aquí hay una lista de preguntas frecuentes sobre la tendencia de las grandes tecnológicas de convertir a los agentes de IA en los nuevos Labubus
Preguntas para principiantes
¿Qué significa Labubu en este contexto?
Labubu es un popular peluche coleccionable conocido por ser lindo, personalizable y trendy. Cuando la gente dice que los agentes de IA son los nuevos Labubus, quiere decir que las empresas tecnológicas están intentando que los asistentes de IA se sientan como compañeros digitales imprescindibles y llenos de personalidad, en lugar de simples herramientas aburridas.
¿Qué es un agente de IA?
Un agente de IA es un programa de software que puede pensar, planificar y actuar por sí solo para ayudarte. A diferencia de un simple chatbot, puede navegar por la web, enviar correos electrónicos o reservar citas sin que guíes cada paso.
¿Por qué querrían las grandes tecnológicas que los agentes de IA fueran como juguetes?
Porque los juguetes son emocionales. Si te sientes apegado a tu agente de IA, es más probable que lo uses todos los días, le compres accesorios y te mantengas leal al ecosistema de esa empresa. Se trata de convertir una utilidad en un hábito.
¿Estos agentes de IA son realmente juguetes físicos?
No. Son personajes digitales o avatares que viven dentro de aplicaciones, teléfonos o altavoces inteligentes. Sin embargo, algunas empresas venden accesorios físicos para que se sientan más reales.
¿Qué empresas están haciendo esto?
OpenAI, Google, Meta y startups como CharacterAI y Rabbit están impulsando agentes de IA con personalidades distintas.
Preguntas intermedias
¿Qué hace que un agente de IA se sienta como un coleccionable?
Las características clave incluyen:
Personalidad: una voz, humor o historia de fondo únicos.
Personalización: puedes cambiar su aspecto, nombre y habilidades.
Rareza o exclusividad: agentes por tiempo limitado o habilidades especiales.
Intercambio o compartir: puedes presumir de tu agente ante tus amigos.
¿Cuáles son los beneficios de esta tendencia?
Más fácil de usar: un personaje amigable resulta menos intimidante que un cuadro de texto en blanco.
Mejor engagement: realmente quieres hablar con él.
Personalización: aprende tus preferencias y se adapta.
Diversión: hace que tareas mundanas como programar citas se sientan lúdicas.
¿Cuáles son los problemas comunes de este enfoque?