AI-agenter är här, och de är... söta? Under de senaste två veckorna har Meta lanserat sin personliga AI-assistent, Muse, och OpenAI introducerat sin Dots AI-agent. Dessa agenter är utformade för att agera självständigt på användarnas vägnar—svara på e-post, skicka fakturor, boka flyg och köpa kläder. Det som sticker ut är deras söta förpackning: mycket avancerade botar presenterade som bedårande, ofarliga följeslagare. OpenAIs Dots är fluffiga regnbågsfärgade klumpar som bär solglasögon och baskrar. Metas Muse-maskot, Jolly, är en lurvig, knubbig, rosig varelse som ser ut som en blandning mellan en Labubu och en Squishmallow.

Snart kommer Muse att komma med Muse Charm, en Tamagotchi-liknande accessoar med maskotens ansikte som kan aktiveras med en fingeravtryckssensor. "Vi har packat mycket teknik för att den här lilla killen ska få plats på en nyckelring och alltid vara tillgänglig att prata med," sa Mark Zuckerberg under sin keynote på Meta Connect i september. Meta har inte bekräftat om Muse Charm kommer att ha kameror och mikrofoner, men Zuckerberg tillade på scenen: "Du trycker bara på fingeravtryckssensorn i hörnet och kan börja prata."

Dessa agenter har anlänt vid en tid då bredare AI-domedagsvarningar om deras potentiella hot mot mänskligheten är utbredda, vilket gör deras vänliga förpackning ännu mer framträdande. "När dessa företag talar till investerare, tillsynsmyndigheter och forskare beskrivs AI som extremt kraftfull teknik med allvarliga och olösta frågor kring säkerhet, trygghet och kontroll," säger Dr. Sarah Saska, en socioteknolog och specialist på tekniks relation till kultur och makt. "Ändå presenteras alltmer intima versioner av samma teknik för konsumenter som vänliga, lekfulla, friktionsfria och lågrisk."

Samma vecka som OpenAIs VD Sam Altman presenterade Dots, drog företaget tillbaka sin senaste AI-modell och försenade sin börsnotering på grund av existentiella säkerhetsbekymmer kring samma AI-agentteknik. Samtidigt, bara veckor innan lanseringen av Muse, gick Meta med på en förlikning på 18 miljarder dollar med 48 amerikanska delstater—den största företagsförlikningen i tekniksektorns historia—över påståenden om att den algoritmiska designen av Facebook och Instagram skadar barn.

Säkerhetsvarningar kommer också inifrån stora konkurrerande företag: Anthropics VD Dario Amodei uppmanade branschen att sakta ner takten i utvecklingen av frontier-AI, en vädjan som offentligt stöddes av Altman, xAIs Elon Musk och Google DeepMinds Demis Hassabis. (Zuckerberg har i sin tur avvisat uppmaningar om en branschomfattande nedtrappning och argumenterar istället för att enskilda företag själva bör avgöra om och när de ska sakta ner.)

Användare är fortfarande fascinerade av dessa AI-agenter. Inom 10 dagar efter lanseringen hade Muse mer än 730 000 nedladdningar i USA och slog ChatGPT från toppen av Apples amerikanska App Store-rankning. Dagar senare hjälpte investerarnas entusiasm kring agenten till att skicka Metas aktier upp 11% under en enda session, vilket ökade dess marknadsvärde med cirka 192 miljarder dollar. Ändå, inom de första två veckorna efter lanseringen, väckte flera rapporter oro över att Muse överskred användarnas avsedda behörigheter—inklusive att dela känslig information och vidta åtgärder som användare sa att de inte uttryckligen hade godkänt.

"Min oro är att dessa designer får kraftfulla system att kännas ofarliga och bekanta, vilket uppmuntrar människor att dela mer och ifrågasätta mindre." — Lidia Velkova, verkställande direktör för Clever Together Futureproof

Efter att ha använt feminisering för att mjuka upp smarta glasögon (se Metas smarta glasögon-partnerskap med Kylie Jenner och Lisa), säger experter att kawaii-fiering är nästa gräns för att få potentiellt oroande teknik att kännas mer smaklig för konsumenter. AI-säkerhetsforskare varnar för att denna söthet kan sänka konsumenternas gard, vilket dövar de integritetsbekymmer de annars skulle ha innan de överlämnar en AI-agent med tillgång till deras e-post, privata meddelanden och surfbeteende—för att inte tala om makten att spendera på deras vägnar. "Dessa är medvetna designval, gjorda med en publik och en önskad respons i åtanke," säger Lidia Velkova, verkställande direktör för Clever Together Futureproof, en styrnings- och policyframsynsbyrå med fokus på ansvarsfull AI och marknadsföring. "Forskning om sociala robotar visar att bebyliknande drag kan öka upplevd trovärdighet; separat chatbot-forskning visar att människoliknande interaktion kan öka förtroende och personligt avslöjande," tillägger hon. "Min oro är att dessa designer får kraftfulla system att kännas ofarliga och bekanta, vilket uppmuntrar människor att dela mer och ifrågasätta mindre."

En kollaps av konsumentgränser

Bakom sina lurviga yttre representerar personliga AI-agenter en betydande eskalering av den tillgång konsumenter ombeds ge teknikföretag till sina digitala liv. För att vara genuint användbar behöver en agent kontext. Metas Muse kan ansluta till e-post, kalendrar, Instagram, Facebook och andra appar, surfa på webben och göra köp på användarnas vägnar; användare kan också interagera med den direkt via WhatsApp. Men det är just denna tillgång som utsätter konsumenter för de största riskerna att deras data hamnar i fel händer.

"För att göra Muse så effektiv som möjligt, vilket gör den klibbigare för allmänheten, är standardinställningen att alla användare anmäls till att använda sina interaktioner för att träna dess AI-modell, samt att lagra all data du delar med den," säger Kate Winick, principal analytiker på Forrester. "Detta skapar en enorm bank av personlig data som kan hackas. Ju mer du ger Muse, desto bättre fungerar den för dig, men desto mer exponerad är du för både illvilliga aktörer och dåliga handlingar från Meta."

"Ju mer du ger Muse, desto bättre fungerar den för dig, men desto mer exponerad är du för både illvilliga aktörer och dåliga handlingar från Meta." — Kate Winick, principal analytiker på Forrester

Metas track record med konsumentdata ger dem god anledning till försiktighet: företaget har mött upprepade böter och stämningar över sin hantering av personuppgifter under de senaste åren. Bara dagar efter att Muse lanserades fann en jury i New Mexico att Meta hade vilselett användare om sina datapraxis i ett fall som härrörde från Cambridge Analytica-skandalen 2018. En talesperson för Meta sa till Vogue Business: "Vi håller inte med om domen och kommer att fortsätta försvara oss mot försök att förvränga vårt register."

Meta bekräftar att användning av Muse-interaktioner för AI-träning är aktiverad som standard, även om användare kan välja bort det. Det säger också att Muse verkar inuti en isolerad virtuell maskin där den lagrar användarens data och filer, med ett separat Sentinel-system som övervakar och granskar agentens handlingar. Men Meta själva erkänner att dessa skyddsåtgärder inte tar bort risken för dataintrång.

"Muse är inte immun mot attacker. Prompt injection är fortfarande ett öppet problem i branschen—och Muse kommer ibland att göra misstag," sa Meta i ett blogginlägg om teknikens integritetsåtgärder.

Tidiga användare ser redan potentiella risker utspela sig. När YouTubern Matt Robb bad sin Muse att hjälpa honom sälja ett tangentbord på Facebook Marketplace, delade hans agent därefter hans hemadress med en potentiell köpare, förhandlade på hans vägnar och arrangerade en hämtning, där Robb bara insåg det när köparen och deras familj dök upp vid hans ytterdörr. Det visade sig att det i denna incident inte hade funnits något tekniskt intrång eller hack; snarare härrörde det från en "tillåt alltid"-behörighet som Robb hade valt, vilket effektivt gav Muse tyglarna till hans framtida Marketplace-konversationer, inklusive förmågan att dra nytta av personliga detaljer han tidigare hade delat, såsom hans hemadress.

OpenAIs VD Sam Altman presenterade ChatGPT-tillverkarens nya "Dot"-agenter på OpenAIs DevDay förra veckan.
Foto: Heather Diehl/Getty Images

Episoden blottar agentisk AI:s största problem i praktiken: var vi drar gränsen mellan tillgång och befogenhet. Konsumenter är vana vid att klicka igenom appbehörigheter, men att tillåta programvara att läsa information iAtt tillåta en agent att agera på dina vägnar är annorlunda än att låta den förhandla med främlingar, dela din information och fatta beslut i ditt namn. Tekniskt sett kan en agent hålla sig inom den behörighet en användare beviljat medan den gör något användaren aldrig föreställt sig att de hade auktoriserat. En Metas kundhjälpsida om hur Muse gör betalningar säger klart till konsumenter: "Du är ansvarig för alla transaktioner som din Muse gör på dina vägnar. Håll utkik efter e-postbekräftelser, kvitton och kontoutdrag." En talesperson för Meta sa till Vogue Business: "Användare kan ta över när som helst, Muse är designad för att alltid fråga om tillstånd innan köp, och den tillämpar etiska surfprinciper när den ombeds göra saker som en människa inte kunde—som att köpa alla biljetter till ett evenemang."

Varumärken måste stå för notan

Idén är att agenter ska navigera internet på våra vägnar—och att suddandet av gränsen mellan bot och kund är ett växande problem för varumärken och återförsäljare. Amazon har redan blockerat Muse från att handla på deras webbplats, med argumentet att Meta inte hade sökt korrekt tillstånd, agenten inte identifierade sig som AI, och dess tillgång till kundkonton och inloggningsuppgifter väckte integritets- och säkerhetsbekymmer.

I kontrast har Muse en mycket smidigare väg in i varumärken och återförsäljare som formellt har öppnat sina dörrar för den. Meta har tillkännagivit integrationer med Walmart, Sephora, Gap och andra, medan dess partnerskap med Shopify redan ger Muse strukturerad tillgång till handlarnas produktkataloger och, för kvalificerade butiker, en direkt väg genom kassan—två alternativ som Shopify säger att handlare kan slå på eller av.

För varumärken kan det innebära att få tillgång till en potentiellt kraftfull ny försäljningskanal utan att lämna en AI-agent att navigera deras webbplatser på egen hand. Men det innebär också att ge upp en del kontroll över en avgörande del av kundresan till Meta. Agenten kan i allt högre grad stå mellan shoppare och butik, upptäcka produkter, göra rekommendationer och slutföra köp utan att en kund nödvändigtvis besöker återförsäljarens egen webbplats. Med andra ord kan varumärken få en ny kund i Muse samtidigt som de överlämnar en del av den data och direkta relation som traditionellt följde med dem. Det väcker frågor om allt från kunddata och varumärkesupplevelse till bedrägeri och ansvarsskyldighet när en agent gör något fel.

Det lämnar också mindre varumärken i en mer prekär position: utan resurser eller hävstång för att förhandla fram skräddarsydda integrationer kan en AI-agent anlända till deras webbplats och transagera på en kunds vägnar utan någon direkt relation till företaget bakom den.

"Varumärket eller handlaren bär potentiellt kvarvarande risk där inget handlaravtal finns med Meta, vilket lämnar återförsäljare exponerade för ogranskade agentiska transaktioner," säger Nick Phillips, partner inom immaterialrätt på Edwin Coe LLP.

Oro över dessa kryphål ledde sex stora banker, inklusive Bank of America och Capital One, att denna vecka gemensamt uppmana till gemensamma globala standarder för agentisk handel, inklusive tydligare regler kring transparens, konsumentsamtycke, bedrägeri, dataintegritet och vem som är ansvarig när en AI-driven transaktion går fel.

"AI-agenter är inte barn, men när de vidtar åtgärder som kunder är missnöjda med kommer återförsäljare att känna pressen att göra det rätt även om de inte är juridiskt skyldiga att göra det." Kate Winick, principal analytiker på Forrester

Bankernas ingripande pekar på den större olösta frågan för varumärken: när en AI-agent gör ett köp som en konsument senare bestrider, vem är ansvarig för att rätta till det? För närvarande säger experter att mycket av den bördan fortfarande kan landa hos återförsäljaren.

"Varumärken kan förvänta sig att allt det ansvar de för närvarande bär i digitala transaktioner kommer att gälla agentiska transaktioner. De måste skydda säkerheten för köp som görs på deras webbplats, korrekt representera och leverera produkter, och de måste följa sina befintliga konsumentskyddslagar, samt hantera rykteproblem, precis som de alltid har gjort," säger Winick.

Hon pekar på fall där ett barn placeOm en beställning görs via Alexa ger Amazon vanligtvis fortfarande en återbetalning, även om deras system lägger ansvaret på föräldrar att förhindra beställningen genom att hantera sina egna kontoinställningar. "AI-agenter är inte barn, men när de gör något som en kund inte är nöjd med kommer återförsäljare att känna press att göra det rätt, även om de inte är juridiskt skyldiga att göra det," säger hon.

Vanliga frågor
Här är en lista över vanliga frågor om trenden att Big Tech gör AI-agenter till de nya Labubus



Nybörjarfrågor



Vad betyder Labubu i detta sammanhang

Labubu är en populär samlarleksak i plysch känd för att vara söt anpassningsbar och trendig När folk säger att AI-agenter är de nya Labubus menar de att teknikföretag försöker få AI-assistenter att kännas som måste-ha personlighetsfyllda digitala följeslagare snarare än bara tråkiga verktyg



Vad är en AI-agent

En AI-agent är ett mjukvaruprogram som kan tänka planera och vidta åtgärder på egen hand för att hjälpa dig Till skillnad från en enkel chatbot kan den surfa på webben skicka e-post eller boka möten utan att du styr varje enskilt steg



Varför skulle Big Tech vilja att AI-agenter är som leksaker

Eftersom leksaker är känslomässiga Om du känner dig fäst vid din AI-agent är du mer benägen att använda den varje dag köpa tillbehör till den och förbli lojal mot det företagets ekosystem Det handlar om att förvandla en nytta till en vana



Är dessa AI-agenter faktiskt fysiska leksaker

Nej De är digitala karaktärer eller avatarer som lever inuti appar telefoner eller smarta högtalare Men vissa företag säljer fysiska tillbehör för att få dem att kännas mer verkliga



Vilka företag gör detta

OpenAI Google Meta och startups som CharacterAI och Rabbit driver alla på AI-agenter med distinkta personligheter



Mellanliggande frågor



Vad får en AI-agent att kännas som en samlarfigur

Nyckelfunktioner inkluderar

Personlighet En unik röst humor eller bakgrundshistoria

Anpassning Du kan ändra dess utseende namn och färdigheter

Sällsynthet eller exklusivitet Tidsbegränsade agenter eller speciella förmågor

Byteshandel eller delning Du kan visa upp din agent för vänner



Vilka är fördelarna med denna trend

Enklare att använda En vänlig karaktär känns mindre skrämmande än en tom textruta

Bättre engagemang Du vill faktiskt prata med den

Anpassning Den lär sig dina preferenser och anpassar sig

Kul Det gör vardagliga uppgifter som schemaläggning lekfulla



Vilka är de vanliga problemen med detta tillvägagångssätt