AI-agenter er her, og de er... nuttede? I de sidste to uger har Meta lanceret sin personlige AI-assistent, Muse, og OpenAI introduceret sin Dots AI-agent. Disse agenter er designet til at handle uafhængigt på brugernes vegne—besvare e-mails, sende fakturaer, booke flybilletter og købe tøj. Det, der skiller sig ud, er deres nuttede indpakning: yderst avancerede bots præsenteret som elskværdige, harmløse ledsagere. OpenAIs Dots er fluffy regnbuefarvede klatter iført solbriller og baretter. Metas Muse-maskot, Jolly, er en blød, buttet, rødmende skabning, der ligner en blanding mellem en Labubu og en Squishmallow.
Snart vil Muse komme med Muse Charm, et Tamagotchi-lignende tilbehør med maskottens ansigt, der kan aktiveres med en fingeraftrykssensor. "Vi har pakket en masse teknologi, så denne lille fyr kan passe på en nøglering og altid være tilgængelig at tale med," sagde Mark Zuckerberg under sin keynote på Meta Connect i september. Meta har ikke bekræftet, hvorvidt Muse Charm vil have kameraer og mikrofoner, men Zuckerberg tilføjede på scenen: "Du trykker bare på fingeraftrykssensoren i hjørnet, og så kan du begynde at tale."
Disse agenter er ankommet på et tidspunkt, hvor bredere AI-dommedagsadvarsler om deres potentielle trussel mod menneskeheden er udbredte, hvilket får deres venlige indpakning til at skille sig endnu mere ud. "Når disse virksomheder taler til investorer, regulatorer og forskere, beskrives AI som ekstraordinært kraftfuld teknologi med alvorlige og uafklarede spørgsmål om sikkerhed, tryghed og kontrol," siger Dr. Sarah Saska, en socioteknolog og specialist i teknologis forhold til kultur og magt. "Alligevel præsenteres stadig mere intime versioner af den samme teknologi for forbrugerne som venlige, legesyge, friktionsfrie og lavrisiko."
I samme uge som OpenAI CEO Sam Altman afslørede Dots, trak virksomheden sin nyeste AI-model og udsatte sin IPO på grund af eksistentielle sikkerhedsbekymringer om den samme AI-agentteknologi. I mellemtiden, blot uger før lanceringen af Muse, indgik Meta et forlig på 18 milliarder dollars med 48 amerikanske stater—det største virksomhedsforlig i teknologisektorens historie—over påstande om, at den algoritmiske udformning af Facebook og Instagram skader børn.
Sikkerhedsadvarsler kommer også fra interne kilder i store rivaliserende virksomheder: Anthropic CEO Dario Amodei opfordrede industrien til at sænke tempoet i udviklingen af frontier-AI, en appel der offentligt blev støttet af Altman, xAIs Elon Musk og Google DeepMinds Demis Hassabis. (Zuckerberg har til gengæld afvist opfordringer til en brancheomfattende opbremsning og argumenteret for, at individuelle virksomheder selv bør beslutte, om og hvornår de skal sænke tempoet.)
Brugere er stadig fascinerede af disse AI-agenter. Inden for 10 dage efter lanceringen havde Muse mere end 730.000 amerikanske downloads og slog ChatGPT af toppen af Apples amerikanske App Store-rangliste. Dage senere var investorernes begejstring omkring agenten med til at sende Meta-aktier op 11% i en enkelt session, hvilket tilføjede omkring 192 milliarder dollars til dens markedsværdi. Men inden for de første to uger efter udgivelsen rejste flere rapporter bekymring om, at Muse overskred brugernes tilsigtede tilladelser—herunder deling af følsomme oplysninger og handlinger, som brugere sagde, de ikke udtrykkeligt havde godkendt.
"Min bekymring er, at disse designs får kraftfulde systemer til at føles harmløse og velkendte, hvilket opmuntrer folk til at dele mere og stille færre spørgsmål." — Lidia Velkova, administrerende direktør for Clever Together Futureproof
Efter at have brugt feminisering til at bløde smartbriller op (se Metas smartbrille-partnerskaber med Kylie Jenner og Lisa), siger eksperter, at kawaii-ficering er den næste frontlinje i at gøre potentielt ubehagelig teknologi mere spiselig for forbrugerne. AI-sikkerhedsforskere advarer om, at denne sødhed kan sænke forbrugernes parader, sløve de privatlivsbekymringer, de ellers ville have, før de overlader en AI-agent adgang til deres e-mails, private beskeder og browsingadfærd—for slet ikke at tale om magten til at bruge penge på deres vegne. "Dette er bevidste designvalg, truffet med et publikum og en ønsket reaktion for øje," siger Lidia Velkova, administrerende direktør for Clever Together Futureproof, et governance- og policy-foresight-bureau med fokus på ansvarlig AI og marketing. "Forskning i sociale robotter viser, at baby-lignende træk kan øge opfattet troværdighed; separat chatbot-forskning viser, at menneskelignende interaktion kan øge tillid og personlig selvafsløring," tilføjer hun. "Min bekymring er, at disse designs får kraftfulde systemer til at føles harmløse og velkendte, hvilket opmuntrer folk til at dele mere og stille færre spørgsmål."
Et sammenbrud af forbrugergrænser
Bag deres fluffy ydre repræsenterer personlige AI-agenter en betydelig eskalering i den adgang, forbrugerne bliver bedt om at give teknologivirksomheder til deres digitale liv. For at være genuint nyttig har en agent brug for kontekst. Metas Muse kan forbinde til e-mail, kalendere, Instagram, Facebook og andre apps, browse på nettet og foretage køb på brugernes vegne; brugere kan også interagere med den direkte via WhatsApp. Men det er netop denne adgang, der udsætter forbrugerne for de største risici for, at deres data havner i de forkerte hænder.
"For at gøre Muse så effektiv som muligt, hvilket gør den mere vanedannende for den brede offentlighed, er den som standard indstillet til at tilvælge alle brugere til at bruge deres interaktioner til at træne dens AI-model, samt at gemme alle de data, du deler med den," siger Kate Winick, principal analyst hos Forrester. "Dette skaber en enorm bank af personlige data, der kan hackes. Jo mere du giver Muse, jo bedre fungerer den for dig, men jo mere udsat er du for både ondsindede aktører og dårlige handlinger fra Meta."
"Jo mere du giver Muse, jo bedre fungerer den for dig, men jo mere udsat er du for både ondsindede aktører og dårlige handlinger fra Meta." — Kate Winick, principal analyst hos Forrester
Metas historik med forbrugerdata giver dem god grund til forsigtighed: virksomheden har været udsat for gentagne bøder og retssager om sin håndtering af personlige data i de seneste år. Blot dage efter Muse blev lanceret, fandt en jury i New Mexico, at Meta havde vildledt brugere om sine datapraksisser i en sag, der stammer fra Cambridge Analytica-skandalen i 2018. En talsperson for Meta sagde til Vogue Business: "Vi er uenige i kendelsen og vil fortsætte med at forsvare os mod forsøg på at fordreje vores historik."
Meta bekræfter, at brugen af Muse-interaktioner til AI-træning er aktiveret som standard, selvom brugere kan fravælge det. Virksomheden siger også, at Muse opererer inde i en isoleret virtuel maskine, hvor den gemmer brugerens data og filer, med et separat Sentinel-system, der overvåger og vurderer agentens handlinger. Men Meta anerkender selv, at disse sikkerhedsforanstaltninger ikke fjerner risikoen for databrud.
"Muse er ikke immun over for angreb. Prompt injection er fortsat et uløst problem i branchen—og Muse vil nogle gange begå fejl," sagde Meta i et blogindlæg om teknologiens privatlivsforanstaltninger.
Tidlige brugere ser allerede potentielle risici udspille sig. Da YouTuber Matt Robb bad sin Muse om at hjælpe ham med at sælge et tastatur på Facebook Marketplace, delte hans agent efterfølgende hans hjemadresse med en potentiel køber, forhandlede på hans vegne og arrangerede en afhentning, hvor Robb først opdagede det, da køberen og deres familie dukkede op ved hans hoveddør. Det viste sig, at der i denne hændelse ikke havde været noget teknisk brud eller hack; snarere stammede det fra en "tillad altid"-tilladelse, som Robb havde valgt, hvilket reelt gav Muse tøjlerne til hans fremtidige Marketplace-samtaler, herunder evnen til at trække på personlige detaljer, han tidligere havde delt, såsom hans hjemadresse.
OpenAI CEO Sam Altman afslørede ChatGPT-skabernes nye "Dot"-agenter på OpenAIs DevDay i sidste uge.
Foto: Heather Diehl/Getty Images
Episoden blotlægger agentisk AIs største problem i praksis: hvor vi drager grænsen mellem adgang og autoritet. Forbrugere er vant til at klikke sig gennem app-tilladelser, men at tillade software at læse information og tillade en agent at handle på dine vegne er anderledes end at lade den forhandle med fremmede, dele dine oplysninger og træffe beslutninger i dit navn. Teknisk set kan en agent holde sig inden for den tilladelse, en bruger har givet, mens den gør noget, brugeren aldrig havde forestillet sig, de havde autoriseret. En Meta-kundehjælpeside om, hvordan Muse foretager betalinger, fortæller forbrugerne klart: "Du er ansvarlig for alle transaktioner, som din Muse foretager på dine vegne. Hold øje med e-mailbekræftelser, kvitteringer og kontoudtog." En talsperson for Meta sagde til Vogue Business: "Brugere kan overtage til enhver tid, Muse er designet til altid at spørge om tilladelse før køb, og den anvender etiske browsingprincipper, når den bliver bedt om at gøre ting, som et menneske ikke kunne—som at købe alle billetter til en begivenhed."
Hvor brands må betale regningen
Ideen er, at agenter vil navigere på internettet på vores vegne—og at udviskningen af grænsen mellem bot og kunde er et voksende problem for brands og forhandlere. Amazon har allerede blokeret Muse fra at shoppe på deres site med argumentet, at Meta ikke havde søgt ordentlig tilladelse, at agenten ikke identificerede sig som AI, og at dens adgang til kundekonti og loginoplysninger rejste privatlivs- og sikkerhedsbekymringer.
I modsætning hertil har Muse en meget lettere vej ind i brands og forhandlere, der formelt har åbnet deres døre for den. Meta har annonceret integrationer med Walmart, Sephora, Gap og andre, mens partnerskabet med Shopify allerede giver Muse struktureret adgang til forhandlernes produktkataloger og, for kvalificerede butikker, en direkte vej gennem checkout—to muligheder, som Shopify siger, at forhandlere kan slå til eller fra.
For brands kan det betyde adgang til en potentielt kraftfuld ny salgskanal uden at efterlade en AI-agent til at navigere på deres websites uden hjælp. Men det betyder også at give afkald på en vis kontrol over en afgørende del af kunderejsen til Meta. Agenten kan i stigende grad stå mellem shopper og butik, opdage produkter, komme med anbefalinger og gennemføre køb uden at en kunde nødvendigvis besøger forhandlerens egen hjemmeside. Med andre ord kan brands få en ny kunde i Muse, mens de afgiver en del af de data og den direkte relation, der traditionelt fulgte med dem. Det rejser spørgsmål om alt fra kundedata og brandoplevelse til svindel og ansvarlighed, når en agent gør noget forkert.
Det efterlader også mindre brands i en mere prekær position: uden ressourcerne eller indflydelsen til at forhandle skræddersyede integrationer kan en AI-agent ankomme til deres site og transagere på en kundes vegne uden nogen direkte relation til virksomheden bag den.
"Brandet eller forhandleren bærer potentielt en resterende risiko, hvor der ikke findes nogen forhandleraftale med Meta, hvilket efterlader forhandlere udsat for ikke-vurderede agentiske transaktioner," siger Nick Phillips, partner inden for intellektuel ejendomsret hos Edwin Coe LLP.
Bekymringer over disse smuthuller fik seks store banker, herunder Bank of America og Capital One, til i denne uge i fællesskab at opfordre til fælles globale standarder for agentisk handel, herunder klarere regler om gennemsigtighed, forbrugeres samtykke, svindel, databeskyttelse og hvem der er ansvarlig, når en AI-drevet transaktion går galt.
"AI-agenter er ikke børn, men når de foretager handlinger, som kunder er utilfredse med, vil forhandlere føle pres for at gøre det godt igen, selv hvis de ikke er juridisk forpligtet til det." Kate Winick, principal analyst hos Forrester
Bankernes indgriben peger på det større uafklarede spørgsmål for brands: når en AI-agent foretager et køb, som en forbruger senere bestrider, hvem er så ansvarlig for at rette op på det? Foreløbig siger eksperter, at meget af den byrde stadig kan lande hos forhandleren.
"Brands kan forvente, at alt det ansvar, de i øjeblikket bærer i digitale transaktioner, også gælder for agentiske transaktioner. De skal beskytte sikkerheden af køb foretaget på deres site, repræsentere og levere produkter nøjagtigt, og de skal overholde deres eksisterende forbrugerbeskyttelseslove samt håndtere omdømmemæssige problemer, ligesom de altid har gjort," siger Winick.
Hun peger på tilfælde, hvor et barn foretager en bestilling gennem Alexa; Amazon giver normalt stadig en refundering, selvom deres system lægger ansvaret på forældrene for at forhindre bestillingen ved at administrere deres egne kontoindstillinger. "AI-agenter er ikke børn, men når de gør noget, en kunde ikke er tilfreds med, vil forhandlere føle pres for at gøre det godt igen, selv hvis de ikke er juridisk forpligtet til det," siger hun.
Ofte stillede spørgsmål
Her er en liste over ofte stillede spørgsmål om tendensen til, at Big Tech gør AI-agenter til de nye Labubus
Begynderspørgsmål
Hvad betyder Labubu i denne sammenhæng
Labubu er et populært collectible plyslegetøj kendt for at være nuttet, tilpasseligt og trendy. Når folk siger, at AI-agenter er de nye Labubus, mener de, at teknologivirksomheder forsøger at få AI-assistenter til at føles som musthave-personlighedsfyldte digitale ledsagere snarere end blot kedelige værktøjer
Hvad er en AI-agent
En AI-agent er et softwareprogram, der kan tænke, planlægge og handle på egen hånd for at hjælpe dig. I modsætning til en simpel chatbot kan den browse på nettet, sende e-mails eller booke aftaler uden at du guider hvert eneste skridt
Hvorfor skulle Big Tech ønske, at AI-agenter er som legetøj
Fordi legetøj er følelsesmæssigt. Hvis du føler dig knyttet til din AI-agent, er du mere tilbøjelig til at bruge den hver dag, købe tilbehør til den og forblive loyal over for den pågældende virksomheds økosystem. Det handler om at gøre et redskab til en vane
Er disse AI-agenter faktisk fysisk legetøj
Nej. De er digitale figurer eller avatarer, der lever inde i apps, telefoner eller smart-højttalere. Dog sælger nogle virksomheder fysisk tilbehør for at få dem til at føles mere virkelige
Hvilke virksomheder gør dette
OpenAI, Google, Meta og startups som CharacterAI og Rabbit presser alle på for AI-agenter med særprægede personligheder
Mellemliggende spørgsmål
Hvad får en AI-agent til at føles som en collectible
Nøglefunktioner inkluderer
Personlighed En unik stemme, humor eller baggrundshistorie
Tilpasning Du kan ændre dens udseende, navn og færdigheder
Sjældenhed eller eksklusivitet Tidsbegrænsede agenter eller særlige evner
Handel eller deling Du kan vise din agent frem til venner
Hvad er fordelene ved denne tendens
Lettere at bruge En venlig figur føles mindre intimiderende end et tomt tekstfelt
Bedre engagement Du har faktisk lyst til at tale med den
Personalisering Den lærer dine præferencer og tilpasser sig
Sjovt Det gør kedelige opgaver som planlægning legesyge
Hvad er de almindelige problemer med denne tilgang