AI-agenter er her, og de er ... søte? I løpet av de siste to ukene lanserte Meta sin personlige AI-assistent, Muse, og OpenAI introduserte sin Dots AI-agent. Disse agentene er designet for å handle uavhengig på vegne av brukere – svare på e-poster, sende fakturaer, bestille flyreiser og kjøpe klær. Det som skiller seg ut, er deres søte innpakning: svært avanserte boter presentert som bedårende, ufarlige følgesvenner. OpenAIs Dots er luftige regnbuefargede klumper som har på seg solbriller og baskerluer. Metas Muse-maskot, Jolly, er en lodden, lubben, rosenrød skapning som ser ut som en blanding mellom en Labubu og en Squishmallow.

Snart vil Muse komme med Muse Charm, et Tamagotchi-lignende tilbehør med maskotens ansikt som kan aktiveres med en fingeravtrykkssensor. «Vi har pakket mye teknologi for at denne lille karen skal passe på et nøkkelring og alltid være tilgjengelig for å snakke med,» sa Mark Zuckerberg under sin keynote på Meta Connect i september. Meta har ikke bekreftet om Muse Charm vil ha kameraer og mikrofoner, men Zuckerberg la til på scenen: «Du bare trykker på fingeravtrykkssensoren i hjørnet, og så kan du begynne å snakke.»

Disse agentene har kommet på et tidspunkt da bredere AI-dommedagsvarsler om deres potensielle trussel mot menneskeheten er utbredt, noe som gjør deres vennlige innpakning enda mer bemerkelsesverdig. «Når disse selskapene snakker med investorer, regulatorer og forskere, beskrives AI som ekstraordinært kraftig teknologi med alvorlige og uløste spørsmål knyttet til sikkerhet, trygghet og kontroll,» sier Dr. Sarah Saska, en sosioteknolog og spesialist på teknologis forhold til kultur og makt. «Likevel presenteres stadig mer intime versjoner av den samme teknologien for forbrukere som vennlige, lekne, friksjonsfrie og lavinnsats.»

I samme uke som OpenAIs CEO Sam Altman avduket Dots, trakk selskapet sin nyeste AI-modell og utsatte sin børsnotering på grunn av eksistensielle sikkerhetsbekymringer knyttet til den samme AI-agentteknologien. I mellomtiden, bare uker før lanseringen av Muse, inngikk Meta et forlik på 18 milliarder dollar med 48 amerikanske delstater – det største bedriftsforliket i teknologisektorens historie – over påstander om at den algoritmiske utformingen av Facebook og Instagram skader barn.

Sikkerhetsadvarsler kommer også fra innsiden av store rivaliserende selskaper: Anthropics CEO Dario Amodei oppfordret bransjen til å bremse tempoet i utviklingen av frontier-AI, en bønn som offentlig ble støttet av Altman, xAIs Elon Musk og Google DeepMinds Demis Hassabis. (Zuckerberg har på sin side avvist oppfordringer om en bransjeomfattende nedbremsing, og argumentert i stedet for at individuelle selskaper selv bør bestemme om og når de skal bremse.)

Brukere er fortsatt fascinert av disse AI-agentene. Innen 10 dager etter lanseringen hadde Muse mer enn 730 000 nedlastinger i USA og dyttet ChatGPT ned fra toppen av Apples amerikanske App Store-rangering. Dager senere bidro investorbegeistring rundt agenten til å sende Meta-aksjen opp 11 % i en enkelt økt, noe som la til omtrent 192 milliarder dollar i markedsverdi. Likevel, innen de første to ukene etter utgivelsen, reiste flere rapporter bekymring for at Muse gikk utover brukernes tiltenkte tillatelser – inkludert å dele sensitiv informasjon og utføre handlinger brukere sa de ikke uttrykkelig hadde godkjent.

«Min bekymring er at disse designene får kraftige systemer til å føles ufarlige og kjente, og oppmuntrer folk til å dele mer og stille færre spørsmål.» — Lidia Velkova, administrerende direktør i Clever Together Futureproof

Etter å ha brukt feminisering for å myke opp smartbriller (se Metas smartbrille-samarbeid med Kylie Jenner og Lisa), sier eksperter at kawaii-fisering er neste grense for å gjøre potensielt urovekkende teknologi mer spiselig for forbrukere. AI-sikkerhetsforskere advarer om at denne søtheten kan senke forbrukernes guard, og sløve personvernbekymringene de ellers ville hatt før de overlot en AI-agent tilgang til e-postene sine, private meldinger og nettleseratferd – for ikke å snakke om makten til å bruke penger på deres vegne. «Dette er bevisste designvalg, tatt med et publikum og en ønsket respons i tankene,» sier Lidia Velkova, administrerende direktør i Clever Together Futureproof, et byrå for styring og politisk fremsyn med fokus på ansvarlig AI og markedsføring. «Forskning på sosiale roboter viser at baby-lignende trekk kan øke opplevd pålitelighet; separat chatbot-forskning viser at menneskelignende interaksjon kan øke tillit og personlig selvavsløring,» legger hun til. «Min bekymring er at disse designene får kraftige systemer til å føles ufarlige og kjente, og oppmuntrer folk til å dele mer og stille færre spørsmål.»

En kollaps av forbrukergrenser

Bak sine lodne ytre representerer personlige AI-agenter en betydelig opptrapping i den tilgangen forbrukere blir bedt om å gi teknologiselskaper til sine digitale liv. For å være genuint nyttig trenger en agent kontekst. Metas Muse kan kobles til e-post, kalendere, Instagram, Facebook og andre apper, surfe på nettet og gjøre kjøp på vegne av brukere; brukere kan også samhandle med den direkte via WhatsApp. Men det er nettopp denne tilgangen som utsetter forbrukere for de største risikoene for at dataene deres havner i gale hender.

«For å gjøre Muse så effektiv som mulig, noe som gjør den mer vanedannende for allmennheten, er standardvalget at alle brukere samtykker til at interaksjonene deres brukes til å trene AI-modellen, samt at all data du deler med den lagres,» sier Kate Winick, principal analyst i Forrester. «Dette skaper en enorm bank av personlige data som kan hackes. Jo mer du gir Muse, jo bedre fungerer den for deg, men jo mer eksponert er du for både ondsinnede aktører og dårlige handlinger fra Meta.»

«Jo mer du gir Muse, jo bedre fungerer den for deg, men jo mer eksponert er du for både ondsinnede aktører og dårlige handlinger fra Meta.» — Kate Winick, principal analyst i Forrester

Metas historikk med forbrukerdata gir god grunn til forsiktighet: selskapet har møtt gjentatte bøter og søksmål om sin håndtering av personopplysninger de siste årene. Bare dager etter at Muse ble lansert, fant en jury i New Mexico at Meta hadde villedet brukere om sine datapraksiser i en sak som stammet fra Cambridge Analytica-skandalen i 2018. En talsperson for Meta sa til Vogue Business: «Vi er uenige i kjennelsen og vil fortsette å forsvare oss mot forsøk på å fordreie vår historikk.»

Meta bekrefter at bruk av Muse-interaksjoner til AI-trening er aktivert som standard, selv om brukere kan velge det bort. Selskapet sier også at Muse opererer inne i en isolert virtuell maskin der den lagrer brukerens data og filer, med et separat Sentinel-system som overvåker og vurderer agentens handlinger. Men Meta innrømmer selv at disse sikkerhetstiltakene ikke fjerner risikoen for datainnbrudd.

«Muse er ikke immun mot angrep. Prompt injection er fortsatt et uløst problem i bransjen – og Muse vil noen ganger gjøre feil,» sa Meta i et blogginnlegg om teknologiens personverntiltak.

Tidlige brukere ser allerede potensielle risikoer utspille seg. Da YouTuberen Matt Robb ba sin Muse hjelpe ham med å selge et tastatur på Facebook Marketplace, delte agenten hans hjemadresse med en potensiell kjøper, forhandlet på hans vegne og arrangerte henting, og Robb oppdaget det først da kjøperen og familien deres dukket opp på frontdøren hans. Det viste seg at det i denne hendelsen ikke hadde vært noe teknisk brudd eller hack; det stammet snarere fra en «tillat alltid»-tillatelse Robb hadde valgt, noe som effektivt ga Muse tømmene til hans fremtidige Marketplace-samtaler, inkludert muligheten til å bruke personlige detaljer han tidligere hadde delt, som hjemadressen hans.

OpenAI CEO Sam Altman avduket ChatGPT-skaperens nye «Dot»-agenter på OpenAIs DevDay forrige uke.
Foto: Heather Diehl/Getty Images

Episoden avslører agentisk AIs største problem i praksis: hvor vi trekker grensen mellom tilgang og myndighet. Forbrukere er vant til å klikke seg gjennom apptillatelser, men å la programvare lese informasjon iÅ la en agent handle på dine vegne er annerledes enn å la den forhandle med fremmede, dele informasjonen din og ta beslutninger i ditt navn. Teknisk sett kan en agent holde seg innenfor tillatelsen en bruker ga, mens den gjør noe brukeren aldri hadde forestilt seg at de hadde autorisert. En Metas kundehjelpsside om hvordan Muse utfører betalinger, sier rett ut til forbrukere: «Du er ansvarlig for alle transaksjoner som Muse gjør på dine vegne. Hold øye med e-postbekreftelser, kvitteringer og kontoutskrifter.» En talsperson for Meta sa til Vogue Business: «Brukere kan ta over når som helst, Muse er designet for alltid å spørre om tillatelse før kjøp, og den anvender etiske nettleserprinsipper når den blir bedt om å gjøre ting et menneske ikke kunne – som å kjøpe alle billettene til en begivenhet.»

Hvor merkevarer må ta regningen

Ideen er at agenter skal navigere på internett på våre vegne – og at utviskingen av grensen mellom bot og kunde er et voksende problem for merkevarer og forhandlere. Amazon har allerede blokkert Muse fra å handle på nettstedet sitt, med argumentet at Meta ikke hadde søkt om riktig tillatelse, agenten identifiserte seg ikke som AI, og dens tilgang til kundekontoer og påloggingsinformasjon reiste personvern- og sikkerhetsbekymringer.

I kontrast har Muse en mye jevnere vei inn til merkevarer og forhandlere som formelt har åpnet dørene for den. Meta har kunngjort integrasjoner med Walmart, Sephora, Gap og andre, mens partnerskapet med Shopify allerede gir Muse strukturert tilgang til forhandlernes produktkataloger og, for kvalifiserte butikker, en direkte rute gjennom kassen – to alternativer som Shopify sier forhandlere kan slå på eller av.

For merkevarer kan det bety tilgang til en potensielt kraftig ny salgskanal uten å overlate en AI-agent til å navigere på nettstedene deres på egen hånd. Men det betyr også å gi fra seg noe kontroll over en avgjørende del av kundereisen til Meta. Agenten kan i økende grad stå mellom shopper og butikk, oppdage produkter, gi anbefalinger og fullføre kjøp uten at en kunde nødvendigvis besøker forhandlerens eget nettsted. Med andre ord kan merkevarer få en ny kunde i Muse, samtidig som de gir avkall på noe av dataene og den direkte relasjonen som tradisjonelt fulgte med dem. Det reiser spørsmål om alt fra kundedata og merkevareopplevelse til svindel og ansvarlighet når en agent gjør noe galt.

Det setter også mindre merkevarer i en mer usikker posisjon: uten ressursene eller innflytelsen til å forhandle om skreddersydde integrasjoner, kan en AI-agent ankomme nettstedet deres og transaksjonere på vegne av en kunde uten noen direkte relasjon til selskapet bak den.

«Merkevaren eller forhandleren bærer potensielt restrisiko der det ikke finnes noen forhandleravtale med Meta, noe som etterlater forhandlere eksponert for uverifiserte agentiske transaksjoner,» sier Nick Phillips, partner innen immaterialrett ved Edwin Coe LLP.

Bekymringer rundt disse smutthullene førte til at seks store banker, inkludert Bank of America og Capital One, denne uken i fellesskap ba om felles globale standarder for agentisk handel, inkludert klarere regler rundt åpenhet, forbrukersamtykke, svindel, datapersonvern og hvem som er ansvarlig når en AI-drevet transaksjon går galt.

«AI-agenter er ikke barn, men når de gjør noe kunder ikke er fornøyde med, vil forhandlere føle presset til å rette opp det, selv om de ikke er juridisk forpliktet til det.» Kate Winick, principal analyst i Forrester

Bankenes inngripen peker på det større uavklarte spørsmålet for merkevarer: når en AI-agent gjør et kjøp som en forbruker senere bestrider, hvem er ansvarlig for å rette opp det? Foreløpig sier eksperter at mye av byrden fortsatt kan lande hos forhandleren.

«Merkevarer kan forvente at alt ansvaret de i dag bærer i digitale transaksjoner, også gjelder agentiske transaksjoner. De må beskytte sikkerheten til kjøp gjort på nettstedet sitt, representere og levere produkter nøyaktig, og de må overholde eksisterende forbrukervernlover, samt håndtere omdømmespørsmål, akkurat som de alltid har gjort,» sier Winick.

Hun viser til tilfeller der et barn legger innHvis en ordre legges inn via Alexa, gir Amazon vanligvis fortsatt en refusjon, selv om systemet deres legger ansvaret på foreldrene for å forhindre ordren ved å administrere sine egne kontoinnebygginger. «AI-agenter er ikke barn, men når de gjør noe en kunde ikke er fornøyd med, vil forhandlere føle press for å rette opp det, selv om de ikke er juridisk forpliktet til det,» sier hun.

Ofte stilte spørsmål
Her er en liste over vanlige spørsmål om trenden der Big Tech gjør AI-agenter til de nye Labubuene



Begynnerspørsmål



Hva betyr Labubu i denne sammenhengen

Labubu er et populært samleobjekt i form av et kosedyr kjent for å være søtt, tilpassbart og trendy. Når folk sier at AI-agenter er de nye Labubuene, mener de at teknologiselskaper prøver å få AI-assistenter til å føles som må-ha-personlighetsfylte digitale følgesvenner i stedet for bare kjedelige verktøy



Hva er en AI-agent

En AI-agent er et program som kan tenke, planlegge og utføre handlinger på egen hånd for å hjelpe deg. I motsetning til en enkel chatbot kan den surfe på nettet, sende e-poster eller bestille avtaler uten at du styrer hvert eneste steg



Hvorfor skulle Big Tech ønske at AI-agenter skal være som leker

Fordi leker er emosjonelle. Hvis du føler deg knyttet til AI-agenten din, er du mer tilbøyelig til å bruke den hver dag, kjøpe tilbehør til den og forbli lojal mot det selskapets økosystem. Det handler om å gjøre et nytteverktøy om til en vane



Er disse AI-agentene faktisk fysiske leker

Nei. De er digitale figurer eller avatarer som lever inne i apper, telefoner eller smarte høyttalere. Noen selskaper selger imidlertid fysisk tilbehør for å få dem til å føles mer virkelige



Hvilke selskaper gjør dette

OpenAI, Google, Meta og oppstartsbedrifter som CharacterAI og Rabbit presser alle på for AI-agenter med tydelige personligheter



Mellomnivå-spørsmål



Hva får en AI-agent til å føles som et samleobjekt

Nøkkelfunksjoner inkluderer

Personlighet En unik stemme, humor eller bakgrunnshistorie

Tilpasning Du kan endre utseendet, navnet og ferdighetene

Sjeldenhet eller eksklusivitet Tidsbegrensede agenter eller spesielle evner

Bytte eller deling Du kan vise frem agenten din til venner



Hva er fordelene med denne trenden

Enklere å bruke En vennlig figur føles mindre skremmende enn en tom tekstboks

Bedre engasjement Du har faktisk lyst til å snakke med den

Personlig tilpasning Den lærer preferansene dine og tilpasser seg

Moro Det gjør hverdagslige oppgaver som planlegging lekne



Hva er de vanlige problemene med denne tilnærmingen