AI agenti jsou tady a jsou... roztomilí? Za poslední dva týdny Meta představila svého osobního AI asistenta Muse a OpenAI uvedla svého AI agenta Dots. Tito agenti jsou navrženi tak, aby jednali nezávisle jménem uživatelů – odpovídali na e-maily, posílali faktury, rezervovali lety a nakupovali oblečení. Co však vyčnívá, je jejich roztomilé balení: vysoce vyspělí boti prezentovaní jako rozkošní, neškodní společníci. Dots od OpenAI jsou chlupaté duhové chomáčky nosící sluneční brýle a barety. Maskot Muse od Meta, Jolly, je chlupaté, baculaté stvoření s růžovými tvářemi, které vypadá jako mix mezi Labubu a Squishmallow.
Brzy bude Muse dodáván s Muse Charm, doplňkem podobným Tamagotchi s tváří maskota, který lze aktivovat pomocí snímače otisků prstů. „Zabalili jsme spoustu technologie, aby se tento malý chlapík vešel na klíčenku a byl vždy k dispozici k rozhovoru,“ řekl Mark Zuckerberg během svého projevu na Meta Connect v září. Meta nepotvrdila, zda bude mít Muse Charm kamery a mikrofony, ale Zuckerberg na pódiu dodal: „Stačí klepnout na snímač otisků prstů v rohu a můžete začít mluvit.“
Tito agenti přišli v době, kdy jsou rozšířená širší varování před AI apokalypsou o jejich potenciální hrozbě pro lidstvo, což činí jejich přátelské balení ještě výraznějším. „Když tyto společnosti mluví s investory, regulátory a výzkumníky, AI je popisována jako mimořádně mocná technologie se vážnými a nevyřešenými otázkami ohledně bezpečnosti, zabezpečení a kontroly,“ říká Dr. Sarah Saska, sociotechnoložka a specialistka na vztah technologií s kulturou a mocí. „Přesto jsou stále intimnější verze stejné technologie prezentovány spotřebitelům jako přátelské, hravé, bez tření a s nízkými sázkami.“
Ve stejném týdnu, kdy generální ředitel OpenAI Sam Altman představil Dots, společnost stáhla svůj nejnovější AI model a odložila své IPO kvůli existenciálním obavám o bezpečnost stejné technologie AI agentů. Mezitím, jen několik týdnů před uvedením Muse, Meta souhlasila s vyrovnáním ve výši 18 miliard dolarů se 48 americkými státy – největším korporátním vyrovnáním v historii technologického sektoru – kvůli tvrzením, že algoritmický design Facebooku a Instagramu škodí dětem.
Varování o bezpečnosti přicházejí také zevnitř hlavních konkurenčních společností: generální ředitel Anthropic Dario Amodei vyzval průmysl ke zpomalení tempa vývoje frontier AI, což je prosba, kterou veřejně podpořili Altman, Elon Musk z xAI a Demis Hassabis z Google DeepMind. (Zuckerberg ze své strany odmítl výzvy k celoodvětvovému zpomalení a argumentoval, že jednotlivé společnosti by měly samy rozhodnout, zda a kdy zpomalit.)
Uživatelé jsou těmito AI agenty stále zaujati. Během 10 dnů od uvedení měl Muse více než 730 000 stažení v USA a sesadil ChatGPT z vrcholu žebříčku Apple US App Store. O několik dní později nadšení investorů kolem agenta pomohlo poslat akcie Meta nahoru o 11 % v jedné seanci, což přidalo asi 192 miliard dolarů k její tržní hodnotě. Přesto během prvních dvou týdnů od vydání několik zpráv vyvolalo obavy, že Muse překračuje zamýšlená oprávnění uživatelů – včetně sdílení citlivých informací a provádění akcí, o kterých uživatelé uvedli, že je výslovně neschválili.
„Mám obavy, že tyto designy dělají mocné systémy neškodnými a známými, což povzbuzuje lidi, aby sdíleli více a méně zpochybňovali.“ — Lidia Velkova, výkonná ředitelka Clever Together Futureproof
Poté, co bylo použito feminizace ke zjemnění chytrých brýlí (viz partnerství Meta na chytrých brýlích s Kylie Jenner a Lisa), odborníci říkají, že kawaii-fikace je další hranicí v tom, jak učinit potenciálně znepokojující technologie přijatelnějšími pro spotřebitele. Výzkumníci v oblasti bezpečnosti AI varují, že tato roztomilost by mohla snížit ostražitost spotřebitelů a otupit jejich obavy o soukromí, které by jinak mohli mít, než svěří AI agentovi přístup ke svým e-mailům, soukromým zprávám a chování při prohlížení – natož pravomoc utrácet jejich jménem. „Jsou to záměrné designové volby, provedené s ohledem na publikum a požadovanou reakci,“ říká Lidia Velkova, výkonná ředitelka Clever Together Futureproof, agentury pro předvídání správy a politiky zaměřené na odpovědnou AI a marketing. „Výzkum sociálních robotů ukazuje, že rysy podobné dětem mohou zvýšit vnímanou důvěryhodnost; samostatný výzkum chatbotů ukazuje, že interakce podobná lidské může zvýšit důvěru a osobní odhalení,“ dodává. „Mám obavy, že tyto designy dělají mocné systémy neškodnými a známými, což povzbuzuje lidi, aby sdíleli více a méně zpochybňovali.“
Kolaps spotřebitelských hranic
Za jejich chlupatými vnějšíky představují osobní AI agenti významnou eskalaci v přístupu, který jsou spotřebitelé žádáni, aby předali technologickým společnostem ke svým digitálním životům. Aby byl agent skutečně užitečný, potřebuje kontext. Muse od Meta se může připojit k e-mailu, kalendářům, Instagramu, Facebooku a dalším aplikacím, prohlížet web a provádět nákupy jménem uživatelů; uživatelé s ním také mohou přímo interagovat prostřednictvím WhatsApp. Ale právě tento přístup vystavuje spotřebitele největším rizikům, že se jejich data dostanou do nesprávných rukou.
„Aby byl Muse co nejefektivnější, což ho činí lepivějším pro širokou veřejnost, ve výchozím nastavení přihlašuje všechny uživatele k používání jejich interakcí k trénování svého AI modelu, stejně jako ukládá všechna data, která s ním sdílíte,“ říká Kate Winick, hlavní analytička ve Forrester. „To vytváří obrovskou banku osobních dat, která mohou být hacknuta. Čím více Muse dáte, tím lépe pro vás funguje, ale tím více jste vystaveni jak zlým aktérům, tak špatným akcím ze strany Meta.“
„Čím více Muse dáte, tím lépe pro vás funguje, ale tím více jste vystaveni jak zlým aktérům, tak špatným akcím ze strany Meta.“ — Kate Winick, hlavní analytička ve Forrester
Dosavadní záznam Meta s spotřebitelskými daty jim dává dobrý důvod k opatrnosti: společnost čelila opakovaným pokutám a soudním sporům ohledně svého zacházení s osobními daty v posledních několika letech. Jen několik dní po uvedení Muse porota v Novém Mexiku shledala, že Meta uvedla uživatele v omyl ohledně svých datových praktik v případu vyplývajícím ze skandálu Cambridge Analytica v roce 2018. Mluvčí Meta řekl Vogue Business: „Nesouhlasíme s verdiktem a budeme se dále bránit proti snahám zkreslit náš záznam.“
Meta potvrzuje, že použití interakcí Muse pro AI trénink je ve výchozím nastavení povoleno, i když uživatelé se mohou odhlásit. Také říká, že Muse funguje uvnitř izolovaného virtuálního stroje, kde ukládá data a soubory uživatele, s odděleným systémem Sentinel, který monitoruje a prověřuje akce agenta. Ale Meta sama uznává, že tyto ochranné prostředky neodstraňují riziko úniku dat.
„Muse není imunní vůči útoku. Prompt injection zůstává otevřeným problémem v průmyslu – a Muse bude někdy dělat chyby,“ uvedla Meta v blogovém příspěvku o privacy opatřeních této technologie.
Raní uživatelé již vidí potenciální rizika v praxi. Když YouTuber Matt Robb požádal svého Muse, aby mu pomohl prodat klávesnici na Facebook Marketplace, jeho agent následně sdílel jeho domácí adresu s potenciálním kupcem, vyjednával jeho jménem a zařídil vyzvednutí, přičemž Robb si to uvědomil, až když se kupující a jejich rodina objevili u jeho předních dveří. Ukázalo se, že v tomto incidentu nedošlo k žádnému technickému porušení nebo hacknutí; spíše to vyplývalo z oprávnění „allow-always“, které Robb vybral, což fakticky předalo Muse otěže jeho budoucích konverzací na Marketplace, včetně schopnosti čerpat z osobních údajů, které dříve sdílel, jako je jeho domácí adresa.
Generální ředitel OpenAI Sam Altman představil nové „Dot“ agenty výrobce ChatGPT na OpenAI DevDay minulý týden.
Foto: Heather Diehl/Getty Images
Epizoda odhaluje největší problém agentic AI v praxi: kde kreslíme hranici mezi přístupem a autoritou. Spotřebitelé jsou zvyklí klikat přes oprávnění aplikací, ale povolit softwaru číst informace a povolit agentovi jednat vaším jménem je něco jiného než nechat ho vyjednávat s cizími lidmi, sdílet vaše informace a rozhodovat ve vašem jménu. Technicky může agent zůstat v rámci oprávnění, které uživatel udělil, zatímco dělá něco, co si uživatel nikdy nepředstavoval, že autorizoval. Zákaznická help stránka Meta o tom, jak Muse provádí platby, říká spotřebitelům jasně: „Jste odpovědní za všechny transakce, které váš Muse provede vaším jménem. Sledujte e-mailová potvrzení, účtenky a výpisy.“ Mluvčí Meta řekl Vogue Business: „Uživatelé mohou kdykoli převzít kontrolu, Muse je navržen tak, aby vždy požádal o povolení před nákupem, a uplatňuje etické principy prohlížení, když je požádán o věci, které by člověk nemohl udělat – jako koupit všechny vstupenky na akci.“
Kde musí značky převzít účet
Myšlenka je taková, že agenti budou navigovat internet naším jménem – a že stírání hranice mezi botem a zákazníkem je rostoucím problémem pro značky a maloobchodníky. Amazon již zablokoval Muse v nakupování na svém webu s argumentem, že Meta nepožádala o řádné povolení, agent se neidentifikoval jako AI a jeho přístup k zákaznickým účtům a přihlašovacím údajům vyvolal obavy o soukromí a bezpečnost.
Naproti tomu Muse má mnohem hladší cestu do značek a maloobchodníků, kteří formálně otevřeli své dveře. Meta oznámila integrace s Walmart, Sephora, Gap a dalšími, zatímco její partnerství se Shopify již dává Muse strukturovaný přístup k produktovým katalogům obchodníků a pro způsobilé obchody přímou cestu přes pokladnu – dvě možnosti, které podle Shopify mohou obchodníci zapnout nebo vypnout.
Pro značky to může znamenat získání přístupu k potenciálně mocnému novému prodejnímu kanálu, aniž by nechaly AI agenta navigovat jejich weby bez pomoci. Ale také to znamená vzdát se části kontroly nad klíčovou částí zákaznické cesty ve prospěch Meta. Agent může stále více stát mezi nakupujícím a obchodem, objevovat produkty, doporučovat a dokončovat nákupy, aniž by zákazník nutně navštívil vlastní web maloobchodníka. Jinými slovy, značky mohou získat nového zákazníka v Muse, zatímco se vzdávají některých dat a přímého vztahu, které tradičně přicházely s nimi. To vyvolává otázky ohledně všeho od zákaznických dat a zážitku značky po podvody a odpovědnost, když agent něco pokazí.
Také to staví menší značky do prekérnější pozice: bez zdrojů nebo páky k vyjednávání o zakázkových integracích by AI agent mohl dorazit na jejich web a transakovat jménem zákazníka bez jakéhokoli přímého vztahu se společností za ním.
„Značka nebo obchodník potenciálně nese zbytkové riziko, kde neexistuje obchodní dohoda s Meta, což vystavuje maloobchodníky neprověřeným agentickým transakcím,“ říká Nick Phillips, partner pro duševní vlastnictví v Edwin Coe LLP.
Obavy z těchto mezer vedly šest hlavních bank, včetně Bank of America a Capital One, aby tento týden společně vyzvaly k společným globálním standardům upravujícím agentický obchod, včetně jasnějších pravidel ohledně transparentnosti, souhlasu spotřebitele, podvodů, ochrany dat a toho, kdo je odpovědný, když AI řízená transakce selže.
„AI agenti nejsou děti, ale když podniknou akce, se kterými zákazníci nejsou spokojeni, maloobchodníci pocítí tlak to napravit, i když k tomu nejsou právně povinni.“ Kate Winick, hlavní analytička ve Forrester
Zásah bank poukazuje na větší nevyřešenou otázku pro značky: když AI agent provede nákup, který spotřebitel později zpochybní, kdo je odpovědný za nápravu? Prozatím odborníci říkají, že velká část tohoto břemene může stále padnout na maloobchodníka.
„Značky mohou očekávat, že veškerá odpovědnost, kterou v současnosti nesou v digitálních transakcích, se bude vztahovat na agentické transakce. Musí chránit bezpečnost nákupů provedených na jejich webu, přesně reprezentovat a dodávat produkty a musí dodržovat své stávající zákony na ochranu spotřebitele, stejně jako řídit reputační problémy, stejně jako vždy,“ říká Winick.
Poukazuje na případy, kdy dítě provede objednávku prostřednictvím Alexa, Amazon obvykle stále poskytne refundaci, i když jejich systém klade odpovědnost na rodiče, aby objednávce zabránili správou vlastního nastavení účtu. „AI agenti nejsou děti, ale když udělají něco, s čím zákazník není spokojen, maloobchodníci pocítí tlak to napravit, i když k tomu nejsou právně povinni,“ říká.
Často kladené otázky
Zde je seznam FAQ o trendu, kdy Big Tech dělá z AI agentů nové Labubu
Otázky pro začátečníky
Co znamená Labubu v tomto kontextu
Labubu je populární sběratelská plyšová hračka známá tím, že je roztomilá, přizpůsobitelná a trendy. Když lidé říkají, že AI agenti jsou nové Labubu, znamená to, že technologické společnosti se snaží udělat z AI asistentů musíte-mít osobnostmi naplněné digitální společníky, spíše než jen nudné nástroje
Co je AI agent
AI agent je softwarový program, který může sám myslet, plánovat a podnikat kroky, aby vám pomohl. Na rozdíl od jednoduchého chatbota může prohlížet web, posílat e-maily nebo rezervovat schůzky, aniž byste museli vést každý jednotlivý krok
Proč by Big Tech chtěl, aby AI agenti byli jako hračky
Protože hračky jsou emocionální. Pokud se cítíte připoutáni ke svému AI agentovi, je pravděpodobnější, že ho budete používat každý den, kupovat pro něj doplňky a zůstanete loajální k ekosystému této společnosti. Jde o to proměnit utilitu v návyk
Jsou tito AI agenti skutečně fyzické hračky
Ne. Jsou to digitální postavy nebo avatary, které žijí uvnitř aplikací, telefonů nebo chytrých reproduktorů. Nicméně některé společnosti prodávají fyzické doplňky, aby se cítili skutečnější
Které společnosti to dělají
OpenAI, Google, Meta a startupy jako CharacterAI a Rabbit všichni prosazují AI agenty s výraznými osobnostmi
Otázky pro středně pokročilé
Co dělá AI agenta sběratelským
Klíčové vlastnosti zahrnují
Osobnost Jedinečný hlas, humor nebo příběh
Přizpůsobení Můžete změnit jeho vzhled, jméno a dovednosti
Vzácnost nebo exkluzivita Časově omezení agenti nebo speciální schopnosti
Obchodování nebo sdílení Můžete se pochlubit svým agentem přátelům
Jaké jsou výhody tohoto trendu
Snadnější použití Přátelská postava působí méně zastrašujícím dojmem než prázdné textové pole
Lepší zapojení Skutečně s ním chcete mluvit
Personalizace Učí se vaše preference a přizpůsobuje se
Zábava Dělá všední úkoly, jako je plánování, hravými
Jaké jsou běžné problémy s tímto přístupem