AI агентите са тук и са... сладки? През последните две седмици Meta пусна своя личен AI асистент Muse, а OpenAI представи своя AI агент Dots. Тези агенти са проектирани да действат независимо от името на потребителите—да отговарят на имейли, да изпращат фактури, да резервират полети и да купуват дрехи. Това, което изпъква, е тяхната сладка опаковка: високо напреднали ботове, представени като очарователни, безобидни спътници. Dots на OpenAI са пухкави блобове в цветовете на дъгата, носещи слънчеви очила и барети. Маскотът на Meta Muse, Jolly, е пухкаво, пълничко създание с розови бузи, което изглежда като смесица между Labubu и Squishmallow.
Скоро Muse ще идва с Muse Charm, аксесоар подобен на Tamagotchi, включващ лицето на маскота, който може да бъде активиран със сензор за пръстови отпечатъци. „Опаковали сме много технология, за да може това малко същество да се побере на ключодържател и винаги да е на разположение за разговор“, каза Марк Зукърбърг по време на своята keynote реч на Meta Connect през септември. Meta не е потвърдила дали Muse Charm ще има камери и микрофони, но Зукърбърг добави на сцената: „Просто докосвате сензора за пръстови отпечатъци в ъгъла и можете да започнете да говорите.“
Тези агенти пристигнаха в момент, когато широко разпространените предупреждения за AI апокалипсис относно потенциалната им заплаха за човечеството са повсеместни, което прави приятелската им опаковка още по-забележителна. „Когато тези компании говорят с инвеститори, регулатори и изследователи, AI се описва като изключително мощна технология със сериозни и нерешени въпроси около безопасността, сигурността и контрола“, казва д-р Сара Саска, социотехнолог и специалист по връзката на технологиите с културата и властта. „Въпреки това, все по-интимни версии на същата технология се представят на потребителите като приятелски, игриви, безпроблемни и с ниски залози.“
През същата седмица, в която главният изпълнителен директор на OpenAI Сам Алтман представи Dots, компанията изтегли най-новия си AI модел и отложи IPO-то си поради екзистенциални опасения за безопасността относно същата технология за AI агенти. Междувременно, само седмици преди пускането на Muse, Meta се съгласи на споразумение за 18 милиарда долара с 48 американски щата—най-голямото корпоративно споразумение в историята на технологичния сектор—поради твърдения, че алгоритмичният дизайн на Facebook и Instagram вреди на децата.
Предупреждения за безопасност идват и отвътре в големите конкурентни компании: главният изпълнителен директор на Anthropic Дарио Амодеи призова индустрията да забави темпото на развитие на frontier AI, призив, публично подкрепен от Алтман, Илон Мъск от xAI и Демис Хасабис от Google DeepMind. (Зукърбърг, от своя страна, отхвърли призивите за забавяне на цялата индустрия, аргументирайки вместо това, че отделните компании трябва сами да решат дали и кога да забавят.)
Потребителите все още са заинтригувани от тези AI агенти. В рамките на 10 дни от пускането, Muse имаше повече от 730 000 изтегляния в САЩ и изхвърли ChatGPT от върха на класацията на Apple's US App Store. Дни по-късно, вълнението на инвеститорите около агента помогна на акциите на Meta да скочат с 11% за една сесия, добавяйки около 192 милиарда долара към пазарната ѝ стойност. Въпреки това, в рамките на първите две седмици от пускането, няколко доклада повдигнаха опасения относно Muse, че превишава предвидените от потребителите разрешения—включително споделяне на чувствителна информация и предприемане на действия, за които потребителите казаха, че не са изрично одобрили.
„Моето безпокойство е, че тези дизайни правят мощните системи да изглеждат безобидни и познати, насърчавайки хората да споделят повече и да се съмняват по-малко.“ — Лидия Велкова, управляващ директор на Clever Together Futureproof
След като използваха феминизация, за да смекчат умните очила (вижте партньорствата на Meta за умни очила с Кайли Дженър и Лиза), експертите казват, че kawaii-фикацията е следващата граница в правенето на потенциално обезпокояваща технология да изглежда по-приемлива за потребителите. Изследователите по безопасност на AI предупреждават, че тази сладост може да свали гарда на потребителите, притъпявайки опасенията им за поверителност, които иначе биха имали, преди да предоставят на AI агент достъп до имейлите си, личните си съобщения и поведението си при сърфиране—да не говорим за правомощието да харчи от тяхно име. „Това са умишлени дизайнерски решения, взети с предвид аудитория и желана реакция“, казва Лидия Велкова, управляващ директор на Clever Together Futureproof, агенция за управление и политическа прогноза, фокусирана върху отговорен AI и маркетинг. „Изследванията върху социалните роботи показват, че бебешките характеристики могат да увеличат възприеманата надеждност; отделни изследвания върху чатботове показват, че човекоподобното взаимодействие може да увеличи доверието и личното разкриване“, добавя тя. „Моето безпокойство е, че тези дизайни правят мощните системи да изглеждат безобидни и познати, насърчавайки хората да споделят повече и да се съмняват по-малко.“
Срив на потребителските граници
Зад пухкавите си външности, личните AI агенти представляват значителна ескалация в достъпа, който потребителите са помолени да предоставят на технологичните компании до своите цифрови животи. За да бъде наистина полезен, един агент се нуждае от контекст. Muse на Meta може да се свързва с имейл, календари, Instagram, Facebook и други приложения, да сърфира в мрежата и да прави покупки от името на потребителите; потребителите могат също да взаимодействат с него директно чрез WhatsApp. Но точно този достъп излага потребителите на най-големите рискове данните им да попаднат в грешни ръце.
„За да направи Muse възможно най-ефективен, което го прави по-прилепчив за широката публика, той по подразбиране включва всички потребители да използват взаимодействията си за обучение на своя AI модел, както и съхранява всички данни, които споделяте с него“, казва Кейт Уиник, главен анализатор в Forrester. „Това създава огромна банка от лични данни, която може да бъде хакната. Колкото повече давате на Muse, толкова по-добре работи за вас, но толкова по-изложени сте както на лоши актьори, така и на лоши действия от страна на Meta.“
„Колкото повече давате на Muse, толкова по-добре работи за вас, но толкова по-изложени сте както на лоши актьори, така и на лоши действия от страна на Meta.“ — Кейт Уиник, главен анализатор в Forrester
Досието на Meta с потребителските данни им дава основателна причина за предпазливост: компанията е била изправена пред многократни глоби и съдебни дела относно handling-а на лични данни през последните няколко години. Само дни след пускането на Muse, жури в Ню Мексико установи, че Meta е подвела потребителите относно практиките си за данни в дело, произтичащо от скандала Cambridge Analytica през 2018 г. Говорител на Meta каза пред Vogue Business: „Не сме съгласни с присъдата и ще продължим да се защитаваме срещу опити да се изопачи нашето досие.“
Meta потвърждава, че използването на взаимодействията с Muse за AI обучение е включено по подразбиране, въпреки че потребителите могат да се откажат. Тя също казва, че Muse работи вътре в изолирана виртуална машина, където съхранява данните и файловете на потребителя, с отделна система Sentinel, която наблюдава и проверява действията на агента. Но самата Meta признава, че тези предпазни мерки не премахват риска от изтичане на данни.
„Muse не е имунизиран срещу атака. Prompt injection остава отворен проблем в индустрията—и Muse понякога ще прави грешки“, каза Meta в блог публикация за мерките за поверителност на технологията.
Ранните потребители вече виждат как потенциалните рискове се разгръщат. Когато YouTuber-ът Мат Роб помоли своя Muse да му помогне да продаде клавиатура на Facebook Marketplace, неговият агент впоследствие сподели домашния му адрес с потенциален купувач, преговаряше от негово име и организира вземане, като Роб осъзна едва когато купувачът и семейството му се появиха на входната му врата. Оказа се, че в този инцидент не е имало техническо нарушение или хакване; по-скоро произтичаше от разрешение „винаги позволявай“, което Роб беше избрал, ефективно предавайки на Muse юздите на бъдещите му разговори в Marketplace, включително способността да черпи лични подробности, които беше споделил преди това, като домашния си адрес.
Главният изпълнителен директор на OpenAI Сам Алтман представи новите „Dot“ агенти на създателя на ChatGPT на OpenAI's DevDay миналата седмица.
Снимка: Хедър Дил/Getty Images
Епизодът разкрива най-големия проблем на агентния AI на практика: къде да начертаем линията между достъп и правомощие. Потребителите са свикнали да кликват през разрешенията на приложенията, но позволяването на софтуер да чете информация и позволяването на агент да действа от ваше име е различно от позволяването му да преговаря с непознати, да споделя вашата информация и да взема решения от ваше име. Технически, един агент може да остане в рамките на разрешението, което потребителят е предоставил, докато прави нещо, което потребителят никога не е предполагал, че е упълномощил. Страница за помощ на клиенти на Meta относно това как Muse прави плащания казва на потребителите ясно: „Вие сте отговорни за всички транзакции, които вашият Muse прави от ваше име. Следете за имейл потвърждения, разписки и извлечения.“ Говорител на Meta каза пред Vogue Business: „Потребителите могат да поемат контрола по всяко време, Muse е проектиран винаги да иска разрешение преди покупка и прилага етични принципи на сърфиране, когато бъде помолен да прави неща, които човек не би могъл—като купуване на всички билети за събитие.“
Къде марките трябва да поемат сметката
Идеята е, че агентите ще навигират интернет от наше име—и че размиването на линията между бот и клиент е растящ проблем за марките и търговците на дребно. Amazon вече блокира Muse да пазарува на сайта си, аргументирайки, че Meta не е потърсила подходящо разрешение, агентът не се е идентифицирал като AI и достъпът му до клиентски акаунти и данни за вход повдига опасения за поверителност и сигурност.
За разлика от това, Muse има много по-гладък път към марки и търговци на дребно, които официално са отворили вратите си за него. Meta обяви интеграции с Walmart, Sephora, Gap и други, докато партньорството ѝ с Shopify вече дава на Muse структуриран достъп до продуктовите каталози на търговците и, за отговарящи на условията магазини, директен път през касата—две опции, които Shopify казва, че търговците могат да включат или изключат.
За марките това може да означава достъп до потенциално мощен нов канал за продажби, без да оставят AI агент да навигира сайтовете им без помощ. Но също така означава отказ от известен контрол върху crucial част от клиентското пътуване към Meta. Агентът може все повече да стои между купувача и магазина, откривайки продукти, правейки препоръки и завършвайки покупки, без клиентът непременно да посещава собствения сайт на търговеца на дребно. С други думи, марките може да спечелят нов клиент в Muse, докато предават част от данните и директната връзка, които традиционно идваха с тях. Това повдига въпроси за всичко—от клиентски данни и изживяване на марката до измама и отчетност, когато агентът сгреши нещо.
Това също оставя по-малките марки в по-несигурна позиция: без ресурсите или влиянието да преговарят за персонализирани интеграции, AI агент може да пристигне на сайта им и да транзакционира от името на клиент без никаква директна връзка с компанията зад него.
„Марката или търговецът потенциално носи остатъчен риск, когато не съществува търговско споразумение с Meta, оставяйки търговците на дребно изложени на непроверени агентни транзакции“, казва Ник Филипс, партньор по интелектуална собственост в Edwin Coe LLP.
Опасенията относно тези loopholes доведоха шест големи банки, включително Bank of America и Capital One, съвместно да призоват тази седмица за общи глобални стандарти, управляващи агентната търговия, включително по-ясни правила относно прозрачността, потребителското съгласие, измамата, поверителността на данните и кой е отговорен, когато AI-движена транзакция се обърка.
„AI агентите не са деца, но когато предприемат действия, с които клиентите не са доволни, търговците на дребно ще почувстват натиск да поправят нещата, дори ако не са законово задължени да го направят.“ Кейт Уиник, главен анализатор в Forrester
Банковата интервенция сочи към по-големия нерешен въпрос за марките: когато AI агент направи покупка, която потребител по-късно оспори, кой е отговорен да я поправи? Засега експертите казват, че голяма част от това бреме може все още да падне върху търговеца на дребно.
„Марките могат да очакват цялата отговорност, която понастоящем носят в цифровите транзакции, да се прилага към агентните транзакции. Те трябва да защитават сигурността на покупките, направени на сайта им, точно да представят и доставят продукти и трябва да спазват съществуващите си закони за защита на потребителите, както и да управляват репутационни проблеми, точно както винаги са правили“, казва Уиник.
Тя посочва случаи, когато дете прави поръчка чрез Alexa, Amazon обикновено все още дава възстановяване, въпреки че системата им възлага отговорността на родителите да предотвратят поръчката чрез управление на собствените си настройки на акаунта. „AI агентите не са деца, но когато направят нещо, с което клиентът не е доволен, търговците на дребно ще почувстват натиск да поправят нещата, дори ако не са законово задължени да го направят“, казва тя.
Често задавани въпроси
Ето списък с често задавани въпроси относно тенденцията Big Tech да прави AI агентите новите Labubus
Въпроси за начинаещи
Какво означава Labubu в този контекст
Labubu е популярна колекционерска плюшена играчка, известна с това, че е сладка, персонализируема и модерна. Когато хората казват, че AI агентите са новите Labubus, те имат предвид, че технологичните компании се опитват да направят AI асистентите да се усещат като задължителни цифрови спътници, изпълнени с личност, а не просто скучни инструменти
Какво е AI агент
AI агентът е софтуерна програма, която може да мисли, планира и предприема действия самостоятелно, за да ви помогне. За разлика от прост чатбот, той може да сърфира в мрежата, да изпраща имейли или да резервира срещи, без вие да насочвате всяка отделна стъпка
Защо Big Tech би искал AI агентите да бъдат като играчки
Защото играчките са емоционални. Ако се чувствате привързани към вашия AI агент, е по-вероятно да го използвате всеки ден, да купувате аксесоари за него и да останете лоялни към екосистемата на тази компания. Става дума за превръщането на една полезност в навик
Тези AI агенти всъщност физически играчки ли са
Не. Те са цифрови герои или аватари, които живеят в приложения, телефони или умни високоговорители. Въпреки това, някои компании продават физически аксесоари, за да ги направят да се усещат по-реални
Кои компании правят това
OpenAI, Google, Meta и стартъпи като CharacterAI и Rabbit всички натискат AI агенти с отчетливи личности
Въпроси от средно ниво
Какво прави един AI агент да се усеща като колекционерски
Ключовите характеристики включват
Личност Уникален глас, хумор или предистория
Персонализация Можете да промените външния му вид, име и умения
Рядкост или изключителност Агенти за ограничено време или специални способности
Търговия или споделяне Можете да покажете своя агент на приятели
Какви са ползите от тази тенденция
По-лесен за използване Приятелският герой се усеща по-малко intimidating от празно текстово поле
По-добро ангажиране Всъщност искате да говорите с него
Персонализация Научава предпочитанията ви и се адаптира
Забавление Прави ежедневните задачи като планиране да се усещат игриви
Какви са често срещаните проблеми с този подход