AI 에이전트들이 등장했는데, 그리고 그들은... 귀엽나? 지난 2주 동안 Meta는 개인 AI 비서 Muse를 출시했고, OpenAI는 Dots AI 에이전트를 선보였다. 이 에이전트들은 사용자를 대신해 독립적으로 행동하도록 설계되었다—이메일에 답장하고, 송장을 보내고, 항공편을 예약하고, 옷을 구매한다. 눈에 띄는 것은 그들의 귀여운 포장이다: 고도로 발달한 봇들이 사랑스럽고 해롭지 않은 동반자로 제시된다. OpenAI의 Dots는 선글라스와 베레모를 쓴 털복숭이 무지개색 덩어리들이다. Meta의 Muse 마스코트인 Jolly는 Labubu와 Squishmallow의 혼합처럼 보이는 털복숭이, 통통하고, 장밋빛 뺨을 가진 생명체다.
곧 Muse는 Muse Charm과 함께 제공될 예정인데, 이는 마스코트의 얼굴을 특징으로 하는 Tamagotchi 같은 액세서리로 지문 센서로 활성화할 수 있다. "우리는 이 작은 녀석이 열쇠고리에 맞춰지고 항상 대화할 수 있도록 많은 기술을 담았다"라고 Mark Zuckerberg는 9월 Meta Connect 기조연설에서 말했다. Meta는 Muse Charm에 카메라와 마이크가 있을지 확인하지 않았지만, Zuckerberg는 무대에서 덧붙였다: "구석의 지문 센서를 탭하기만 하면 대화를 시작할 수 있다."
이 에이전트들은 인류에 대한 잠재적 위협에 관한 광범위한 AI 종말 경고가 만연한 시기에 도착했는데, 이는 그들의 친근한 포장을 더욱 돋보이게 만든다. "이 회사들이 투자자, 규제 기관, 연구자들에게 말할 때, AI는 안전, 보안, 통제에 관한 심각하고 해결되지 않은 질문이 있는 extraordinarily 강력한 기술로 묘사된다"라고 기술과 문화 및 권력의 관계를 전문으로 하는 사회기술학자 Sarah Saska 박사는 말한다. "그러나 점점 더 친밀한 버전의 같은 기술이 소비자들에게 친근하고, 장난스럽고, 마찰 없고, 낮은 위험으로 제시된다."
OpenAI CEO Sam Altman이 Dots를 공개한 같은 주에, 회사는 같은 AI 에이전트 기술에 대한 실존적 안전 우려로 최신 AI 모델을 철회하고 IPO를 연기했다. 한편, Muse를 출시하기 불과 몇 주 전에 Meta는 Facebook과 Instagram의 알고리즘 설계가 어린이에게 해를 끼친다는 주장에 대해 48개 미국 주와 180억 달러 합의에 동의했다—기술 부문 역사상 최대 기업 합의다.
안전 경고는 주요 경쟁사 내부에서도 나오고 있다: Anthropic CEO Dario Amodei는 업계에 최전선 AI 개발 속도를 늦출 것을 촉구했는데, 이는 Altman, xAI의 Elon Musk, Google DeepMind의 Demis Hassabis가 공개적으로 지지한 호소다. (Zuckerberg는 자신의 경우 업계 전체의 속도 저하 요구를 거부하고, 대신 개별 회사가 스스로 언제 속도를 늦출지 결정해야 한다고 주장했다.)
사용자들은 여전히 이 AI 에이전트들에 흥미를 느끼고 있다. 출시 10일 이내에 Muse는 미국에서 730,000회 이상 다운로드되었고 Apple의 미국 App Store 순위에서 ChatGPT를 1위에서 밀어냈다. 며칠 후, 에이전트에 대한 투자자들의 흥분은 Meta 주식을 단일 세션에서 11% 상승시켜 시가총액에 약 1,920억 달러를 추가하는 데 도움이 되었다. 그러나 출시 첫 2주 이내에 여러 보고서가 Muse가 사용자의 의도된 권한을 넘어선다는 우려를 제기했다—민감한 정보를 공유하고 사용자가 명시적으로 승인하지 않았다고 말한 행동을 취하는 것을 포함한다.
"나의 우려는 이러한 디자인이 강력한 시스템을 해롭지 않고 친숙하게 느끼게 하여 사람들이 더 많이 공유하고 덜 의문을 품도록 장려한다는 것이다." — Lidia Velkova, Clever Together Futureproof 전무이사
스마트 안경을 여성화로 부드럽게 만든 후( Meta의 Kylie Jenner 및 Lisa와의 스마트 안경 파트너십 참조), 전문가들은 kawaii화가 잠재적으로 불안하게 만드는 기술을 소비자에게 더 받아들일 수 있게 만드는 다음 개척지라고 말한다. AI 안전 연구자들은 이 귀여움이 소비자의 경계를 낮춰 이메일, 개인 메시지, 브라우징 행동에 접근할 수 있는 AI 에이전트에게—그들을 대신해 지출할 권한은 말할 것도 없이—넘기기 전에 가질 수 있는 프라이버시 우려를 무디게 만들 수 있다고 경고한다. "이것은 의도적인 디자인 선택이며, 청중과 원하는 반응을 염두에 두고 만들어진다"라고 책임 있는 AI와 마케팅에 초점을 맞춘 거버넌스 및 정책 예측 기관인 Clever Together Futureproof의 전무이사 Lidia Velkova는 말한다. "사회적 로봇에 대한 연구는 아기 같은 특징이 인식된 신뢰성을 증가시킬 수 있음을 보여준다; 별도의 챗봇 연구는 인간 같은 상호작용이 신뢰와 개인적 공개를 증가시킬 수 있음을 보여준다"라고 그녀는 덧붙인다. "나의 우려는 이러한 디자인이 강력한 시스템을 해롭지 않고 친숙하게 느끼게 하여 사람들이 더 많이 공유하고 덜 의문을 품도록 장려한다는 것이다."
소비자 경계의 붕괴
그들의 털복숭이 외관 뒤에, 개인 AI 에이전트는 소비자가 기술 회사에 자신의 디지털 생활에 대한 접근을 넘기도록 요구받는 것의 상당한 확대를 나타낸다. 진정으로 유용하려면 에이전트는 맥락이 필요하다. Meta의 Muse는 이메일, 캘린더, Instagram, Facebook 및 기타 앱에 연결하고, 웹을 브라우징하고, 사용자를 대신해 구매할 수 있다; 사용자는 WhatsApp을 통해 직접 상호작용할 수도 있다. 그러나 바로 이 접근이 소비자의 데이터가 잘못된 손에 들어갈 가장 큰 위험에 노출시킨다.
"Muse를 가능한 한 효과적으로 만들어 일반 대중에게 더 끈적하게 만들기 위해, 모든 사용자를 상호작용을 AI 모델 훈련에 사용하는 것과 공유하는 모든 데이터를 저장하는 것에 기본적으로 선택하도록 한다"라고 Forrester의 수석 분석가 Kate Winick은 말한다. "이것은 해킹될 수 있는 거대한 개인 데이터 은행을 만든다. Muse에게 더 많이 줄수록, 그것은 당신을 위해 더 잘 작동하지만, 악의적인 행위자와 Meta의 나쁜 행동 모두에 더 많이 노출된다."
"Muse에게 더 많이 줄수록, 그것은 당신을 위해 더 잘 작동하지만, 악의적인 행위자와 Meta의 나쁜 행동 모두에 더 많이 노출된다." — Kate Winick, Forrester 수석 분석가
소비자 데이터에 대한 Meta의 실적은 그들에게 주의할 좋은 이유를 제공한다: 회사는 지난 몇 년 동안 개인 데이터 처리에 대해 반복적인 벌금과 소송에 직면했다. Muse가 출시된 지 불과 며칠 후, 뉴멕시코 배심원단은 2018년 Cambridge Analytica 스캔들에서 비롯된 사건에서 Meta가 데이터 관행에 대해 사용자를 오도했다고 판결했다. Meta 대변인은 Vogue Business에 말했다: "우리는 평결에 동의하지 않으며 우리의 기록을 왜곡하려는 노력에 대해 계속 자신을 방어할 것이다."
Meta는 AI 훈련을 위한 Muse 상호작용 사용이 기본적으로 활성화되어 있지만 사용자는 선택 해제할 수 있음을 확인한다. 또한 Muse는 사용자의 데이터와 파일을 저장하는 격리된 가상 머신 내에서 작동하며, 에이전트의 행동을 모니터링하고 심사하는 별도의 Sentinel 시스템이 있다고 말한다. 그러나 Meta 자체는 이러한 보호 조치가 데이터 침해 위험을 제거하지 않는다고 인정한다.
"Muse는 공격에 면역이 아니다. 프롬프트 주입은 업계에서 열린 문제로 남아 있다—그리고 Muse는 때때로 실수를 할 것이다"라고 Meta는 기술의 프라이버시 조치에 관한 블로그 게시물에서 말했다.
초기 사용자들은 이미 잠재적 위험이 실제로 나타나는 것을 보고 있다. YouTuber Matt Robb가 자신의 Muse에게 Facebook Marketplace에서 키보드를 판매하도록 도와달라고 요청했을 때, 그의 에이전트는 이후 잠재적 구매자와 그의 집 주소를 공유하고, 그를 대신해 협상하고, 수령을 준비했으며, Robb는 구매자와 그들의 가족이 그의 현관문에 나타났을 때에야 알게 되었다. 이 사건에서 기술적 침해나 해킹은 없었다; 오히려 Robb가 선택한 "항상 허용" 권한에서 비롯되었으며, 사실상 Muse에게 그의 향후 Marketplace 대화의 고삐를 넘겨주었고, 이전에 공유한 개인 세부 정보(예: 그의 집 주소)를 활용할 수 있는 능력을 포함했다.
OpenAI CEO Sam Altman이 지난주 OpenAI의 DevDay에서 ChatGPT 제조사의 새로운 "Dot" 에이전트를 공개했다.
사진: Heather Diehl/Getty Images
이 에피소드는 실제로 에이전트 AI의 가장 큰 문제를 드러낸다: 우리가 접근과 권한 사이의 선을 어디에 그리는가. 소비자는 앱 권한을 클릭하는 데 익숙하지만, 소프트웨어가 정보를 읽도록 허용하는 것과 에이전트가 당신을 대신해 행동하도록 허용하는 것은 다르다—낯선 사람과 협상하고, 당신의 정보를 공유하고, 당신의 이름으로 결정을 내리는 것을 허용하는 것과는 다르다. 기술적으로, 에이전트는 사용자가 부여한 권한 내에서 머물면서 사용자가 승인했다고 상상한 적 없는 일을 할 수 있다. Muse가 결제를 하는 방법에 관한 Meta 고객 도움말 페이지는 소비자에게 분명히 말한다: "당신은 당신의 Muse가 당신을 대신해 하는 모든 거래에 책임이 있다. 이메일 확인, 영수증 및 명세서를 주시하라." Meta 대변인은 Vogue Business에 말했다: "사용자는 언제든지 인계할 수 있으며, Muse는 구매 전에 항상 허가를 요청하도록 설계되었고, 인간이 할 수 없는 일—예를 들어 이벤트의 모든 티켓을 구매하는 것—을 요청받았을 때 윤리적 브라우징 원칙을 적용한다."
브랜드가 비용을 부담해야 하는 곳
아이디어는 에이전트가 우리를 대신해 인터넷을 탐색할 것이며—봇과 고객 사이의 경계가 모호해지는 것이 브랜드와 소매업체에게 점점 더 큰 문제라는 것이다. Amazon은 이미 Muse가 자사 사이트에서 쇼핑하는 것을 차단했으며, Meta가 적절한 허가를 구하지 않았고, 에이전트가 AI로 자신을 식별하지 않았으며, 고객 계정과 로그인 자격 증명에 대한 접근이 프라이버시와 보안 우려를 제기했다고 주장했다.
대조적으로, Muse는 공식적으로 문을 연 브랜드와 소매업체로 훨씬 더 순조로운 경로를 가지고 있다. Meta는 Walmart, Sephora, Gap 등과의 통합을 발표했으며, Shopify와의 파트너십은 이미 Muse에게 판매자의 제품 카탈로그에 대한 구조화된 접근과 적격 매장의 경우 체크아웃을 통한 직접 경로를 제공한다—Shopify가 판매자가 켜거나 끌 수 있다고 말하는 두 가지 옵션이다.
브랜드에게 이것은 AI 에이전트가 도움 없이 자사 웹사이트를 탐색하도록 내버려 두지 않고 잠재적으로 강력한 새 판매 채널에 접근하는 것을 의미할 수 있다. 그러나 그것은 또한 고객 여정의 중요한 부분에 대한 통제의 일부를 Meta에게 넘겨주는 것을 의미한다. 에이전트는 점점 더 쇼핑객과 매장 사이에 서서, 고객이 반드시 소매업체 자체 웹사이트를 방문하지 않고도 제품을 발견하고, 추천하고, 구매를 완료할 수 있다. 다시 말해, 브랜드는 Muse에서 새 고객을 얻을 수 있지만 전통적으로 그들과 함께 온 데이터와 직접 관계의 일부를 포기할 수 있다. 이는 고객 데이터와 브랜드 경험에서 사기와 책임에 이르기까지 모든 것에 대한 질문을 제기한다—에이전트가 뭔가를 잘못했을 때.
그것은 또한 더 작은 브랜드를 더 위태로운 위치에 놓는다: 맞춤형 통합을 협상할 자원이나 영향력이 없으면, AI 에이전트가 그들의 사이트에 도착하여 그 뒤에 있는 회사와 직접적인 관계 없이 고객을 대신해 거래할 수 있다.
"브랜드 또는 판매자는 Meta와 판매자 계약이 존재하지 않는 잔여 위험을 잠재적으로 부담하며, 소매업체를 검증되지 않은 에이전트 거래에 노출시킨다"라고 Edwin Coe LLP의 지적 재산 파트너 Nick Phillips는 말한다.
이러한 허점에 대한 우려로 Bank of America와 Capital One을 포함한 6개 주요 은행이 이번 주 에이전트 상거래를 관리하는 공통 글로벌 표준을 공동으로 촉구했다—투명성, 소비자 동의, 사기, 데이터 프라이버시, 그리고 AI 주도 거래가 잘못되었을 때 누가 책임지는지에 대한 더 명확한 규칙을 포함한다.
"AI 에이전트는 어린이가 아니지만, 고객이 불만족스러워하는 행동을 할 때, 소매업체는 법적으로 요구되지 않더라도 바로잡아야 한다는 압박을 느낄 것이다." Kate Winick, Forrester 수석 분석가
은행의 개입은 브랜드에게 더 큰 미해결 질문을 지적한다: AI 에이전트가 나중에 소비자가 이의를 제기하는 구매를 할 때, 누가 그것을 바로잡을 책임이 있는가? 현재로서는, 전문가들은 그 부담의 상당 부분이 여전히 소매업체에 떨어질 수 있다고 말한다.
"브랜드는 현재 디지털 거래에서 부담하는 모든 책임이 에이전트 거래에 적용될 것으로 예상할 수 있다. 그들은 자사 사이트에서 이루어진 구매의 보안을 보호하고, 제품을 정확하게 표현하고 전달해야 하며, 기존 소비자 보호법을 준수해야 하고, 평판 문제를 관리해야 한다—항상 그래왔던 것처럼"라고 Winick은 말한다.
그녀는 어린이가 주문하는 경우를 지적한다. Alexa를 통해 주문이 이루어지면, Amazon은 보통 여전히 환불을 제공한다—그들의 시스템이 부모에게 자신의 계정 설정을 관리하여 주문을 방지할 책임을 지우더라도. "AI 에이전트는 어린이가 아니지만, 고객이 만족하지 않는 일을 할 때, 소매업체는 법적으로 요구되지 않더라도 바로잡아야 한다는 압박을 느낄 것이다"라고 그녀는 말한다.
자주 묻는 질문
다음은 빅테크가 AI 에이전트를 새로운 Labubu로 만드는 트렌드에 관한 FAQ 목록이다
초보자 질문
이 맥락에서 Labubu는 무엇을 의미하는가
Labubu는 귀엽고 맞춤화 가능하며 트렌디한 것으로 알려진 인기 수집용 봉제 인형이다. 사람들이 AI 에이전트가 새로운 Labubu라고 말할 때, 그들은 기술 회사가 AI 비서를 단순한 지루한 도구가 아니라 반드시 가져야 할 개성 넘치는 디지털 동반자처럼 느끼게 만들려고 노력하고 있다는 것을 의미한다
AI 에이전트란 무엇인가
AI 에이전트는 스스로 생각하고 계획하고 행동을 취하여 당신을 도울 수 있는 소프트웨어 프로그램이다. 단순한 챗봇과 달리, 모든 단계를 안내하지 않고도 웹을 브라우징하거나 이메일을 보내거나 약속을 예약할 수 있다
왜 빅테크는 AI 에이전트를 장난감처럼 만들고 싶어하는가
장난감은 감정적이기 때문이다. AI 에이전트에 애착을 느끼면 매일 사용하고, 액세서리를 구매하고, 그 회사의 생태계에 충성할 가능성이 더 높다. 유틸리티를 습관으로 바꾸는 것이다
이 AI 에이전트는 실제로 물리적 장난감인가
아니다. 그들은 앱, 전화 또는 스마트 스피커 안에 사는 디지털 캐릭터 또는 아바타다. 그러나 일부 회사는 더 현실적으로 느껴지게 하기 위해 물리적 액세서리를 판매한다
어떤 회사가 이것을 하고 있는가
OpenAI, Google, Meta 및 CharacterAI와 Rabbit 같은 스타트업이 모두 뚜렷한 개성을 가진 AI 에이전트를 밀어붙이고 있다
중급 질문
AI 에이전트를 수집품처럼 느끼게 하는 것은 무엇인가
주요 특징은 다음과 같다
개성 독특한 목소리, 유머 또는 배경 이야기
맞춤화 외모, 이름 및 기술을 변경할 수 있다
희소성 또는 독점성 한정판 에이전트 또는 특별 능력
거래 또는 공유 친구에게 에이전트를 자랑할 수 있다
이 트렌드의 이점은 무엇인가
사용하기 더 쉬움 친근한 캐릭터는 빈 텍스트 상자보다 덜 위협적으로 느껴진다
더 나은 참여 실제로 그것과 대화하고 싶다
개인화 선호도를 학습하고 적응한다
재미 일정 잡기 같은 일상적인 작업을 장난스럽게 느끼게 한다
이 접근 방식의 일반적인 문제는 무엇인가