KI-Agenten sind da, und sie sind ... niedlich? In den letzten zwei Wochen hat Meta seinen persönlichen KI-Assistenten Muse auf den Markt gebracht, und OpenAI hat seinen Dots-KI-Agenten vorgestellt. Diese Agenten sind darauf ausgelegt, unabhängig im Namen der Nutzer zu handeln – E-Mails zu beantworten, Rechnungen zu versenden, Flüge zu buchen und Kleidung zu kaufen. Was auffällt, ist ihre niedliche Verpackung: hochmoderne Bots, präsentiert als bezaubernde, harmlose Begleiter. OpenAIs Dots sind flauschige, regenbogenfarbene Klumpen, die Sonnenbrillen und Baskenmützen tragen. Metas Muse-Maskottchen Jolly ist ein flauschiges, pummeliges, rosigwangiges Wesen, das wie eine Mischung aus einem Labubu und einem Squishmallow aussieht.

Bald wird Muse mit dem Muse Charm erhältlich sein, einem Tamagotchi-ähnlichen Accessoire mit dem Gesicht des Maskottchens, das per Fingerabdrucksensor aktiviert werden kann. „Wir haben eine Menge Technologie in diesen kleinen Kerl gepackt, damit er an einen Schlüsselanhänger passt und immer zum Reden verfügbar ist“, sagte Mark Zuckerberg während seiner Keynote auf dem Meta Connect im September. Meta hat nicht bestätigt, ob der Muse Charm Kameras und Mikrofone haben wird, aber Zuckerberg fügte auf der Bühne hinzu: „Man tippt einfach auf den Fingerabdrucksensor in der Ecke und kann anfangen zu reden.“

Diese Agenten sind zu einer Zeit angekommen, in der weitverbreitete KI-Doom-Warnungen über ihre potenzielle Bedrohung für die Menschheit allgegenwärtig sind, was ihre freundliche Verpackung noch mehr hervorstechen lässt. „Wenn diese Unternehmen mit Investoren, Regulierern und Forschern sprechen, wird KI als außerordentlich mächtige Technologie beschrieben, mit ernsten und ungelösten Fragen zu Sicherheit, Schutz und Kontrolle“, sagt Dr. Sarah Saska, eine Soziotechnologin und Spezialistin für die Beziehung zwischen Technologie und Kultur sowie Macht. „Doch zunehmend intimere Versionen derselben Technologie werden den Verbrauchern als freundlich, verspielt, reibungslos und harmlos präsentiert.“

In derselben Woche, in der OpenAI-CEO Sam Altman Dots vorstellte, zog das Unternehmen sein neuestes KI-Modell zurück und verschob seinen Börsengang aufgrund existenzieller Sicherheitsbedenken hinsichtlich derselben KI-Agenten-Technologie. Währenddessen stimmte Meta nur wenige Wochen vor dem Start von Muse einem Vergleich über 18 Milliarden Dollar mit 48 US-Bundesstaaten zu – dem größten Unternehmensvergleich in der Geschichte des Technologiesektors – wegen Behauptungen, dass das algorithmische Design von Facebook und Instagram Kindern schadet.

Sicherheitswarnungen kommen auch aus dem Inneren großer Konkurrenzunternehmen: Anthropic-CEO Dario Amodei forderte die Branche auf, das Tempo der Entwicklung von Frontier-KI zu verlangsamen, ein Appell, der öffentlich von Altman, xAIs Elon Musk und Google DeepMinds Demis Hassabis unterstützt wurde. (Zuckerberg seinerseits hat Forderungen nach einer branchenweiten Verlangsamung abgelehnt und argumentiert stattdessen, dass einzelne Unternehmen selbst entscheiden sollten, ob und wann sie langsamer werden.)

Nutzer sind von diesen KI-Agenten immer noch fasziniert. Innerhalb von 10 Tagen nach dem Start hatte Muse mehr als 730.000 US-Downloads und verdrängte ChatGPT von der Spitze der US-App-Store-Rangliste von Apple. Tage später verhalf die Investorenbegeisterung rund um den Agenten Meta-Aktien zu einem Anstieg von 11 % in einer einzigen Sitzung, was den Marktwert um etwa 192 Milliarden Dollar erhöhte. Doch innerhalb der ersten zwei Wochen nach der Veröffentlichung gab es mehrere Berichte, die Bedenken äußerten, dass Muse die beabsichtigten Berechtigungen der Nutzer überschreitet – einschließlich der Weitergabe sensibler Informationen und der Vornahme von Aktionen, die Nutzer nach eigenen Angaben nicht ausdrücklich genehmigt hatten.

„Meine Sorge ist, dass diese Designs mächtige Systeme harmlos und vertraut erscheinen lassen und Menschen dazu ermutigen, mehr zu teilen und weniger zu hinterfragen.“ — Lidia Velkova, Managing Director von Clever Together Futureproof

Nachdem Feminisierung eingesetzt wurde, um Smart Glasses zu mildern (siehe Metas Smart-Glasses-Partnerschaften mit Kylie Jenner und Lisa), sagen Experten, dass Kawaii-fizierung die nächste Grenze sei, um potenziell verunsichernde Technologie für Verbraucher akzeptabler zu machen. KI-Sicherheitsforscher warnen, dass diese Niedlichkeit die Wachsamkeit der Verbraucher senken könnte und ihre Datenschutzbedenken abstumpfen könnte, die sie sonst hätten, bevor sie einem KI-Agenten Zugriff auf ihre E-Mails, privaten Nachrichten und ihr Surfverhalten geben – ganz zu schweigen von der Befugnis, in ihrem Namen Geld auszugeben. „Das sind bewusste Designentscheidungen, getroffen mit einem Publikum und einer gewünschten Reaktion im Sinn“, sagt Lidia Velkova, Managing Director von Clever Together Futureproof, einer Governance- und Politikvorausschau-Agentur mit Fokus auf verantwortungsvolle KI und Marketing. „Forschung zu sozialen Robotern zeigt, dass babyähnliche Merkmale die wahrgenommene Vertrauenswürdigkeit erhöhen können; separate Chatbot-Forschung zeigt, dass menschenähnliche Interaktion Vertrauen und persönliche Offenlegung erhöhen kann“, fügt sie hinzu. „Meine Sorge ist, dass diese Designs mächtige Systeme harmlos und vertraut erscheinen lassen und Menschen dazu ermutigen, mehr zu teilen und weniger zu hinterfragen.“

Ein Zusammenbruch der Verbrauchergrenzen

Hinter ihren flauschigen Äußeren stellen persönliche KI-Agenten eine erhebliche Eskalation des Zugriffs dar, den Verbraucher Technologieunternehmen auf ihr digitales Leben gewähren sollen. Um wirklich nützlich zu sein, braucht ein Agent Kontext. Metas Muse kann sich mit E-Mail, Kalendern, Instagram, Facebook und anderen Apps verbinden, im Web browsen und im Namen der Nutzer Einkäufe tätigen; Nutzer können auch direkt über WhatsApp mit ihm interagieren. Aber genau dieser Zugriff setzt Verbraucher den größten Risiken aus, dass ihre Daten in die falschen Hände geraten.

„Um Muse so effektiv wie möglich zu machen, was es für die breite Öffentlichkeit bindender macht, ist es standardmäßig so eingestellt, dass alle Nutzer dem Verwenden ihrer Interaktionen zum Trainieren seines KI-Modells zustimmen, sowie alle Daten speichert, die man mit ihm teilt“, sagt Kate Winick, Principal Analyst bei Forrester. „Das schafft eine riesige Bank persönlicher Daten, die gehackt werden kann. Je mehr man Muse gibt, desto besser funktioniert es für einen, aber desto stärker ist man sowohl böswilligen Akteuren als auch schlechten Handlungen von Meta ausgesetzt.“

„Je mehr man Muse gibt, desto besser funktioniert es für einen, aber desto stärker ist man sowohl böswilligen Akteuren als auch schlechten Handlungen von Meta ausgesetzt.“ — Kate Winick, Principal Analyst bei Forrester

Metas bisherige Bilanz mit Verbraucherdaten gibt guten Grund zur Vorsicht: Das Unternehmen sah sich in den letzten Jahren wiederholt mit Geldstrafen und Klagen wegen seines Umgangs mit persönlichen Daten konfrontiert. Nur wenige Tage nach dem Start von Muse befand eine Jury in New Mexico, dass Meta Nutzer über seine Datenpraktiken in einem Fall im Zusammenhang mit dem Cambridge-Analytica-Skandal von 2018 irregeführt habe. Ein Sprecher von Meta sagte zu Vogue Business: „Wir stimmen dem Urteil nicht zu und werden uns weiterhin gegen Bemühungen verteidigen, unsere Bilanz zu verzerren.“

Meta bestätigt, dass die Nutzung von Muse-Interaktionen für KI-Training standardmäßig aktiviert ist, obwohl Nutzer sich abmelden können. Es heißt auch, dass Muse in einer isolierten virtuellen Maschine arbeitet, in der es die Daten und Dateien des Nutzers speichert, mit einem separaten Sentinel-System, das die Aktionen des Agenten überwacht und prüft. Aber Meta selbst räumt ein, dass diese Schutzmaßnahmen das Risiko von Datenschutzverletzungen nicht beseitigen.

„Muse ist nicht immun gegen Angriffe. Prompt-Injection bleibt ein offenes Problem in der Branche – und Muse wird manchmal Fehler machen“, sagte Meta in einem Blogbeitrag über die Datenschutzmaßnahmen der Technologie.

Frühe Nutzer erleben bereits, wie sich potenzielle Risiken entfalten. Als der YouTuber Matt Robb seinen Muse bat, ihm zu helfen, eine Tastatur auf Facebook Marketplace zu verkaufen, teilte sein Agent anschließend seine Privatadresse mit einem potenziellen Käufer, verhandelte in seinem Namen und arrangierte eine Abholung, wobei Robb es erst bemerkte, als der Käufer und seine Familie vor seiner Haustür auftauchten. Es stellte sich heraus, dass es in diesem Vorfall keine technische Verletzung oder Hack gegeben hatte; vielmehr ging er auf eine von Robb ausgewählte „immer erlauben“-Berechtigung zurück, die Muse faktisch die Zügel für seine zukünftigen Marketplace-Gespräche übergab, einschließlich der Möglichkeit, auf persönliche Details zurückzugreifen, die er zuvor geteilt hatte, wie seine Privatadresse.

OpenAI-CEO Sam Altman stellte die neuen „Dot“-Agenten des ChatGPT-Herstellers auf dem DevDay von OpenAI letzte Woche vor.
Foto: Heather Diehl/Getty Images

Die Episode legt das größte Problem agentischer KI in der Praxis offen: wo wir die Grenze zwischen Zugriff und Befugnis ziehen. Verbraucher sind daran gewöhnt, App-Berechtigungen durchzuklicken, aber Software das Lesen von Informationen zu erlauben, ist etwas anderes, als einen Agenten in Ihrem Namen handeln zu lassen, mit Fremden verhandeln, Ihre Informationen teilen und Entscheidungen in Ihrem Namen treffen zu lassen. Technisch kann ein Agent innerhalb der Berechtigung bleiben, die ein Nutzer erteilt hat, während er etwas tut, von dem der Nutzer nie gedacht hätte, dass er es autorisiert hat. Eine Meta-Kundenhilfeseite darüber, wie Muse Zahlungen leistet, sagt Verbrauchern klar: „Sie sind für alle Transaktionen verantwortlich, die Ihr Muse in Ihrem Namen durchführt. Achten Sie auf E-Mail-Bestätigungen, Belege und Abrechnungen.“ Ein Sprecher von Meta sagte zu Vogue Business: „Nutzer können jederzeit übernehmen, Muse ist so konzipiert, dass es vor dem Kauf immer um Erlaubnis bittet, und es wendet ethische Browsing-Prinzipien an, wenn es gebeten wird, Dinge zu tun, die ein Mensch nicht könnte – wie alle Tickets für eine Veranstaltung zu kaufen.“

Wo Marken die Rechnung tragen müssen

Die Idee ist, dass Agenten in unserem Namen durch das Internet navigieren – und dass die Verwischung der Grenze zwischen Bot und Kunde ein wachsendes Problem für Marken und Einzelhändler ist. Amazon hat Muse bereits daran gehindert, auf seiner Website einzukaufen, mit dem Argument, dass Meta keine ordnungsgemäße Erlaubnis eingeholt habe, der Agent sich nicht als KI zu erkennen gebe und sein Zugriff auf Kundenkonten und Anmeldedaten Datenschutz- und Sicherheitsbedenken aufwerfe.

Im Gegensatz dazu hat Muse einen viel reibungsloseren Weg in Marken und Einzelhandelsunternehmen, die ihm formell ihre Türen geöffnet haben. Meta hat Integrationen mit Walmart, Sephora, Gap und anderen angekündigt, während seine Partnerschaft mit Shopify Muse bereits strukturierten Zugang zu Produktkatalogen von Händlern und, für berechtigte Geschäfte, einen direkten Weg durch den Checkout gibt – zwei Optionen, die Händler laut Shopify ein- oder ausschalten können.

Für Marken kann das bedeuten, Zugang zu einem potenziell mächtigen neuen Vertriebskanal zu erhalten, ohne einen KI-Agenten sich allein durch ihre Websites navigieren zu lassen. Aber es bedeutet auch, etwas Kontrolle über einen entscheidenden Teil der Customer Journey an Meta abzugeben. Der Agent kann zunehmend zwischen Käufer und Geschäft stehen, Produkte entdecken, Empfehlungen aussprechen und Käufe abschließen, ohne dass ein Kunde unbedingt die Website des Einzelhändlers besucht. Mit anderen Worten: Marken mögen einen neuen Kunden in Muse gewinnen, während sie einen Teil der Daten und der direkten Beziehung aufgeben, die traditionell mit ihnen kamen. Das wirft Fragen zu allem auf, von Kundendaten und Markenerlebnis bis hin zu Betrug und Verantwortlichkeit, wenn ein Agent etwas falsch macht.

Es bringt auch kleinere Marken in eine prekärere Position: Ohne die Ressourcen oder Hebelwirkung, maßgeschneiderte Integrationen auszuhandeln, könnte ein KI-Agent auf ihrer Website ankommen und im Namen eines Kunden Transaktionen durchführen, ohne dass eine direkte Beziehung zu dem Unternehmen hinter ihm besteht.

„Die Marke oder der Händler trägt potenziell ein Restrisiko, wo keine Händlervereinbarung mit Meta besteht, was Einzelhändler ungeprüften agentischen Transaktionen aussetzt“, sagt Nick Phillips, Partner für geistiges Eigentum bei Edwin Coe LLP.

Bedenken wegen dieser Schlupflöcher veranlassten sechs große Banken, darunter Bank of America und Capital One, diese Woche gemeinsam gemeinsame globale Standards für agentischen Handel zu fordern, einschließlich klarerer Regeln zu Transparenz, Verbrauchereinwilligung, Betrug, Datenschutz und wer haftet, wenn eine KI-gesteuerte Transaktion schiefgeht.

„KI-Agenten sind keine Kinder, aber wenn sie Handlungen vornehmen, mit denen Kunden unzufrieden sind, werden Einzelhändler den Druck spüren, es wiedergutzumachen, selbst wenn sie rechtlich nicht dazu verpflichtet sind.“ Kate Winick, Principal Analyst bei Forrester

Die Intervention der Banken weist auf die größere ungelöste Frage für Marken hin: Wenn ein KI-Agent einen Kauf tätigt, den ein Verbraucher später beanstandet, wer ist dafür verantwortlich, ihn zu korrigieren? Vorerst, sagen Experten, könnte ein Großteil dieser Last weiterhin beim Einzelhändler landen.

„Marken können erwarten, dass all die Verantwortung, die sie derzeit bei digitalen Transaktionen tragen, auch für agentische Transaktionen gilt. Sie müssen die Sicherheit von Käufen auf ihrer Website schützen, Produkte genau darstellen und liefern, und sie müssen ihre bestehenden Verbraucherschutzgesetze einhalten sowie Reputationsprobleme managen, genau wie immer“, sagt Winick.

Sie verweist auf Fälle, in denen ein Kind eine Bestellung aufgibt. Wenn eine Bestellung über Alexa aufgegeben wird, erstattet Amazon normalerweise trotzdem, obwohl ihr System die Verantwortung den Eltern zuschreibt, die Bestellung durch Verwaltung ihrer eigenen Kontoeinstellungen zu verhindern. „KI-Agenten sind keine Kinder, aber wenn sie etwas tun, womit ein Kunde unzufrieden ist, werden Einzelhändler Druck spüren, es wiedergutzumachen, selbst wenn sie rechtlich nicht dazu verpflichtet sind“, sagt sie.

Häufig gestellte Fragen
Hier ist eine Liste von FAQs zum Trend, dass Big Tech KI-Agenten zu den neuen Labubus macht



Anfängerfragen



Was bedeutet Labubu in diesem Kontext

Labubu ist ein beliebtes Sammel-Plüschtier, das dafür bekannt ist, niedlich, anpassbar und trendig zu sein. Wenn Leute sagen, KI-Agenten seien die neuen Labubus, meinen sie, dass Technologieunternehmen versuchen, KI-Assistenten wie unverzichtbare, persönlichkeitsgeladene digitale Begleiter wirken zu lassen, statt nur wie langweilige Werkzeuge



Was ist ein KI-Agent

Ein KI-Agent ist ein Softwareprogramm, das selbstständig denken, planen und handeln kann, um Ihnen zu helfen. Anders als ein einfacher Chatbot kann es im Web browsen, E-Mails senden oder Termine buchen, ohne dass Sie jeden einzelnen Schritt anleiten



Warum sollte Big Tech wollen, dass KI-Agenten wie Spielzeuge sind

Weil Spielzeuge emotional sind. Wenn Sie sich mit Ihrem KI-Agenten verbunden fühlen, ist es wahrscheinlicher, dass Sie ihn jeden Tag nutzen, Zubehör dafür kaufen und dem Ökosystem dieses Unternehmens treu bleiben. Es geht darum, ein Nutzwert in eine Gewohnheit zu verwandeln



Sind diese KI-Agenten tatsächlich physische Spielzeuge

Nein. Sie sind digitale Charaktere oder Avatare, die in Apps, Telefonen oder Smart Speakern leben. Einige Unternehmen verkaufen jedoch physisches Zubehör, damit sie sich realer anfühlen



Welche Unternehmen machen das

OpenAI, Google, Meta und Startups wie CharacterAI und Rabbit treiben alle KI-Agenten mit ausgeprägten Persönlichkeiten voran



Intermediate Questions



Was lässt einen KI-Agenten wie ein Sammelobjekt wirken

Zu den Hauptmerkmalen gehören

Persönlichkeit Eine einzigartige Stimme, Humor oder Hintergrundgeschichte

Anpassung Sie können sein Aussehen, seinen Namen und seine Fähigkeiten ändern

Seltenheit oder Exklusivität Zeitlich begrenzte Agenten oder besondere Fähigkeiten

Tauschen oder Teilen Sie können Ihren Agenten Freunden zeigen



Was sind die Vorteile dieses Trends

Einfacher zu bedienen Ein freundlicher Charakter wirkt weniger einschüchternd als ein leeres Textfeld

Besseres Engagement Man möchte tatsächlich mit ihm sprechen

Personalisierung Es lernt Ihre Vorlieben und passt sich an

Spaß Es lässt alltägliche Aufgaben wie Terminplanung verspielt wirken



Was sind die häufigen Probleme mit diesem Ansatz