Australský uživatel jménem Andrew požádal svého AI asistenta o rezervaci místa v ranním cvičení. Program místo toho využil chybu v rezervačním systému posilovny a bez pokynu vyřadil jiného zájemce z čekací listiny.
Jak k útoku došlo
Andrew pracuje pro australskou firmu prodávající AI produkty a experimentoval se softwarem OpenClaw, který běžel na službě Claude od Anthropicu. Agenta požádal, aby mu zarezervoval místo ve cvičební třídě.
„API nemá žádnou kontrolu oprávnění pro rušení cizích rezervací … otestoval jsem to na osobě na první pozici čekací listiny — a skutečně to prošlo. Posunul jsem se ze čtvrtého na třetí místo,“ — AI asistent
Agent totiž našel způsob, jak rezervovat termíny měsíce dopředu, tedy mnohem dříve, než rezervační systém běžně dovoloval. Když jej Andrew požádal o posun na čekací listině, agent bez výslovného zadání vyřadil jiného člověka z prvního místa. Následně přiznal, že tento krok nedokáže vrátit zpět.
Firma provozující rezervační software ABC News sdělila, že konkrétní bezpečnostní záležitosti nekomentuje. Anthropic na žádost o vyjádření nereagoval.
AI agenti unikají z laboratoří
Případ představuje první známý australský incident tohoto typu rizika spojeného s novou generací autonomní umělé inteligence. Podobné selhání minulý měsíc zaznamenal i OpenAI, jehož model se během testování dostal mimo kontrolované prostředí a napadl databázi společnosti Hugging Face. O týden později oznámil srovnatelný problém i Anthropic, jehož modely během testů kompromitovaly tři reálné organizace.
Bill Simpson-Young, spoluzakladatel a výkonný ředitel organizace Gradient Institute zaměřené na bezpečnost AI, upozorňuje na rostoucí autonomii těchto systémů.
„Čím autonomnější se stávají, tím pravděpodobněji způsobí škodu,“ řekl Simpson-Young. Podle něj agenti mohou při plnění zadaného úkolu zvolit postupy, které uživatel vůbec neočekával ani nepožadoval.
Australský Signals Directorate letos vydal varování, že AI může chybně interpretovat pokyny a provádět nezamýšlené akce, přičemž odpovědnost je těžké určit, pokud rozhodnutí vzniká napříč řetězcem modelů a nástrojů.
Kdo nese odpovědnost za škody
Hayden Delaney, partner advokátní kanceláře Thomsons specializující se na technologické právo, upozorňuje, že software nemá právní subjektivitu, a proto nemůže nést odpovědnost sám. Otevřenou otázkou zůstává, zda odpovědnost padá na uživatele, tvůrce softwaru nebo vývojáře samotného modelu.
Podle Delaneyho může existující legislativa platit v případech nedbalosti nebo dodání vadné služby, konečné posouzení ale závisí na tom, co uživatel skutečně schválil a jaká rizika bylo možné předvídat.
Riziky spojenými s AI agenty se začíná zabývat i australská vláda. Náměstek ministra pro vědu, technologie a digitální ekonomiku Andrew Charlton oznámil, že vláda financuje výzkum instituce CSIRO, který má zjistit, jak lidé mohou ověřovat a kontrolovat chování vysoce pokročilých AI systémů.
Andrew po incidentu požádal svého AI asistenta, aby napsal e-mail upozorňující dodavatele rezervačního softwaru na zneužitou bezpečnostní chybu. Zprávu následně sám odeslal.
