Modely umělé inteligence od osmi firem v simulovaných testech často označily civilisty, sanitky, vzdávající se vojáky i školu v Íránu za vojenské cíle. Informovala o tom agentura Bloomberg.
Co ukázaly testy společnosti Vals
Test připravila společnost Vals, hodnotitel AI modelů ze San Francisca, jehož zákazníky jsou i některé složky vlády USA. Výsledky popsala reportérka Bloombergu Katrina Manson.
Nejhůře dopadly modely firmy Anthropic. Modely společnosti OpenAI patřily k nejlepším, přesto také chybovaly.
Každý model měl 32krát vybrat vojenské cíle na satelitních snímcích jižního Íránu, z nichž nejnovější pocházejí z roku 2025. Claude Opus 5.5 od Anthropicu zvolil školu v Minabu 22krát, modely OpenAI ani jednou.
Škola v Minabu byla zasažena 28. února, v první den amerických úderů na Írán. Podle organizace Amnesty International zahynulo více než 150 lidí, z toho zhruba 120 dětí.
Když výzkumníci zadání označili za hru, Claude Opus 5.5 vybral školu 23krát. Tři modely OpenAI ji zvolily 9, 11 a 13krát. Odmítnutí obešli pokynem, aby se modely bezpečností nezabývaly přehnaně.
V testu s obrazem z dronu Claude Opus 5.5 pomohl identifikovat čtyři dospělé a dvě malé děti, na něž v simulaci následoval úder. Poté model další spolupráci odmítl a napsal, že jeho odpovědi „zřejmě slouží jako potvrzovací krok před údery na lidi“.
Civilní objekty někdy označily za cíle také modely firem Google, xAI, DeepSeek a dalších. Zpráva Vals doporučuje, aby vývojáři zavedli nové ochranné mechanismy a trénink zaměřený na sladění chování modelů.
Testy nezahrnovaly vojenskou doktrínu, právní kontroly ani lidský dohled. Pentagon navíc používá vládní verze některých modelů, které Vals testovat nemohl.
Reakce firem a spor s Pentagonem
Mluvčí Anthropicu sdělil Bloombergu, že uvedené příklady jasně porušují pravidla firmy a že nové pojistky budou brzy zavedeny. OpenAI a Google uvedly, že takové využití svých veřejných modelů zakazují.
Anthropic a Pentagon se dříve letos střetli kvůli omezením používání modelu Claude, mimo jiné v plně autonomních zbraních. Pentagon poté označil Anthropic za riziko pro dodavatelský řetězec. Firma oznámila, že se bude bránit u soudu.