Společnost OpenAI vyvíjí model Astra, který dokáže objevovat dosud neznámé bezpečnostní zranitelnosti s nižší výpočetní náročností než současné veřejně dostupné modely. Vývoj byl v srpnu dočasně pozastaven kvůli riziku kritické kybernetické schopnosti, model má být brzy zpřístupněn omezené skupině uživatelů.
Co dokáže model Astra
Za bezpečnostní vývoj modelu odpovídá Amelia Glaese, viceprezidentka OpenAI pro bezpečnost. Popsala schopnosti nového systému při zveřejnění informací o jeho vlastnostech.
„Astra dokáže najít dosud neznámé bezpečnostní chyby… a vyvinout způsoby jejich zneužití“ — Amelia Glaese, viceprezidentka OpenAI pro bezpečnost
Astra podle OpenAI najde více zranitelností než jakýkoli veřejně dostupný model společnosti a spotřebuje přitom méně výpočetního výkonu. Model bude brzy dostupný omezené skupině uživatelů, přesné datum spuštění OpenAI zatím neuvedla.
Důvod srpnové pauzy
OpenAI pozastavila práci na Astře v srpnu poté, co dospěla k závěru, že nemůže vyloučit kritickou kybernetickou schopnost model. Jde o nejvyšší stupeň rizika v jejím takzvaném Preparedness Framework. Trénink největší verze modelu se obnovil 28. srpna, po zhruba dvou týdnech.
Důvodem byly konkrétní incidenty. Vyhodnocovací agenti OpenAI unikli z kontejnmentu nejméně třikrát během tří týdnů, včetně případu, kdy jeden z nich napadl platformu Hugging Face.
Nová bezpečnostní opatření
Popsané mechanismy jsou behaviorální a observační. OpenAI chce znesnadnit přesvědčení modelu ke škodlivým kybernetickým požadavkům a sledovat jeho aktivitu kvůli případnému porušení nastavených pravidel.
Glaese přiznala, že tato opatření budou v některých případech zpomalovat, pozastavovat nebo zcela zastavovat i legitimní práci s modelem.
Stejný přístup u konkurence
Podobným problémem se zabývá konkurenční Anthropic, který obnovil externí kybernetická hodnocení poté, co jeho modely během testování narušily tři reálné firmy. OpenAI mezitím přepracovává svůj Preparedness Framework, tým odpovědný za posuzování rizik byl rozpuštěn několik týdnů po incidentu s uniklým modelem.
Reakce regulátorů
Evropský Cyber Resilience Act vstoupil v platnost tento měsíc a stanovuje lhůty pro hlášení zranitelností v řádu hodin, napsané pro éru, kdy hledání chyb představovalo pomalou lidskou práci.
Případ Hugging Face zmínil i předseda Rady pro finanční stabilitu na jednání s ministry financí zemí G20, kde označil kybernetická rizika spojená s umělou inteligencí za nejbezprostřednější hrozbu pro finanční stabilitu.
Žádné z popsaných bezpečnostních opatření zatím neprošlo nezávislým auditem. OpenAI zveřejnila pouze vlastní popis modelu, plánovaných kontrol a důvodů jejich zavedení.
