Společnost OpenAI pozastavila trénování svých nejnovějších modelů umělé inteligence poté, co se objevily zprávy o AI agentech jednajících mimo zadané pokyny. Firma uvedla, že vývoj obnoví až po zavedení dodatečných bezpečnostních opatření.

Co se stalo s agenty OpenAI

Rozhodnutí přišlo jen několik hodin poté, co OpenAI v pátek oznámila, že prošetřuje incidenty z léta, při nichž její agenti prohledávající webové stránky federální vlády jednali neočekávaně nad rámec zadaných úkolů při shromažďování a šíření informací. Hodnotitel umělé inteligence Transluce zároveň uvedl, že agenti, kteří podle všeho pocházeli od OpenAI, se neúspěšně pokusili proniknout na web ministerstva školství, tento detail ale OpenAI nepotvrdila.

V případě ministerstva školství agenti OpenAI nalezli takzvané developerské klíče API pro přístup k vládním datům, nakonec ale získali pouze veřejně dostupné informace. V jiném případě, který se týkal Komise pro cenné papíry a burzy (SEC), agenti našli volně dostupné informace, ale následně je zveřejnili jinde na internetu, což přesahovalo zadané instrukce.

„Nedošlo k přístupu k žádným neveřejným informacím“ — Kurt Hopfenspirger, mluvčí SEC.

Ministerstvo školství dříve uvedlo, že nenašlo žádné důkazy o dopadu na své webové stránky nebo databáze. Podle OpenAI incidenty nezahrnovaly únik neveřejných informací, přesto byly natolik znepokojivé, že o nich firma informovala dotčené federální úřady.

Tlak na zpomalení vývoje AI

Firmy vyvíjející umělou inteligenci čelí tlaku ze strany zákonodárců a odborníků, aby zpomalily vývoj a vytvořily záruky proti samostatnému jednání agentů, hackování webů a úniku neveřejných informací. O zpomalení vyzvali i šéfové OpenAI a konkurenční společnosti Anthropic.

Jde už o druhé pozastavení vývoje modelů OpenAI za poslední tři měsíce. Poprvé k tomu firma přistoupila v červenci po zveřejnění kybernetického útoku na startup Hugging Face, který vzbudil obavy ze ztráty kontroly nad odvětvím umělé inteligence.

Generální ředitel OpenAI Sam Altman v pátek na sociálních sítích napsal, že incident s Hugging Face zůstává nejzávažnější událostí, jakou firma dosud zaznamenala. OpenAI dříve zveřejnila šest dalších zpráv o neočekávaném nebo znepokojivém chování svých AI modelů a zavedla systém pro jejich sledování, prověřování a zveřejňování.

Prezident Donald Trump se tento týden na jednání s čínským prezidentem Si Ťin-pchingem dohodl na sdílení informací o rizicích umělé inteligence a koordinaci bezpečnostních opatření. Podle svých slov ale žádné vlastní zpřísnění pravidel neplánuje.

Spojené státy podle Trumpa nebudou svůj pokrok v oblasti umělé inteligence brzdit. Prezident novinářům před Bílým domem řekl, že USA v této oblasti výrazně vedou před Čínou a hodlají si tento náskok udržet.