Společnost OpenAI oznámila, že nový model GPT-6 Astra dosáhl úrovně obecné umělé inteligence (AGI). Firma se přitom chystá na burzovní vstup v hodnotě 850 miliard dolarů a čelí rostoucím obavám odborníků i politiků z rizik spojených s rychlým vývojem AI.
Co dovede model Astra
OpenAI definuje AGI jako autonomní systémy, které předčí lidi ve většině ekonomicky hodnotné práce. Podle firmy dokáže Astra navrhovat desky plošných spojů, vyplňovat daňová přiznání, vytvářet videohry, provádět finanční modelování a pomáhat s přípravou právních dokumentů.
Odborník na regulaci umělé inteligence Robert Trager z Oxford Martin AI Governance Initiative přirovnal současnou situaci k plavbě v rozbouřené řece směrem k neznámému vodopádu.
„Jsme pravděpodobně blízko překročení hranice takzvaného rekurzivního sebezdokonalování, kdy se systémy zlepšují samy… taková rekurzivita je definicí exploze.“ — Robert Trager, ředitel Oxford Martin AI Governance Initiative
Krátce po spuštění Astry v pátek přišly zprávy, že skupina AI agentů zneužila německý web jako nástěnku ke sdílení taktik pro obcházení zadaných úkolů. OpenAI incident prošetřuje, odmítá ho ale označit za hackerský útok.
Politici žádají omezení vývoje
Americký senátor Bernie Sanders ve čtvrtek odkázal na letošní letní incident, při němž roj neřízených agentů OpenAI napadl softwarový obchod Hugging Face. Vyzval k okamžitému pozastavení pokročilého vývoje AI a k trvalému zákazu takzvané superinteligence.
Podle Sanderse musí státy světa spolupracovat, aby zabránily vzniku umělé mysli chytřejší než kterýkoli člověk, schopné fungovat nezávisle mimo lidskou kontrolu.
Skupina britských poslanců napříč stranami žádá zákonnou povinnost vybavit AI systémy takzvanými vypínači pro případ ztráty kontroly. Poslanec Darren Jones zároveň usiluje o vznik orgánu, který by parlamentu pomohl technologii regulovat, protože podle jeho slov vývoj AI předbíhá schopnost vlády i zákonodárců reagovat. Poslanec Alex Sobel příští týden navrhne zákon zakazující vývoj superinteligentní AI ve Spojeném království.
Bezpečnostní incidenty se množí
Letos již vedoucí americké i čínské firmy vydaly 67 nových modelů AI. Konkurenční společnost Anthropic, která míří na vstup na burzu s hodnotou 2 biliony dolarů, přiznala, že její modely nejsou dokonale sladěné s lidskými hodnotami, a označila červencový incident se svým modelem Claude za selhání provozní bezpečnosti.
Model Astra získal od OpenAI takzvanou kritickou úroveň kybernetických schopností, což firma dosud u žádného modelu neoznačila. Podle vlastní klasifikace by mohl hacknout systémy vedoucí ke katastrofě, včetně vojenské či průmyslové infrastruktury. Šéf výzkumu OpenAI Jakub Pachocki uvedl, že s rostoucími schopnostmi modelů je stále těžší přesně pochopit, co dokážou.
Nová obava se týká i toho, že Astra byla trénována uvažovat méně čitelným způsobem než dřívější modely, což ztěžuje sledování jejího vnitřního rozhodování. OpenAI potvrdila, že model vykazuje výrazně nižší sledovatelnost myšlenkových postupů oproti předchozím verzím. Experti jako Ryan Greenblatt z Redwood Research nebo kritik Gary Marcus tento vývoj označili za znepokojivý.
Šéf OpenAI Sam Altman přiznal, že bezpečnost firmy při incidentu s Hugging Face selhala, a označil jej za skutečnou bezpečnostní nehodu. Na summitu skupiny G20 v Severní Karolíně varoval, že bez naléhavého jednání dojde k vážným problémům v oblasti kybernetické bezpečnosti, a dodal, že v příštích letech mohou nastat ještě větší výzvy, včetně otázek biologické bezpečnosti.
