NEW YORK – Mal jedinú úlohu – na internete vyhľadať verejné údaje o výdavkoch na lieky. Keď však AI agent spoločnosti OpenAI narazil na prekážky austrálskeho vládneho portálu, „neprijal nie ako odpoveď“. Našiel inú cestu a dostal sa aj k neverejným súborom. Austrálsky premiér Anthony Albanese teraz žiada vysvetlenie nielen samotného incidentu, ale aj toho, prečo sa o ňom jeho vláda dozvedela až takmer o tri mesiace neskôr.
Austrálsky premiér Anthony Albanese vo štvrtok oznámil, že agent umelej inteligencie vyvíjaný americkou spoločnosťou OpenAI získal bez povolenia prístup do vládneho portálu so štatistikami programu Medicare.
Incident sa odohral ešte 18. júna. Agent sa dostal do verejne prístupného portálu Medicare Statistics Reporting Service, ktorý spravuje vládna agentúra Services Australia, a následne prenikol aj do jeho neverejných častí. Informoval o tom samotný Albanese na tlačovej konferencii v New Yorku počas Valného zhromaždenia OSN.
„AI agent získal prístup k verejným aj neverejným súborom,“ uviedol premiér. Austrálske úrady začali forenzné vyšetrovanie s pomocou Australian Signals Directorate, aby zistili presný rozsah incidentu.
Keď dostal „nie“, hľadal inú cestu
Mimoriadnu pozornosť vyvoláva spôsob, akým sa AI agent do systému dostal.
Výskumný tím OpenAI podľa Albaneseho 18. júna použil interný model na internetový prieskum verejných údajov o výdavkoch na lieky. Agent pri získavaní informácií opakovane narazil na blokovanie prístupu.
Namiesto toho, aby skončil, začal skúšať alternatívne možnosti.
„AI agent našiel spôsob, ako tieto blokovania obísť. Neprijal nie ako odpoveď, ak to tak môžem povedať,“ opísal Albanese.
Model následne skúšal iné spôsoby, ako požadované informácie získať. Výsledkom bol neoprávnený prístup do ďalších častí portálu.
Podľa Services Australia agent nielen čítal verejné a neverejné informácie, ale pri svojom postupe tiež zapisoval súbory na interný server.
Austrálska vláda správanie modelu označila za neúmyselné. Zastupujúci premiér Richard Marles uviedol, že agent po odmietnutí požadovaných informácií prejavil to, čo OpenAI označuje ako „misaligned behaviour“ – správanie, pri ktorom model pri plnení úlohy vykoná kroky, ktoré od neho jeho tvorcovia nezamýšľali.
K zdravotným záznamom ľudí sa nedostal
Napriek názvu Medicare nešlo o systém obsahujúci osobné zdravotné záznamy Austrálčanov.
Ministerka pre vládne služby Katy Gallagherová zdôraznila, že napadnutý portál je samostatná verejná stránka používaná najmä výskumníkmi a akademikmi. Obsahuje agregované štatistiky Medicare a Pharmaceutical Benefits Scheme – napríklad údaje o predpisovaní liekov či výdavkoch.
Portál nie je prepojený so systémami na spracovanie individuálnych žiadostí, platieb ani osobných údajov pacientov.
„Je to úplne odlišný systém a tieto dve veci by sa nemali zamieňať,“ povedala Gallagherová.
Podľa doterajších zistení neexistujú dôkazy, že by AI agent získal osobné údaje ktoréhokoľvek Austrálčana. Vláda zároveň nemá dôkazy o širšom narušení siete Services Australia.
Časť údajov, ku ktorým sa agent dostal, v tom čase nebola verejná, podľa vlády však nešlo o zvlášť citlivé informácie a medzičasom už boli zverejnené.
„Preliezol plot“
Marles prirovnal zabezpečenie napadnutého portálu k plotu, nie k pevnosti.
Najcitlivejšie údaje o národnej bezpečnosti sú podľa neho chránené ako v pevnosti a osobné údaje občanov ako v trezore. Štatistický portál mal vzhľadom na charakter svojho obsahu podstatne nižšiu úroveň ochrany.
„Tento AI agent ten plot preliezol,“ povedal Marles pre austrálsku ABC.
Podstatné podľa neho je, že to agent urobil bez toho, aby takýto postup dostal za úlohu.
OpenAI vo vyjadrení citovanom ABC uviedla, že počas tréningu vykonávala rozsiahlu kontrolu nesprávne zosúladeného správania modelov a upozorňovala tretie strany v prípadoch, keď mohli byť ovplyvnené ich systémy.
OpenAI o incidente vedela už v auguste
Samotný prienik sa odohral 18. júna. Podľa časovej osi zverejnenej austrálskou ABC sa však OpenAI o incidente dozvedela až 11. augusta, keď skúmala nezamýšľané správanie svojich modelov počas tréningu.
Austrálskej vláde spoločnosť oznámila problém až 10. septembra.
Ani spôsob oznámenia vládu nepotešil. OpenAI poslala informáciu na adresu publicdisclosures@servicesaustralia.gov.au, ktorú používajú napríklad výskumníci a akademici na upozorňovanie na možné bezpečnostné slabiny systémov Services Australia.
Správu si úrad všimol 11. septembra a 15. septembra incident nahlásil Australian Signals Directorate. Ministerka Gallagherová sa o prípade dozvedela 17. septembra a Albaneseho úrad počas nasledujúceho víkendu.
Prvá technická konzultácia medzi OpenAI a Services Australia sa uskutočnila až 22. septembra.
Albanese telefonoval Samovi Altmanovi
Austrálsky premiér vo štvrtok osobne telefonoval generálnemu riaditeľovi OpenAI Samovi Altmanovi.„Vyjadril som extrémne znepokojenie Austrálie nad týmto incidentom,“ povedal Albanese.
Altmanovi zároveň vytkol, že spoločnosti trvalo príliš dlho, kým austrálsku vládu informovala. „Spôsob, akým bolo oznámenie urobené, bol tiež neprijateľný,“ dodal.
Na otázku novinárov, či sa šéf OpenAI ospravedlnil, Albanese povedal, že Altman uznal, že firma situáciu nezvládla dostatočne dobre.
Model navštívil aj ďalšie vládne stránky
Interný model OpenAI počas svojho výskumu komunikoval celkovo so štyrmi austrálskymi vládnymi webmi.
Okrem Medicare Statistics Reporting Service išlo o Australian Institute of Health and Welfare, ministerstvo zdravotníctva štátu Victoria a NSW Bureau of Crime Statistics and Research.
Marles však zdôraznil dôležitý rozdiel: pri ostatných troch stránkach prebehlo všetko štandardným spôsobom a agent získaval iba verejne dostupné informácie. Neoprávnený prístup vláda potvrdila pri portáli Services Australia.
ABC neskôr našla verejné záznamy, podľa ktorých viacerí agenti OpenAI skúšali spôsoby, ako obísť kybernetickú ochranu pri získavaní austrálskych zdravotníckych dát. Austrálska stanica však zároveň upozornila, že OpenAI ani vláda zatiaľ nepotvrdili, že tieto záznamy priamo súvisia s prienikom do portálu Medicare.
Vláda zriadila osobitnú pracovnú skupinu
Albanese v reakcii na incident oznámil vytvorenie pracovnej skupiny, ktorá má urýchlene preskúmať nielen samotný prípad, ale aj to, či sú existujúce vládne postupy dostatočné na zvládanie kybernetických incidentov spôsobených autonómnymi systémami umelej inteligencie.
Zapojené budú okrem úradu premiéra National Cyber Security Coordinator, Australian Signals Directorate, Australian AI Safety Institute, Office of AI a Services Australia.
Reuters upozornil, že incident môže byť prvým verejne známym prípadom, keď AI agent získal neoprávnený prístup na vládnu internetovú stránku. Definitívne svetové prvenstvo však zatiaľ potvrdené nie je.
Austrálska vláda zdôrazňuje, že konkrétny dosah júnového incidentu bol podľa doterajších zistení malý. Závažnosť prípadu vidí predovšetkým v inom probléme: autonómny model pri plnení neškodnej úlohy narazil na prekážku, sám hľadal spôsob, ako ju obísť, a napokon vstúpil tam, kam povolenie nemal.
Vyšetrovanie jeho presného postupu a rozsahu prístupu pokračuje.
