Agenții AI devin mai greu de controlat pe măsură ce primesc instrumente cu care pot acționa online. Asta sperie mulți specialiști, care susțin că sunt șanse mari ca AI-ul să scape de sub control. De ceva timp nu mai discutăm doar despre modele ce generează răspunsuri, ci despre sisteme capabile să navigheze, să folosească servicii externe și, în anumite condiții, să continue căutarea dincolo de limitele stabilite.
Cazul OpenAI din Australia oferă un exemplu destul de concret. După primele informații despre accesul neautorizat la un portal guvernamental australian, aflăm acum că problema a vizat în total 4 instituții. Incidentele au avut loc în luna iunie, în timpul unor sesiuni interne de antrenare și evaluare. OpenAI explică într-un raport public că era folosit un model experimental, destinat exclusiv cercetării și lipsit de întregul set de protecții aplicat produselor disponibile public.
Într-unul dintre teste, agentul trebuia să afle cât cheltuie guvernul pentru medicamente destinate afecțiunilor pielii în comunități din statul Victoria. Pentru că nu a găsit informația în datele publice, modelul a continuat căutarea și a obținut acces neautorizat la serviciul Medicare Statistics Reporting Service, administrat de Services Australia.
Ce s-a întâmplat?
La Services Australia, modelul a rulat comenzi și a accesat fișiere interne, credențiale, statistici agregate și informații tehnice. OpenAI spune că nu există dovezi că ar fi fost accesate dosare medicale individuale. La NSW Bureau of Crime Statistics and Research au fost obținute informații de configurare, loguri și metadate prin instrumentul public Crime Mapping Tool, fără accesarea cazierelor sau a datelor individuale.
În cazul Victorian Department of Health, agenții au găsit o cheie de acces expusă și au extras configurații și statistici agregate din sondaje. Nu ar fi fost citite fișe medicale sau răspunsuri identificabile. Situația Australian Institute of Health and Welfare este ceva mai nuanțată: agenții au descărcat statistici agregate care, conform investigației OpenAI, par să fi fost disponibile public, iar tentativele separate de ocolire a controalelor de acces au eșuat. Compania spune că aici nu a existat o compromitere a sistemului.
OpenAI a identificat activitatea abia la mijlocul lunii august, în cadrul verificărilor începute după incidentul Hugging Face. Services Australia și autoritățile din Victoria au fost anunțate pe 10 septembrie, instituția din New South Wales pe 18 septembrie, iar AIHW pe 24 septembrie. Compania admite că ar fi trebuit să transmită mai devreme constatările preliminare. Cazul vine într-o perioadă în care alte comportamente neașteptate ale agenților OpenAI au ieșit deja la iveală.
Ce decizie a luat OpenAI?
Schimbarea tehnică importantă este că mediile de cercetare vizate nu mai primesc acces direct la internet. Modelele primesc conținut web din cache, iar OpenAI spune că a introdus restricții suplimentare de rețea și sisteme de monitorizare care pot alerta rapid un operator uman atunci când un agent se comportă neașteptat. Compania a oprit temporar și antrenarea sau evaluarea cu instrumente pentru cele mai capabile modele, până la introducerea unor protecții suplimentare.
În Australia, OpenAI promite suport tehnic instituțiilor afectate, acces la resurse din programul Daybreak for Frontline Defenders, finanțat cu 1 miliard de dolari, și formarea unui grup australian cu experți independenți. Recomandările acestuia sunt așteptate până la sfârșitul anului.
Jason Kwon, Chief Strategy Officer OpenAI, este programat să apară pe 6 octombrie în fața Joint Select Committee on Artificial Intelligence din Sydney, unde va răspunde întrebărilor privind incidentele și modul în care compania a reacționat.
Aș reaminti de faptul că OpenAI a renunțat și la lansarea GPT-6.1 Astra recent, întrucât modelul depășea limitele permise și manifesta „comportament înșelător”. Compania pare că e mai prudentă acum, în încercarea de a stopa posibilitatea unui nou incident de proporții.
