Modelul de inteligență artificială Gemini, dezvoltat de Google, a accesat fără intenție sistemele informatice ale trei companii reale în timpul unui test de securitate cibernetică desfășurat în luna mai. Este primul caz cunoscut în care un sistem de inteligență artificială al Google a efectuat autonom astfel de acțiuni asupra unor infrastructuri reale.
Testul a fost realizat de compania de securitate cibernetică Irregular și avea forma unui exercițiu „capture the flag”. Gemini trebuia să identifice informații dintr-un sistem aparținând unei companii fictive, într-un mediu controlat.
Situația a apărut după ce modelul a primit, în mod neintenționat, acces la internet. În plus, compania fictivă din exercițiu avea același nume ca o companie reală.
Cum a ajuns Gemini la sistemele reale
Într-unul dintre cazuri, Gemini a încercat mai multe parole până când a reușit să obțină acces la un sistem protejat. În alte două situații, modelul a găsit informații de autentificare în depozite publice de pe internet și le-a folosit pentru a accesa ulterior sisteme protejate.
Potrivit Google, modelul s-a oprit în fiecare dintre cele trei situații imediat ce și-a dat seama că accesase sisteme aparținând unor companii reale și nu infrastructura simulată din cadrul testului.
Compania susține că nu au fost provocate prejudicii organizațiilor afectate și că acestea au fost informate despre incidente.
Google spune că testul evidențiază nevoia unor măsuri de siguranță
Google a transmis că incidentul demonstrează cât de important este ca modelele avansate de inteligență artificială să fie antrenate să acționeze responsabil atunci când primesc acces la instrumente și servicii externe. Compania a precizat că a colaborat cu partenerul său de testare pentru modificarea procedurilor de evaluare.
Cazul se înscrie într-o serie de incidente recente în care modele de inteligență artificială au ajuns să interacționeze cu sisteme reale în timpul unor teste de securitate. Aceste situații au intensificat discuțiile despre limitele accesului la internet și despre măsurile necesare pentru a preveni ca agenții AI să depășească obiectivele stabilite de dezvoltatori.