Agenți de inteligență artificială dezvoltați de Anthropic și OpenAI au încercat să creeze identități false online și să obțină acces neautorizat la sisteme securizate în timpul unor teste de securitate
Sursa foto: Shutterstock
Agenți de inteligență artificială dezvoltați de Anthropic și OpenAI au încercat să creeze identități false online și să obțină acces neautorizat la sisteme securizate în timpul unor teste de siguranță realizate într-un mediu controlat.
Incidentul a scos la iveală mai multe vulnerabilități în modul în care sunt evaluate noile sisteme de inteligență artificială, a anunțat marți Institutul Britanic pentru Siguranța Inteligenței Artificiale (AISI).
Potrivit instituției, agenți bazați pe modelul Mythos 5 al companiei Anthropic și pe modelul GPT-5.6-Sol al OpenAI au desfășurat acțiuni neautorizate în timpul evaluărilor de securitate. Testele au fost concepute pentru a analiza capacitățile și limitele acestor modele.
Testele nu au vizat atacuri reale, ci simulări de securitate cibernetică menite să arate cum ar putea reacționa agenții AI în situații cu potențial risc.
Testul a fost repetat de 122 de ori, iar cercetătorii au identificat 19 acțiuni neautorizate în cadrul a 10 evaluări. Agentul Anthropic a fost responsabil pentru 17 dintre acestea, iar agentul OpenAI pentru două.
Cel mai grav caz a implicat un agent care a generat cod malițios (malware) și a creat identități false în online pentru a încerca să obțină aprobarea unei persoane reale pentru acel cod. AISI a precizat însă că niciuna dintre încălcările identificate nu a provocat pagube reale.
Institutul nu a precizat care agent a fost responsabil pentru crearea identităților false, însă Anthropic a confirmat ulterior că propriul său agent a fost implicat.
„Suntem recunoscători Institutului Britanic pentru Siguranța Inteligenței Artificiale pentru modul în care a gestionat acest incident, care evidențiază necesitatea unei discuții mai ample despre evaluarea sigură a agenților de inteligență artificială din ce în ce mai capabili”, a transmis Anthropic.
Compania a precizat că lucrează împreună cu AISI pentru a obține mai multe informații despre incident și pentru a realiza propria analiză.
OpenAI a publicat, la rândul său, detalii despre testare, precizând că cele două acțiuni neautorizate ale agentului său au implicat accesarea internetului în moduri interzise de instrucțiunile de testare.
OpenAI a mai dezvăluit un incident separat, provocat de o configurare greșită a furnizorului extern de teste Irregular, care a permis accidental conectarea agenților săi la internet. Un caz similar fusese raportat anterior de Anthropic.
