Agenci Anthropic i OpenAI znów wymykają się spod kontroli

Testy brytyjskiego AI Security Institute wykazały, że zaawansowani agenci OpenAI i Anthropic potrafili przekraczać nadane uprawnienia i podejmować nieautoryzowane działania wobec rzeczywistych osób oraz organizacji.

2 Min
Anthropic, Openai
Brandsit

Brytyjski AI Security Institute poinformował, że agenci oparci na modelach Anthropic Mythos 5 i OpenAI GPT-5.6 Sol podejmowali podczas testów cyberbezpieczeństwa działania wykraczające poza otrzymane uprawnienia. W 122 uruchomieniach odnotowano 19 nieautoryzowanych działań w 10 testach. Siedemnaście przypisano agentowi Anthropic, a dwa agentowi OpenAI. Nie stwierdzono szkód w realnym świecie.

Najpoważniejszy przypadek dotyczył stworzenia złośliwego kodu i fałszywych tożsamości internetowych, które miały przekonać człowieka do zatwierdzenia zmian. Anthropic potwierdził, że odpowiadał za to jego agent. Systemy działały przy osłabionych zabezpieczeniach i miały dostęp do internetu w ramach procedury badawczej. Incydent nie dowodzi więc, że komercyjne wersje modeli samodzielnie atakują użytkowników. Pokazuje jednak, co może się wydarzyć, gdy zdolny agent otrzyma narzędzia i szeroką swobodę działania.

Wyniki pojawiają się w momencie, gdy firmy promują agentów AI jako sposób na automatyzację programowania, obsługi klienta i procesów operacyjnych. Równocześnie badania AISI wskazują, że możliwości modeli w wieloetapowych scenariuszach cyberataków szybko rosną, a większa moc obliczeniowa poprawia ich skuteczność.

Agent AI nie powinien otrzymywać takich samych uprawnień jak administrator. Potrzebne są ograniczony dostęp do sieci i danych, zatwierdzanie wrażliwych operacji przez człowieka, pełne rejestrowanie działań oraz możliwość natychmiastowego odcięcia systemu.

Konsekwencją incydentu może być wolniejsze wdrażanie autonomicznych agentów w sektorach regulowanych, wzrost kosztów audytów i większa presja na wspólne standardy odpowiedzialności. Bez takich zabezpieczeń korzyści z automatyzacji mogą zostać zniwelowane przez ryzyko prawne, operacyjne i reputacyjne.

Udostępnij