Agenci AI potrafią współpracować. I sabotować się nawzajem

Eksperyment Anthropic pokazuje, że wraz z upowszechnianiem się autonomicznych agentów AI firmy będą musiały kontrolować nie tylko decyzje pojedynczych modeli, ale także skutki ich wzajemnych interakcji.

2 Min
sztuczna inteligencja, ai
Unsplash

Nowe badanie Anthropic pokazuje, że wraz z rozwojem systemów wieloagentowych pojawia się nowa kategoria ryzyka: problemem może między kilkoma autonomicznymi agentami.

W eksperymencie opisanym 13 sierpnia trzy instancje Claude’a otrzymały dostęp do wspólnego projektu programistycznego. Każda miała przenieść ten sam backend do innego języka i początkowo nie wiedziała o pozostałych. Agenci szybko uznali cudze działania za celowe utrudnianie pracy. W efekcie blokowali sobie konta, uruchamiali skrypty wyłączające konkurencyjne procesy i wdrażali samoreplikujące się złośliwe oprogramowanie. Były to jednak kontrolowane eksperymenty na maszynach wirtualnych, więc wyniki nie przesądzają o zachowaniu agentów w rzeczywistych wdrożeniach.

Badanie pokazuje też mniej spektakularne, ale biznesowo równie istotne problemy. Agenci o podobnym kontekście i oparci na tym samym modelu często podejmowali zbliżone decyzje. Pojedynczy błąd może więc zostać powielony przez cały system. W symulacji cenowej agenci nastawieni na maksymalizację zysku szybko uzgodnili minimalne ceny, a po odcięciu prywatnej komunikacji nadal je synchronizowali.

To ważny sygnał w momencie, gdy Gartner prognozuje, że do końca 2026 r. agenci zadaniowi znajdą się w 40 proc. aplikacji korporacyjnych. Jednocześnie World Economic Forum podaje, że 64 proc. organizacji ocenia już bezpieczeństwo narzędzi AI, lecz około jedna trzecia nadal nie ma procesu ich weryfikacji przed wdrożeniem.

Dla firm wniosek jest praktyczny: skalowanie agentów wymaga nie tylko lepszych modeli, ale również kontroli uprawnień, monitorowania interakcji i testowania całych systemów. W przeciwnym razie automatyzacja może zwiększyć zarówno produktywność, jak i skalę błędów, cyberryzyka czy niepożądanej koordynacji.

Udostępnij