Ponieważ innowacje w zakresie generatywnej sztucznej inteligencji (AI) postępują w zawrotnym tempie, obawy dotyczące bezpieczeństwa i ryzyka stają się coraz bardziej widoczne. Niektórzy prawodawcy zażądali nowych zasad i przepisów dotyczących narzędzi sztucznej inteligencji, podczas gdy niektórzy liderzy technologiczni i biznesowi zasugerowali przerwę w szkoleniu systemów sztucznej inteligencji w celu oceny ich bezpieczeństwa.
W rozmowie Avivah Litan , wiceprezes ds. analityki w firmie Gartner omówiła, co liderzy danych i analityki odpowiedzialni za rozwój sztucznej inteligencji powinni wiedzieć na temat zarządzania zaufaniem, ryzykiem i bezpieczeństwem AI.
Biorąc pod uwagę obawy związane z bezpieczeństwem i ryzykiem sztucznej inteligencji, czy organizacje powinny nadal badać wykorzystanie generatywnej sztucznej inteligencji, czy też uzasadniona jest przerwa?
Avivah Litan: Rzeczywistość jest taka, że rozwój generatywnej sztucznej inteligencji nie zatrzymuje się. Organizacje muszą działać już teraz, aby sformułować ogólnokorporacyjną strategię zarządzania zaufaniem, ryzykiem i bezpieczeństwem AI (AI TRiSM). Istnieje pilna potrzeba nowej klasy narzędzi AI TRiSM do zarządzania przepływami danych i procesów między użytkownikami a firmami, które obsługują generatywne modele AI.
Obecnie na rynku nie ma gotowych narzędzi, które zapewniałyby użytkownikom systematyczną gwarancję prywatności lub skuteczne filtrowanie treści ich interakcji z tymi modelami, na przykład filtrowanie błędów rzeczowych, halucynacji, materiałów chronionych prawem autorskim lub informacji poufnych.
Twórcy sztucznej inteligencji muszą pilnie współpracować z decydentami, w tym z nowymi organami regulacyjnymi, które mogą się pojawić, w celu ustanowienia zasad i praktyk dotyczących generatywnego nadzoru nad sztuczną inteligencją i zarządzania ryzykiem.
Jakie są niektóre z najbardziej znaczących zagrożeń, jakie generatywna sztuczna inteligencja stwarza obecnie dla przedsiębiorstw?
Avivah Litan: Generatywna sztuczna inteligencja wiąże się z szeregiem nowych zagrożeń:
„Halucynacje” i fabrykacje , w tym błędy rzeczowe, to jedne z najbardziej rozpowszechnionych problemów, które już pojawiają się w przypadku generatywnych rozwiązań chatbotów wykorzystujących sztuczną inteligencję. Dane szkoleniowe mogą prowadzić do stronniczych, nietrafionych lub błędnych odpowiedzi, ale mogą być one trudne do wykrycia, zwłaszcza że rozwiązania są coraz bardziej wiarygodne i można na nich polegać.
Deepfake , gdy generatywna sztuczna inteligencja jest wykorzystywana do tworzenia treści w złośliwych zamiarach, stanowi znaczące ryzyko generatywnej sztucznej inteligencji. Te fałszywe obrazy, filmy i nagrania głosowe były wykorzystywane do atakowania celebrytów i polityków, tworzenia i rozpowszechniania wprowadzających w błąd informacji, a nawet tworzenia fałszywych kont lub przejmowania i włamywania się na istniejące legalne konta.
W niedawnym przykładzie wygenerowany przez sztuczną inteligencję obraz papieża Franciszka w modnej białej puchowej kurtce stał się wirusowy w mediach społecznościowych. Chociaż ten przykład wydawał się pozornie nieszkodliwy, dał wgląd w przyszłość, w której deepfakes stwarzają poważne zagrożenia dla reputacji, fałszerstw, oszustw i politycznych dla osób, organizacji i rządów.
Prywatność danych : pracownicy mogą łatwo ujawniać poufne i zastrzeżone dane przedsiębiorstwa podczas interakcji z generatywnymi rozwiązaniami chatbotów opartymi na sztucznej inteligencji. Aplikacje te mogą w nieskończoność przechowywać informacje przechwycone za pomocą danych wprowadzanych przez użytkownika, a nawet wykorzystywać informacje do trenowania innych modeli — co jeszcze bardziej zagraża poufności. Takie informacje mogą również wpaść w niepowołane ręce w przypadku naruszenia bezpieczeństwa.
Kwestie praw autorskich : generatywne chatboty AI są szkolone na dużej ilości danych internetowych, które mogą zawierać materiały chronione prawem autorskim. W rezultacie niektóre wyniki mogą naruszać prawa autorskie lub ochronę własności intelektualnej (IP). Bez odniesień do źródeł lub przejrzystości w zakresie generowania danych wyjściowych jedynym sposobem ograniczenia tego ryzyka jest sprawdzanie przez użytkowników danych wyjściowych w celu upewnienia się, że nie naruszają one praw autorskich lub praw własności intelektualnej.
Obawy związane z cyberbezpieczeństwem : oprócz bardziej zaawansowanych zagrożeń związanych z inżynierią społeczną i phishingiem osoby atakujące mogą wykorzystywać te narzędzia do łatwiejszego generowania złośliwego kodu. Dostawcy oferujący generatywne modele sztucznej inteligencji zapewniają klientów, że szkolą swoje modele w zakresie odrzucania złośliwych żądań związanych z cyberbezpieczeństwem; jednak nie zapewniają one użytkownikom narzędzi do skutecznego audytu wszystkich stosowanych zabezpieczeń.
Sprzedawcy kładą również duży nacisk na podejście „czerwonego zespołu”. Twierdzenia te wymagają, aby użytkownicy pokładali pełne zaufanie w zdolnościach dostawców do realizacji celów związanych z bezpieczeństwem.
Jakie działania mogą teraz podjąć liderzy przedsiębiorstw, aby zarządzać generatywnym ryzykiem AI?
Avivah Litan: Należy zauważyć, że istnieją dwa ogólne podejścia do wykorzystania ChatGPT i podobnych aplikacji. Wykorzystanie modelu out-of-the-box wykorzystuje te usługi w stanie, w jakim są, bez bezpośredniego dostosowywania. Szybkie podejście inżynierskie wykorzystuje narzędzia do tworzenia, dostrajania i oceny szybkich danych wejściowych i wyjściowych.
W przypadku użycia od razu po wyjęciu z pudełka organizacje muszą wdrożyć ręczne przeglądy wszystkich danych wyjściowych modelu w celu wykrycia nieprawidłowych, błędnych lub stronniczych wyników. Ustanów ramy zarządzania i zgodności dotyczące korzystania z tych rozwiązań w przedsiębiorstwie, w tym jasne zasady, które zabraniają pracownikom zadawania pytań ujawniających wrażliwe dane organizacyjne lub osobiste.
Organizacje powinny monitorować nieusankcjonowane użycie ChatGPT i podobnych rozwiązań za pomocą istniejących kontroli bezpieczeństwa i pulpitów nawigacyjnych, aby wykrywać naruszenia zasad. Na przykład zapory ogniowe mogą blokować dostęp użytkowników korporacyjnych, systemy informacji o bezpieczeństwie i zarządzania zdarzeniami mogą monitorować dzienniki zdarzeń pod kątem naruszeń, a bezpieczne bramy sieciowe mogą monitorować niedozwolone wywołania API.
Wszystkie te środki ograniczania ryzyka mają zastosowanie do szybkiego użycia inżynieryjnego. Ponadto należy podjąć kroki w celu ochrony danych wewnętrznych i innych wrażliwych danych wykorzystywanych do konstruowania monitów w infrastrukturze stron trzecich. Twórz i przechowuj opracowane monity jako niezmienne zasoby.
Zasoby te mogą reprezentować sprawdzone monity inżynieryjne, których można bezpiecznie używać. Mogą również reprezentować korpus precyzyjnie dostrojonych i wysoce rozwiniętych podpowiedzi, które można łatwiej ponownie wykorzystać, udostępnić lub sprzedać.
