Gdy dokument próbuje zmienić zadanie
Zespół zakupów prosi asystenta AI o podsumowanie oferty dostawcy. W tym hipotetycznym przykładzie plik zawiera także polecenia pobrania wewnętrznych notatek dotyczących cen i wysłania ich pocztą elektroniczną poza firmę. Pracownik zlecił podsumowanie, a dokument próbuje skierować pracę na inne tory.
Asystent może potraktować czytaną treść jako instrukcje do wykonania. OWASP określa ten mechanizm jako indirect prompt injection, czyli próbę wpłynięcia na model za pośrednictwem czytanego materiału. Może to zmienić odpowiedź lub spowodować próbę użycia podłączonego narzędzia. Samo odczytanie dokumentu nie nadaje nowych uprawnień: skutki zależą od aplikacji i jej zabezpieczeń.
Ustal, do czego asystent ma dostęp
Zacząłbym od spisania informacji i działań dostępnych podczas tego zadania. Czy asystent może przeszukiwać niepowiązane foldery, czytać dane innego zespołu, wysyłać wiadomości lub zmieniać dane biznesowe? Ustal, z jakiego konta korzysta każde połączenie i dlaczego taki dostęp jest potrzebny.
Do podsumowania może wystarczyć odczyt wybranego dokumentu, bez narzędzia do wysyłania wiadomości czy usuwania danych. Dostęp tylko do odczytu również wymaga ograniczeń: informacje dostępne asystentowi mogą trafić do odpowiedzi. Ogranicz pobieranie danych do uprawnień osoby zlecającej zadanie i sprawdź, dokąd może trafić wynik.
Egzekwuj uprawnienia poza modelem
Oddziel instrukcje aplikacji od pobranej treści i określ, jak asystent ma traktować niezaufane materiały. Takie środki mogą pomóc, ale nie dowodzą, że każda złośliwa instrukcja zostanie odrzucona.
Kod obsługujący żądanie użycia narzędzia musi przed wykonaniem sprawdzić uprawnienia użytkownika, dozwoloną operację i jej cel. Dokument nie powinien móc rozszerzyć tego dostępu. Każdemu połączeniu udostępnij wyłącznie potrzebne możliwości, a dane uwierzytelniające pozostaw poza tekstem przekazywanym modelowi.
Zatwierdzaj konkretne działanie
Przy wrażliwym działaniu, takim jak udostępnienie informacji na zewnątrz czy zmiana danych płatniczych, wymagałbym osobnego zatwierdzenia egzekwowanego przez aplikację. Osoba podejmująca decyzję powinna widzieć rzeczywistą operację, odbiorcę i objęte nią dane, ustalone na podstawie proponowanego żądania użycia narzędzia.
Aplikacja powinna sprawdzić, czy wykonanie odpowiada zatwierdzonemu działaniu. Zmiana adresata lub pliku wymaga nowej decyzji. Zapewnienie modelu, że operacja jest bezpieczna, nie zastępuje tej kontroli. Zapisuj decyzję i wynik, bez umieszczania poufnej treści dokumentów czy danych uwierzytelniających w zwykłych logach.
Sprawdzaj więcej niż końcową odpowiedź asystenta
W uzgodnionym środowisku testowym użyj przykładowych dokumentów z fikcyjnymi danymi i testowych wersji narzędzi, które nie mogą wysyłać prawdziwych wiadomości ani zmieniać danych produkcyjnych. Mylące instrukcje umieść w czytanym dokumencie. Uwzględnij też zwykłe dokumenty, aby potwierdzić, że zamówione podsumowanie nadal działa.
Sprawdź odpowiedź, próby wywołania narzędzi, decyzje zatwierdzające oraz dane przekazane narzędziom testowym. Uspokajająca odmowa na końcu nie pokazuje, czy wcześniej wykonano już jakieś działanie. Brak dowodów pozostawia wynik nierozstrzygnięty. Powtarzaj odpowiednie testy po zmianie modelu, źródeł danych, narzędzi lub uprawnień.
Podczas przeglądu technicznego poprosiłbym zespół o pokazanie, które zabezpieczenia nadal działają, gdy treść dokumentu wpływa na plan asystenta. Zaliczenie wybranego zestawu testów dostarcza dowodów dla tego procesu, ale nie gwarantuje ochrony przed każdą przyszłą próbą.