Zakres testów

Testy penetracyjne
aplikacji opartych na LLM

Model językowy nie odróżnia danych od poleceń. Wszystko, co trafia do kontekstu, czyli pytanie użytkownika, treść pobranej strony, plik z dysku i odpowiedź narzędzia, model czyta tak samo. Sprawdzamy, co da się tym wymusić: wyciek cudzych danych, wywołanie narzędzia bez zgody użytkownika i obejście reguł zapisanych w prompcie systemowym.

  • Chatboty, asystenci w produkcie, RAG i agenci z dostępem do narzędzi
  • Prompt injection bezpośredni i pośredni, razem z backendem i integracjami
  • Test według OWASP Top 10 for LLM Applications, z bezpłatnym retestem

Aplikacje AI i LLM

Czas trwania
zwykle 5-12 dni roboczych
Pracujemy według
  • OWASP Top 10 for LLM Applications 2025
  • OWASP GenAI Red Teaming Guide
  • MITRE ATLAS (techniki ataków na systemy uczące się)
  • NIST AI RMF wraz z profilem generatywnym (NIST AI 600-1)
  • OWASP API Security Top 10 2023 (backend i integracje)

Co dokładnie sprawdzamy

Zakres zależy od tego, co model może zrobić. Chatbot bez narzędzi testuje się inaczej niż agent z prawem zapisu do bazy, dlatego zaczynamy od listy narzędzi i źródeł danych.

1

Prompt injection

Bezpośredni, wpisany przez użytkownika, i pośredni, ukryty w dokumencie, na stronie, w pliku albo w odpowiedzi API, które model pobiera w trakcie pracy. Sprawdzamy też, czy treść z zewnątrz jest oddzielona od instrukcji.

2

Prompt systemowy i dane w kontekście

Próba odczytania instrukcji systemowej, kluczy i reguł, które w niej zapisano, oraz danych innych użytkowników, które trafiły do kontekstu przez historię rozmowy, pamięć albo wspólną sesję.

3

Uprawnienia agenta i narzędzia

Co model może wywołać i w czyim imieniu. Sprawdzamy, czy akcja zmieniająca dane wymaga potwierdzenia człowieka, czy uprawnienia narzędzia są węższe niż konto aplikacji i czy da się złożyć łańcuch wywołań prowadzący dalej, niż przewidział autor.

4

RAG i baza wektorowa

Kontrola dostępu do dokumentów przy wyszukiwaniu, zatruwanie indeksu własnym dokumentem, odzyskiwanie treści z osadzeń i mieszanie danych między klientami w jednej kolekcji.

5

Obsługa wyjścia modelu

Co aplikacja robi z odpowiedzią. Tekst wstawiany do HTML daje XSS, do zapytania SQL wstrzyknięcie, do wywołania HTTP żądanie SSRF, a do powłoki wykonanie polecenia. To miejsce, w którym podatność LLM zamienia się w zwykłą podatność aplikacji.

6

Limity, koszty i dostępność

Zapytania wymuszające długie odpowiedzi lub wiele wywołań narzędzi, brak limitu tokenów na użytkownika i brak rozdzielenia budżetu między klientów. Przy rozliczeniu za token to także podatność finansowa.

Co najczęściej znajdujemy

Przykłady z naszych projektów w tym zakresie.

  • Dokument wgrany do bazy wiedzy zawierał instrukcję, którą model wykonał przy następnym pytaniu innego użytkownika (LLM01)
  • Asystent zwracał fragmenty dokumentów spoza uprawnień pytającego, bo filtr działał dopiero na liście wyników (LLM02)
  • Prompt systemowy z kluczem do zewnętrznego API dawał się odczytać przez prośbę o streszczenie instrukcji (LLM07)
  • Agent z dostępem do skrzynki wysyłał wiadomość bez potwierdzenia użytkownika (LLM06)
  • Odpowiedź modelu wstawiana do interfejsu bez kodowania, co dawało XSS z treści wygenerowanej przez model (LLM05)
  • Brak limitu tokenów na konto, przez co jedno konto testowe wygenerowało koszt rzędu miesięcznego rachunku (LLM10)
  • Historia rozmowy jednego klienta widoczna w kontekście drugiego po błędzie w kluczu sesji

Wybrane narzędzia

Burp Suite ProfessionalgarakPyRITpromptfoowłasne scenariusze i skrypty

Narzędzia skracają powtarzalną pracę. Wnioski i łańcuchy ataku budujemy ręcznie.

Przebieg testu i raport

Proces testowy, forma raportu oraz zasady retestów są wspólne dla wszystkich zakresów.

Zobacz pełny proces

Jak wygląda test krok po kroku

Test trwa zwykle 5-12 dni roboczych i przebiega w sześciu krokach.

1

Mapa uprawnień

Spisujemy, do czego model ma dostęp: narzędzia, źródła danych, integracje, konta, w imieniu których działa. Od tej listy zależy zakres i czas testu.

2

Zakres i zasady

Ustalamy role, konta testowe, okno testowe i wyłączenia. Przy agentach uzgadniamy też, które akcje wolno wywołać naprawdę, a które zatrzymujemy na potwierdzeniu.

3

Scenariusze ataku

Budujemy zestaw prób na podstawie OWASP Top 10 for LLM Applications i technik z MITRE ATLAS, dobranych do tego, co aplikacja faktycznie potrafi.

4

Test aplikacji i backendu

Prompt injection, odczyt kontekstu, nadużycie narzędzi i obsługa wyjścia. Równolegle testujemy API, z którego aplikacja korzysta, bo część skutków wychodzi dopiero tam.

5

Raport

Każde znalezisko z dokładnym wejściem, odpowiedzią modelu lub wywołaniem narzędzia i wskazaniem kontroli, która zawiodła. Dzięki temu da się je powtórzyć.

6

Bezpłatny retest

Po wdrożeniu poprawek weryfikujemy każdą zgłoszoną podatność i aktualizujemy raport o status naprawy.

Powtarzalność. Model odpowiada za każdym razem inaczej, więc pojedyncze trafienie niczego nie dowodzi. Każdy scenariusz powtarzamy i podajemy, ile prób na ile zadziałało.

Ile kosztuje test aplikacji z LLM

Cena zależy od zakresu testu. Poniżej to, co zmienia go najbardziej.

Najbardziej wpływają na cenę

  • czy model tylko odpowiada, czy wywołuje narzędzia
  • liczba narzędzi i integracji, do których ma dostęp
  • obecność RAG i liczba źródeł danych
  • liczba ról użytkowników i rozdzielenie klientów
  • czy w zakresie jest także API aplikacji

Orientacyjne widełki

  • Asystent lub chatbot bez narzędzi: 12 000-25 000 zł netto
  • Agent z narzędziami i RAG: 20 000-40 000 zł netto

Wycenę przygotowujemy po krótkiej rozmowie o zakresie, bez zobowiązań.

Zgodność z AI Act, NIS2 i RODO

Test penetracyjny nie jest audytem zgodności i nie oznacza spełnienia wymagań. Daje udokumentowany dowód, że zabezpieczenia aplikacji sprawdzono w praktyce, oraz plan naprawczy.

AI Act

Dla systemów wysokiego ryzyka rozporządzenie wymaga zarządzania ryzykiem, odporności na próby manipulacji i rejestrowania zdarzeń. Test pokazuje, które z tych zabezpieczeń działają na Twoim wdrożeniu.

NIS2 i KSC

Asystent wpięty w systemy produkcyjne jest ich częścią, więc podlega tym samym wymogom oceny skuteczności środków bezpieczeństwa.

RODO, art. 32

Jeśli do kontekstu trafiają dane osobowe, obowiązuje wymóg regularnego testowania skuteczności zabezpieczeń. Wyciek przez prompt injection jest naruszeniem jak każde inne.

Powyższy opis ma charakter informacyjny i nie stanowi porady prawnej.

Dlaczego PWNONE

Sami budujemy systemy agentowe. DA1MON to rój agentów, który prowadzi rekonesans w testach ciągłych, więc te same decyzje podejmowaliśmy u siebie: jakie uprawnienia dostaje pojedyncze narzędzie, co może trafić do kontekstu i co aplikacja robi z odpowiedzią modelu.

Najczęstsze pytania

Czym test aplikacji z LLM różni się od testu zwykłej aplikacji webowej?

Dochodzi warstwa, w której dane i polecenia są tym samym tekstem. Klasyczne testy zakładają, że da się oddzielić dane wejściowe od logiki, a przy modelu językowym to założenie nie obowiązuje. Reszta zostaje: backend, API, kontrola dostępu i obsługa wyjścia testujemy tak jak zawsze, bo tam najczęściej materializuje się skutek.

Ile kosztuje test aplikacji z LLM?

Orientacyjnie od 12 000 zł netto za asystenta bez narzędzi i od 20 000 zł netto za agenta z narzędziami i RAG. Cena zależy przede wszystkim od tego, co model może wywołać i ilu ma źródeł danych. Dokładną wycenę przygotujemy po krótkiej rozmowie o zakresie.

Testujecie sam model czy aplikację wokół niego?

Aplikację. Model od dostawcy, na przykład GPT, Claude czy Gemini, nie jest w zakresie i nie oceniamy jego wewnętrznych zabezpieczeń. Sprawdzamy Wasze wdrożenie: prompt systemowy, źródła danych, uprawnienia narzędzi, kontrolę dostępu i obsługę odpowiedzi. Tam powstaje ryzyko, na które macie wpływ.

Czy prompt injection da się w ogóle naprawić?

Nie da się go usunąć filtrem wejścia, bo model zawsze czyta treść z zewnątrz jako tekst. Można natomiast ograniczyć skutki: zawęzić uprawnienia narzędzi, wymagać potwierdzenia przy akcjach zmieniających dane, filtrować dokumenty przed wyszukiwaniem, a nie po, i traktować wyjście modelu jak dane od użytkownika. W raporcie piszemy, która z tych warstw u Was nie zadziałała.

Czy test wpływa na produkcję i koszty API?

Zakres, okno testowe i konta testowe ustalamy przed startem. Testy limitów i kosztów prowadzimy w uzgodnionych granicach, a przy agentach z prawem zapisu ustalamy, które akcje wolno wywołać naprawdę. Część prób zatrzymujemy na potwierdzeniu, żeby nie zmieniać danych produkcyjnych.

Model odpowiada za każdym razem inaczej. Jak to raportujecie?

Każdy scenariusz powtarzamy i podajemy, ile prób na ile zadziałało, razem z dokładnym wejściem i odpowiedzią. Jednorazowe trafienie opisujemy jako takie. Dzięki temu Wasz zespół może powtórzyć próbę i sprawdzić, czy poprawka naprawdę coś zmieniła.

Czy test obejmuje też API i backend?

Tak, API wykorzystywane przez aplikację jest częścią tego zakresu. Część skutków prompt injection widać dopiero na backendzie, na przykład gdy model składa zapytanie do bazy albo wywołuje usługę wewnętrzną.

Czy potrzebujecie dostępu do kodu i promptów systemowych?

Nie jest to konieczne, ale skraca test. Bez nich pracujemy jak atakujący i część czasu idzie na odtworzenie reguł. Z dostępem do promptów i listy narzędzi od razu wiemy, co warto atakować, więc więcej czasu zostaje na scenariusze.

Pozostałe zakresy testów

Zakresy łączymy w jeden projekt, jeśli tak wychodzi lepiej dla Twojego środowiska.

Sprawdźmy to zanim zrobi to ktoś inny

Napisz, co chcesz przetestować. Odpowiemy z zakresem, terminem i ceną, bez zobowiązań.

Wolisz porozmawiać? Zadzwoń pod numer +48 500 480 420 lub napisz na contact@pwnone.com.