Testy penetracyjne
aplikacji opartych na LLM
Model językowy nie odróżnia danych od poleceń. Wszystko, co trafia do kontekstu, czyli pytanie użytkownika, treść pobranej strony, plik z dysku i odpowiedź narzędzia, model czyta tak samo. Sprawdzamy, co da się tym wymusić: wyciek cudzych danych, wywołanie narzędzia bez zgody użytkownika i obejście reguł zapisanych w prompcie systemowym.
- Chatboty, asystenci w produkcie, RAG i agenci z dostępem do narzędzi
- Prompt injection bezpośredni i pośredni, razem z backendem i integracjami
- Test według OWASP Top 10 for LLM Applications, z bezpłatnym retestem
Aplikacje AI i LLM
- OWASP Top 10 for LLM Applications 2025
- OWASP GenAI Red Teaming Guide
- MITRE ATLAS (techniki ataków na systemy uczące się)
- NIST AI RMF wraz z profilem generatywnym (NIST AI 600-1)
- OWASP API Security Top 10 2023 (backend i integracje)
Co dokładnie sprawdzamy
Zakres zależy od tego, co model może zrobić. Chatbot bez narzędzi testuje się inaczej niż agent z prawem zapisu do bazy, dlatego zaczynamy od listy narzędzi i źródeł danych.
Prompt injection
Bezpośredni, wpisany przez użytkownika, i pośredni, ukryty w dokumencie, na stronie, w pliku albo w odpowiedzi API, które model pobiera w trakcie pracy. Sprawdzamy też, czy treść z zewnątrz jest oddzielona od instrukcji.
Prompt systemowy i dane w kontekście
Próba odczytania instrukcji systemowej, kluczy i reguł, które w niej zapisano, oraz danych innych użytkowników, które trafiły do kontekstu przez historię rozmowy, pamięć albo wspólną sesję.
Uprawnienia agenta i narzędzia
Co model może wywołać i w czyim imieniu. Sprawdzamy, czy akcja zmieniająca dane wymaga potwierdzenia człowieka, czy uprawnienia narzędzia są węższe niż konto aplikacji i czy da się złożyć łańcuch wywołań prowadzący dalej, niż przewidział autor.
RAG i baza wektorowa
Kontrola dostępu do dokumentów przy wyszukiwaniu, zatruwanie indeksu własnym dokumentem, odzyskiwanie treści z osadzeń i mieszanie danych między klientami w jednej kolekcji.
Obsługa wyjścia modelu
Co aplikacja robi z odpowiedzią. Tekst wstawiany do HTML daje XSS, do zapytania SQL wstrzyknięcie, do wywołania HTTP żądanie SSRF, a do powłoki wykonanie polecenia. To miejsce, w którym podatność LLM zamienia się w zwykłą podatność aplikacji.
Limity, koszty i dostępność
Zapytania wymuszające długie odpowiedzi lub wiele wywołań narzędzi, brak limitu tokenów na użytkownika i brak rozdzielenia budżetu między klientów. Przy rozliczeniu za token to także podatność finansowa.
Co najczęściej znajdujemy
Przykłady z naszych projektów w tym zakresie.
- Dokument wgrany do bazy wiedzy zawierał instrukcję, którą model wykonał przy następnym pytaniu innego użytkownika (LLM01)
- Asystent zwracał fragmenty dokumentów spoza uprawnień pytającego, bo filtr działał dopiero na liście wyników (LLM02)
- Prompt systemowy z kluczem do zewnętrznego API dawał się odczytać przez prośbę o streszczenie instrukcji (LLM07)
- Agent z dostępem do skrzynki wysyłał wiadomość bez potwierdzenia użytkownika (LLM06)
- Odpowiedź modelu wstawiana do interfejsu bez kodowania, co dawało XSS z treści wygenerowanej przez model (LLM05)
- Brak limitu tokenów na konto, przez co jedno konto testowe wygenerowało koszt rzędu miesięcznego rachunku (LLM10)
- Historia rozmowy jednego klienta widoczna w kontekście drugiego po błędzie w kluczu sesji
Wybrane narzędzia
Narzędzia skracają powtarzalną pracę. Wnioski i łańcuchy ataku budujemy ręcznie.
Przebieg testu i raport
Proces testowy, forma raportu oraz zasady retestów są wspólne dla wszystkich zakresów.
Zobacz pełny procesJak wygląda test krok po kroku
Test trwa zwykle 5-12 dni roboczych i przebiega w sześciu krokach.
Mapa uprawnień
Spisujemy, do czego model ma dostęp: narzędzia, źródła danych, integracje, konta, w imieniu których działa. Od tej listy zależy zakres i czas testu.
Zakres i zasady
Ustalamy role, konta testowe, okno testowe i wyłączenia. Przy agentach uzgadniamy też, które akcje wolno wywołać naprawdę, a które zatrzymujemy na potwierdzeniu.
Scenariusze ataku
Budujemy zestaw prób na podstawie OWASP Top 10 for LLM Applications i technik z MITRE ATLAS, dobranych do tego, co aplikacja faktycznie potrafi.
Test aplikacji i backendu
Prompt injection, odczyt kontekstu, nadużycie narzędzi i obsługa wyjścia. Równolegle testujemy API, z którego aplikacja korzysta, bo część skutków wychodzi dopiero tam.
Raport
Każde znalezisko z dokładnym wejściem, odpowiedzią modelu lub wywołaniem narzędzia i wskazaniem kontroli, która zawiodła. Dzięki temu da się je powtórzyć.
Bezpłatny retest
Po wdrożeniu poprawek weryfikujemy każdą zgłoszoną podatność i aktualizujemy raport o status naprawy.
Powtarzalność. Model odpowiada za każdym razem inaczej, więc pojedyncze trafienie niczego nie dowodzi. Każdy scenariusz powtarzamy i podajemy, ile prób na ile zadziałało.
Ile kosztuje test aplikacji z LLM
Cena zależy od zakresu testu. Poniżej to, co zmienia go najbardziej.
Najbardziej wpływają na cenę
- czy model tylko odpowiada, czy wywołuje narzędzia
- liczba narzędzi i integracji, do których ma dostęp
- obecność RAG i liczba źródeł danych
- liczba ról użytkowników i rozdzielenie klientów
- czy w zakresie jest także API aplikacji
Orientacyjne widełki
- Asystent lub chatbot bez narzędzi: 12 000-25 000 zł netto
- Agent z narzędziami i RAG: 20 000-40 000 zł netto
Wycenę przygotowujemy po krótkiej rozmowie o zakresie, bez zobowiązań.
Zgodność z AI Act, NIS2 i RODO
Test penetracyjny nie jest audytem zgodności i nie oznacza spełnienia wymagań. Daje udokumentowany dowód, że zabezpieczenia aplikacji sprawdzono w praktyce, oraz plan naprawczy.
AI Act
Dla systemów wysokiego ryzyka rozporządzenie wymaga zarządzania ryzykiem, odporności na próby manipulacji i rejestrowania zdarzeń. Test pokazuje, które z tych zabezpieczeń działają na Twoim wdrożeniu.
NIS2 i KSC
Asystent wpięty w systemy produkcyjne jest ich częścią, więc podlega tym samym wymogom oceny skuteczności środków bezpieczeństwa.
RODO, art. 32
Jeśli do kontekstu trafiają dane osobowe, obowiązuje wymóg regularnego testowania skuteczności zabezpieczeń. Wyciek przez prompt injection jest naruszeniem jak każde inne.
Powyższy opis ma charakter informacyjny i nie stanowi porady prawnej.
Dlaczego PWNONE
Sami budujemy systemy agentowe. DA1MON to rój agentów, który prowadzi rekonesans w testach ciągłych, więc te same decyzje podejmowaliśmy u siebie: jakie uprawnienia dostaje pojedyncze narzędzie, co może trafić do kontekstu i co aplikacja robi z odpowiedzią modelu.
Najczęstsze pytania
Czym test aplikacji z LLM różni się od testu zwykłej aplikacji webowej?
Dochodzi warstwa, w której dane i polecenia są tym samym tekstem. Klasyczne testy zakładają, że da się oddzielić dane wejściowe od logiki, a przy modelu językowym to założenie nie obowiązuje. Reszta zostaje: backend, API, kontrola dostępu i obsługa wyjścia testujemy tak jak zawsze, bo tam najczęściej materializuje się skutek.
Ile kosztuje test aplikacji z LLM?
Orientacyjnie od 12 000 zł netto za asystenta bez narzędzi i od 20 000 zł netto za agenta z narzędziami i RAG. Cena zależy przede wszystkim od tego, co model może wywołać i ilu ma źródeł danych. Dokładną wycenę przygotujemy po krótkiej rozmowie o zakresie.
Testujecie sam model czy aplikację wokół niego?
Aplikację. Model od dostawcy, na przykład GPT, Claude czy Gemini, nie jest w zakresie i nie oceniamy jego wewnętrznych zabezpieczeń. Sprawdzamy Wasze wdrożenie: prompt systemowy, źródła danych, uprawnienia narzędzi, kontrolę dostępu i obsługę odpowiedzi. Tam powstaje ryzyko, na które macie wpływ.
Czy prompt injection da się w ogóle naprawić?
Nie da się go usunąć filtrem wejścia, bo model zawsze czyta treść z zewnątrz jako tekst. Można natomiast ograniczyć skutki: zawęzić uprawnienia narzędzi, wymagać potwierdzenia przy akcjach zmieniających dane, filtrować dokumenty przed wyszukiwaniem, a nie po, i traktować wyjście modelu jak dane od użytkownika. W raporcie piszemy, która z tych warstw u Was nie zadziałała.
Czy test wpływa na produkcję i koszty API?
Zakres, okno testowe i konta testowe ustalamy przed startem. Testy limitów i kosztów prowadzimy w uzgodnionych granicach, a przy agentach z prawem zapisu ustalamy, które akcje wolno wywołać naprawdę. Część prób zatrzymujemy na potwierdzeniu, żeby nie zmieniać danych produkcyjnych.
Model odpowiada za każdym razem inaczej. Jak to raportujecie?
Każdy scenariusz powtarzamy i podajemy, ile prób na ile zadziałało, razem z dokładnym wejściem i odpowiedzią. Jednorazowe trafienie opisujemy jako takie. Dzięki temu Wasz zespół może powtórzyć próbę i sprawdzić, czy poprawka naprawdę coś zmieniła.
Czy test obejmuje też API i backend?
Tak, API wykorzystywane przez aplikację jest częścią tego zakresu. Część skutków prompt injection widać dopiero na backendzie, na przykład gdy model składa zapytanie do bazy albo wywołuje usługę wewnętrzną.
Czy potrzebujecie dostępu do kodu i promptów systemowych?
Nie jest to konieczne, ale skraca test. Bez nich pracujemy jak atakujący i część czasu idzie na odtworzenie reguł. Z dostępem do promptów i listy narzędzi od razu wiemy, co warto atakować, więc więcej czasu zostaje na scenariusze.
Pozostałe zakresy testów
Zakresy łączymy w jeden projekt, jeśli tak wychodzi lepiej dla Twojego środowiska.
Aplikacje webowe i API
Wykrywamy podatności z listy OWASP Top 10 (m.in. SQL Injection, XSS, SSRF, BOLA). Testujemy panele klienta, systemy e-commerce, CRM oraz złożone środowiska oparte o mikroserwisy i API (REST, GraphQL).
Zobacz zakresAplikacje mobilne
Reverse engineering aplikacji iOS i Android (w tym Flutter i React Native). Sprawdzamy bezpieczne przechowywanie danych na urządzeniu, poprawność komunikacji z serwerem i luki w logice autoryzacji.
Zobacz zakresInfrastruktura wewnętrzna
Symulujemy atak np. z perspektywy złośliwego pracownika lub przejętej stacji roboczej. Badamy segmentację sieci (VLAN), Active Directory, serwery plików i polityki haseł.
Zobacz zakresInfrastruktura zewnętrzna
Atakujemy wystawione do internetu systemy i usługi. Weryfikujemy konfigurację firewalli, podatności serwerów VPN, nieaktualne wersje oprogramowania czy błędne konfiguracje DNS.
Zobacz zakresŚrodowiska chmurowe
Weryfikujemy bezpieczeństwo zasobów w AWS, Azure i Google Cloud Platform. Skupiamy się na błędach uprawnień IAM, wyciekach z koszyków storage (S3) i podatnościach w Serverless.
Zobacz zakresSieci bezprzewodowe
Analizujemy zabezpieczenia firmowych sieci Wi-Fi, izolację sieci dla gości, podatności na przechwytywanie haseł, ataki Evil Twin oraz Rogue Access Point.
Zobacz zakresSprawdźmy to zanim zrobi to ktoś inny
Napisz, co chcesz przetestować. Odpowiemy z zakresem, terminem i ceną, bez zobowiązań.
Wolisz porozmawiać? Zadzwoń pod numer +48 500 480 420 lub napisz na contact@pwnone.com.