Odporność modeli AI w praktyce

Dlaczego ta sama metoda obrony daje różne wyniki?

Dwa zbiory danych, dwa różne scenariusze

Aby sprawdzić, kiedy lekka obrona działa, celowo wybrałem dwa skrajnie różne zbiory szeregów czasowych z archiwum UCR 2018:

Oba przypadki reprezentują realny scenariusz ograniczonych zasobów: mało danych, pojedynczy przebieg treningu i brak budżetu na kosztowny trening antagonistyczny.

Dlaczego wybrano model PatchTST?

Jako model wybrałem nowoczesną architekturę transformerową PatchTST, a jako obronę siedem lekkich metod augmentacji opisanych w poprzedniej części serii. Hipoteza brzmiała: lekki trening antagonistyczny wzmacnia odporność modeli opartych na transformerach. Wyniki pokazują jednak, że odpowiedź brzmi: „to zależy”. I właśnie to „zależy” okazuje się najciekawsze.

Jak lekka obrona wpływa na odporność modeli AI?

Atak CW jako punkt odniesienia

Punktem odniesienia uczyniłem atak Carlini-Wagner (CW), który okazał się najskuteczniejszy ze wszystkich badanych metod.

Jitter kontra atak Carlini-Wagner

Model	Rock (20 próbek, nieregularny)	ECG5000 (500 próbek, periodyczny)
Baseline – dane czyste	72,0%	93,6%
Baseline + CW	70,0% (-2,0 pp)	67,1% (-26,5 pp)
Jitter – dane czyste	70,0%	93,5%
Jitter + CW	70,0% (0 pp)	92,6% (-0,9 pp)

Rys. 1. Skuteczność obrony Jitter wobec ataku CW. Źródło: opracowanie własne (2026).

Na zbiorze ECG5000 model bez obrony traci pod wpływem ataku CW aż 26,5 punktu procentowego dokładności. Ta sama metoda Jitter redukuje ten spadek do 0,9 pp, i to bez żadnej utraty dokładności na danych czystych, znacząco zwiększając odporność modelu AI na atak CW. To wynik niemal idealny.

Dlaczego augmentacja danych zadziałała tylko częściowo?

Znaczenie liczby danych treningowych

Na zbiorze Rock metoda Jitter nie przyniosła żadnego wzrostu odporności, a dokładność bazową wręcz obniżyła z 72% do 70%. Co więcej, bardziej agresywne augmentacje, takie jak GaussianNoise czy SmoothTS, zdegradowały model do poziomu 48-52% dokładności. Przyczyna jest pierwsza i najbardziej oczywista: rozmiar zbioru. Przy 20 próbkach treningowych szum augmentacyjny zaburza proces uczenia reprezentacji zamiast go wzbogacać. Model nie dysponuje wystarczającą liczbą przykładów, aby nauczyć się uogólniania ponad wprowadzonymi zniekształceniami. Przy 500 próbkach uczy się już „widzieć przez szum”, co pokazuje, jak duże znaczenie dla skuteczności obrony ma jakość i liczebność danych treningowych.

Jak struktura sygnału wpływa na skuteczność obrony?

Drugą przyczyną jest sama natura danych. EKG jest sygnałem periodycznym i względnie gładkim. Losowe zaburzenia amplitudy przypominają naturalną zmienność biologiczną i nie niszczą kluczowych cech sygnału. Widma skalne są natomiast znacznie bardziej nieregularne. W ich przypadku ta sama augmentacja może uszkadzać cechy częstotliwościowe, na których model opiera klasyfikację.

Naturalna odporność transformera PatchTST

Jednym z najbardziej zaskakujących wyników okazał się atak PGD. Przy budżecie ε = 0,1 jego skuteczność wobec PatchTST na zbiorze Rock wyniosła 0%. Model okazał się naturalnie odporny na perturbacje lokalne. Powód tkwi w mechanizmie samouwagi transformera. Perturbacja pojedynczej „łaty” sygnału zostaje rozproszona na wszystkie tokeny, co osłabia skuteczność ataków celujących w niewielkie fragmenty danych wejściowych. To ważna przestroga: wyników uzyskanych dla sieci splotowych nie należy automatycznie przenosić na architektury transformerowe.

Jak interpretować wyniki testów odporności AI?

Najważniejszy wniosek płynący z badań jest prosty: wybór metody obrony jest nierozerwalnie związany z rozmiarem i charakterem danych treningowych. Ta sama technika może okazać się marginalnie skuteczna albo niemal idealna. Nie da się tego wiarygodnie przewidzieć bez eksperymentów przeprowadzonych na własnych danych.

AI Act a jakość danych treningowych

To spina się również z wymaganiami regulacyjnymi. Art. 10 AI Act wymaga, aby zbiory treningowe, walidacyjne i testowe były odpowiednie, reprezentatywne i wysokiej jakości. Moje wyniki pokazują, że jakość i liczebność danych treningowych nie wpływają wyłącznie na dokładność modeli AI, lecz decydują wręcz o tym, czy mechanizm obrony w ogóle zadziała. Z kolei art. 15 ust. 1 nakazuje deklarować poziomy dokładności i odporności systemów AI. Eksperymenty pokazują, jak łatwo pomylić oba te parametry.

Trzy błędy w ocenie odporności modeli AI

Mylenie wysokiej odporności z małą próbką

Na zbiorze Rock model bazowy osiągnął pozornie wysokie 72% robust accuracy. Jednak przy zaledwie 50 próbkach testowych pojedyncza błędna klasyfikacja oznacza zmianę wyniku o 2 punkty procentowe. To szum statystyczny, a nie dowód rzeczywistej odporności.

Uogólnianie wyników z jednego zbioru

Gdybym badał wyłącznie ECG5000, mógłbym stwierdzić, że „Jitter działa”. Gdybym analizował wyłącznie Rock, doszedłbym do wniosku, że „augmentacja szkodzi”. Pełny obraz pojawia się dopiero po zestawieniu obu wyników.

Ignorowanie architektury

Odporność PatchTST na PGD jest cechą transformera, a nie uniwersalną właściwością wszystkich modeli uczenia maszynowego.

Ograniczenia badania

Uczciwie zaznaczam ograniczenia badania.

Analiza obejmowała:

• wyłącznie ataki white-box,
• jedną architekturę modelu,
• pojedyncze uruchomienia bez powtórzeń dla różnych ziaren losowości.

To materiał na dalsze badania, a nie ostateczny werdykt.

Co wyniki oznaczają dla organizacji wdrażających AI?

Eksperymenty dostarczyły twardego, policzalnego wniosku: lekka obrona przez augmentację danych potrafi znacząco zwiększyć odporność modeli AI i zredukować skuteczność najgroźniejszego ataku niemal do zera, ale tylko wtedy, gdy zbiór treningowy jest wystarczająco duży, a struktura sygnału sprzyja zastosowanej metodzie.

Na małych i nieregularnych zbiorach ta sama technika może okazać się bezużyteczna lub wręcz szkodliwa. To nie porażka metody, lecz precyzyjne wskazanie warunków jej stosowalności. Dokładnie tego oczekują art. 10 i art. 15 AI Act.