Jak budować odporne modele AI zgodnie z AI Act?

Dlaczego odporność AI jest procesem, a nie jednorazowym testem?

Największym błędem organizacyjnym jest traktowanie odporności jako jednorazowej „bramki” przed wdrożeniem. Tymczasem art. 9 AI Act definiuje zarządzanie ryzykiem jako ciągły, iteracyjny proces prowadzony przez cały cykl życia systemu wysokiego ryzyka, wymagający regularnego przeglądu i aktualizacji. Model, który był odporny w dniu wdrożenia, po miesiącach dryfu danych i w obliczu nowych ataków odporny być przestaje. 

AI Act i ciągłe zarządzanie ryzykiem

AI Act zakłada, że zarządzanie ryzykiem AI nie kończy się wraz z wdrożeniem systemu. Wymaga ono regularnej oceny skuteczności zabezpieczeń, aktualizacji modeli oraz reagowania na nowe zagrożenia.  

NIST AI RMF a cykl życia systemu AI

To samo podejście promuje NIST AI RMF, którego funkcje Govern, Map, Measure i Manage domykają się w pętlę, a nie w linię prostą. Innymi słowy: bezpieczeństwo modelu projektujemy jak cykl, a nie jak listę kontrolną do jednorazowego odhaczenia. 

Jak wygląda cykl życia odpornego modelu AI?

Poniżej przedstawiono proces składający się z ośmiu etapów, z których każdy odpowiada konkretnemu wymogowi regulacyjnemu.  

Etapy, w których osadzają się lekkie metody obrony oraz testy antagonistyczne, mają kluczowe znaczenie dla odporności systemu. 

Etap 1: Projekt i klasyfikacja ryzyka

• art. 9 AI Act (system zarządzania ryzykiem),
• art. 6 AI Act oraz Załącznik III (klasyfikacja ryzyka).  

Na tym etapie określa się przeznaczenie systemu, analizuje poziom ryzyka oraz wyznacza właściciela ryzyka.

Etap 2: Przygotowanie oraz ochrona danych

• art. 10 AI Act,
• data governance,
• wykrywanie ataków typu data poisoning.  

Należy zweryfikować pochodzenie danych, udokumentować skład zbiorów oraz wdrożyć mechanizmy zabezpieczające przed manipulacją danymi treningowymi.  

Etap 3: Trening i budowanie odporności

• art. 15 AI Act,
• augmentacja danych,
• budowanie odporności modelu.  

To właśnie tutaj można wdrożyć lekkie mechanizmy obronne zwiększające odporność modeli AI, takie jak Jitter czy RandomZero. 

Etap 4: Testy antagonistyczne

• art. 15 ust. 5 AI Act,
• NIST AI RMF MEASURE 2.7,
• metryki RA i ASR.  

Odporność modelu powinna być aktywnie weryfikowana przy użyciu silnych ataków, takich jak PGD czy Carlini-Wagner (CW).  

Etap 5: Bezpieczne wdrożenie

• art. 15 ust. 5 AI Act,
• rate limiting,
• sanityzacja danych wejściowych. 

Po wdrożeniu należy ograniczać ekspozycję interfejsów i kontrolować sposób korzystania z modelu przez użytkowników. 

Etap 6: Monitoring operacyjny

• art. 72 AI Act (post-market monitoring),
• art. 12 AI Act (logowanie). 

Monitoring umożliwia wykrywanie dryfu danych, anomalii oraz nietypowych wzorców zachowania systemu.  

Etap 7: Retrening i aktualizacja modelu

• proces iteracyjny zgodnie z art. 9 AI Act.

Nowe dane, wyniki monitoringu oraz wykryte problemy powinny zasilać kolejne iteracje procesu uczenia modelu. 

Etap 8: Audyt oraz dokumentacja

• art. 11 AI Act,
• Załącznik IV (dokumentacja techniczna).  

Każda decyzja dotycząca modelu powinna być możliwa do odtworzenia i udokumentowania. 

Jak testować bezpieczeństwo modeli AI?

Które metryki odporności warto monitorować?

Na etapie testów antagonistycznych warto monitorować:

• Robust Accuracy (RA),
• Attack Success Rate (ASR),
• spadek dokładności (Δacc). 

Ich połączenie pozwala ocenić nie tylko skuteczność modelu, ale również jego rzeczywistą odporność na ataki.  

Dlaczego testy antagonistyczne są obowiązkowe?

Art. 15 ust. 5 AI Act oraz NIST AI RMF wymagają aktywnej oceny odporności i bezpieczeństwa systemów AI. 

Efektem tego etapu powinien być udokumentowany poziom odporności systemu, zgodny z wymaganiami regulacyjnymi i gotowy do przedstawienia podczas audytu.  

Jak dobrać metodę obrony do danych?

Cykl życia odpowiada na pytanie „jak”, ale zespoły potrzebują również odpowiedzi na pytanie „co wybrać”. 

Poniższe rekomendacje wynikają bezpośrednio z eksperymentów przeprowadzonych na modelach uczenia maszynowego opisanych w poprzedniej części serii.

Małe zbiory danych: kiedy wybrać RandomZero?

Dla bardzo małych zbiorów danych (poniżej około 50 próbek treningowych) najlepszym wyborem okazał się RandomZero.  

Ta metoda:

• wymusza bardziej rozproszone reprezentacje,
• nie degraduje dokładności modelu,
• zapewnia najlepszy kompromis między dokładnością a odpornością. 

Większe zbiory danych: kiedy sprawdzą się Jitter i GaussianNoise?

Jeżeli liczba próbek treningowych przekracza około 500, a sygnał jest względnie periodyczny i gładki, dobrym wyborem są:

• Jitter,
• GaussianNoise. 

Zapewniają one odporność przekraczającą 90% przy bardzo niskim koszcie obliczeniowym. 

Kiedy unikać agresywnej augmentacji?

Należy zachować ostrożność przy metodach takich jak:

• SmoothTS,
• SegmentZero.

W moich badaniach pogarszały one skuteczność modeli działających na małych i nieregularnych zbiorach danych.

Najczęstsze błędy podczas wdrażania odporności AI

Pomijanie testów antagonistycznych: Brak aktywnej weryfikacji odporności oznacza brak wiedzy o rzeczywistym poziomie bezpieczeństwa modelu.  

Brak monitoringu po wdrożeniu: Model pozostawiony bez monitoringu może stopniowo tracić odporność wraz ze zmianą danych i środowiska działania.  

Kopiowanie ustawień między projektami: Nie należy zakładać, że metoda skuteczna w jednym projekcie będzie równie skuteczna w innym. Każdy nowy zbiór danych wymaga osobnej ewaluacji i testów.  

Co oznacza AI Act dla organizacji wdrażających AI?

Odporność modelu AI nie jest efektem jednej metody obrony.

Jest wynikiem procesu obejmującego:

• klasyfikację ryzyka,
• zarządzanie danymi,
• wdrożenie mechanizmów obronnych,
• testy antagonistyczne,
• monitoring,
• audyt.  

AI Act nadaje temu procesowi ramy prawne, obejmujące między innymi:

• art. 9 (zarządzanie ryzykiem),
• art. 10 (zarządzanie danymi),
• art. 15 (odporność i cyberbezpieczeństwo),
• art. 12 oraz art. 72 (logowanie i monitoring). 

NIST AI RMF dostarcza natomiast praktycznych ram operacyjnych.