Sztuczna inteligencja na stałe weszła do SOC i zespołów CTI, ale wraz ze wzrostem automatyzacji rośnie potrzeba kontroli nad ryzykiem technicznym, prawnym i etycznym. Tym właśnie zajmuje się AI governance – zestaw zasad, ról i procesów, które prowadzą systemy AI przez cały cykl życia tak, by były bezpieczne, rzetelne i zgodne z regulacjami. W praktyce opiera się to na uznanych ramach i normach, takich jak NIST AI Risk Management Framework oraz ISO/IEC 42001 – pierwsza globalna norma systemu zarządzania AI.

Czym jest AI governance w CTI

W kontekście threat intelligence AI governance łączy trzy warstwy: politykę danych i zgodność, zarządzanie ryzykiem modeli oraz nadzór operacyjny nad automatyzacją. NIST AI RMF podkreśla potrzebę identyfikacji i redukcji ryzyk dla ludzi i organizacji oraz włączenia właściwości „trustworthy AI”. Między innymi odporności, bezpieczeństwa, przejrzystości i odpowiedzialności – do projektowania i eksploatacji modeli. ISO/IEC 42001 uzupełnia to o podejście systemowe: role, audyty, cele i ciągłe doskonalenie.

Adversarial attacks – jak atakuje się same modele

Wraz z popularyzacją AI rośnie liczba ataków wymierzonych w modele, a nie tylko w klasyczne systemy IT. Adversarial attacks to techniki celowego „podszywania” wejść, zatruwania zbiorów treningowych lub ekstrakcji modeli, które mają doprowadzić do błędnej decyzji algorytmu. Najnowsze publikacje NIST klasyfikują te zagrożenia i zalecają m.in. testy odporności, kontrolę wersji modeli i włączanie scenariuszy „adversarial” do procesu oceny ryzyka. Dodatkowym zasobem praktycznym jest MITRE ATLAS, czyli publiczna baza taktyk i technik ataków na systemy AI. Jest to baza analogiczna do ATT&CK, pomagająca planować testy i środki zaradcze.

Explainable AI – przejrzystość decyzji zamiast „czarnej skrzynki”

Wyjaśnialność (XAI) nie jest jedynie kwestią wygody. To warunek zaufania i sprawnego nadzoru nad automatyzacją. Program badawczy DARPA XAI i literatura przeglądowa pokazują, że metody wyjaśniania pozwalają użytkownikom rozumieć powody decyzji, oceniać ich ograniczenia i właściwie im ufać – co w CTI skraca triage i ułatwia audyt. W praktyce oznacza to raportowanie cech, które zadecydowały o klasyfikacji zdarzenia, oraz dokumentację ścieżki decyzyjnej modelu.

Od reaktywności do predykcji – ale z kontrolą

Platformy CTI z warstwą AI, takie jak Recorded Future, przechodzą z detekcji post-factum do prognozowania ryzyka. Łączą trendy exploitów, sygnały z dark web i telemetrię, by wskazać luki, które najpewniej zostaną wykorzystane w kolejnych dniach. Governance określa tu zasady użycia prognoz – progi zaufania, wymagany przegląd analityka i sposób komunikacji ryzyka do właścicieli systemów. Dzięki temu predykcja wzmacnia proces patchowania i hardeningu, ale nie staje się niekontrolowanym „autopilotem”.

Orkiestracja i automatyczna reakcja – gdzie jest granica

Integracja CTI z SOAR pozwala wykonywać część reakcji automatycznie – od izolacji hosta po aktualizację polityk. Dobrą praktyką governance jest model „human-in-the-loop” dla zdarzeń o wysokim wpływie oraz jasne rozdzielenie akcji w pełni automatycznych od tych wymagających zatwierdzenia. NIST AI RMF rekomenduje, by decyzje o automatyzacji odnosić do ryzyka biznesowego i stale mierzyć skutki. Przede wszystkim wskaźniki false positives, drift danych i wpływ na ciągłość działania.

Kontekst prawny w UE – co naprawdę wymagają regulacje

  • AI Act – ustanawia jednolite ramy zarządzania i cyberbezpieczeństwa dla systemów AI. W tym obowiązki dla systemów wysokiego ryzyka: zarządzanie danymi, nadzór człowieka, dokładną dokumentację techniczną i logowanie. Wysokie ryzyko dotyczy m.in. komponentów bezpieczeństwa w infrastrukturach krytycznych – klasyfikacja zależy od zastosowania, nie od samej etykiety „AI w bezpieczeństwie”. Akt nie nakłada ogólnego obowiązku XAI na wszystkie systemy, ale wymaga adekwatnej przejrzystości i dokumentacji w zależności od klasy ryzyka.
  • NIS2 – nie jest regulacją AI, lecz wymaga od podmiotów kluczowych i ważnych wdrożenia zarządzania ryzykiem cyberbezpieczeństwa, planów reagowania i raportowania incydentów. W praktyce governance AI powinien być włączony do tych procesów, ale NIS2 nie wprowadza sam z siebie obowiązkowej XAI.
  • DORA – dla sektora finansowego określa wymogi cyfrowej odporności operacyjnej, testy, zarządzanie dostawcami i raportowanie. Nie zawiera specyficznych nakazów dot. AI, natomiast governance AI w bankach i u dostawców ICT musi być zsynchronizowany z ramą DORA.

Dowody biznesowe – po co to wszystko

Niezależnie od technologii, celem governance jest skracanie czasu wykrycia i opanowania incydentów oraz ograniczanie skutków. Dane IBM Cost of a Data Breach 2024 pokazują, że organizacje stosujące security AI i automatyzację obniżały koszty naruszeń. Szybciej również wykrywały oraz ograniczały incydenty niż te, które z takich rozwiązań nie korzystały. To nie zastępuje procesu zarządzania – ale dobrze go uzasadnia.

Jak zbudować praktyczne AI governance dla CTI

  1. Polityka danych i zgodność – legalność źródeł, minimalizacja danych, kontrola jakości.
  2. Ocena i testy modeli – walidacja przed wdrożeniem, scenariusze adversarial, kontrola wersji i kryteria rollbacku.
  3. Monitorowanie i metryki – precision, recall, drift, wpływ operacyjny; alerty na degradację.
  4. Wyjaśnialność i audyt – raporty XAI dla incydentów o wysokim wpływie; kompletna dokumentacja techniczna.
  5. Zasady automatyzacji – progi, kto zatwierdza, kiedy działa automatyka; przegląd okresowy playbooków.
  6. Ciągłe doskonalenie – re-training w harmonogramie, przeglądy ryzyka, audyty wewnętrzne i zewnętrzne.
    Te kroki są spójne ze wskazaniami NIST AI RMF. Pozwalają od początku zakotwiczyć AI w procesach bezpieczeństwa, a nie obok nich.

Podsumowanie

AI skutecznie wzmacnia CTI – ale tylko wtedy, gdy towarzyszy jej dojrzałe AI governance. Połączenie ram NIST i ISO/IEC 42001 z kontekstem prawnym UE (AI Act, NIS2, DORA) pozwala wykorzystać predykcyjne możliwości AI. Bez utraty kontroli nad ryzykiem, przejrzystością i odpowiedzialnością. To kierunek, w którym warto iść już dziś.