AI flyttar in i försvaret – men vem kontrollerar systemen?

När AI, sensorer, programvara och obemannade system får större plats i försvaret blir frågan om kontroll större än frågan om vem som trycker på en knapp. Ett system kan vara beroende av data, modeller, mjukvaruversioner, leverantörer och andra system i samma kedja. Då handlar kontroll också om vem som granskar förändringar, upptäcker fel och kan ingripa när något inte fungerar som tänkt.

Det betyder inte att Sverige har lämnat över militära beslut till AI. Offentliga uppgifter räcker inte för att fastslå vilka mandat som gäller i enskilda system eller operationer. Men de visar att teknik, informationsdelning och utvecklingstempo förändras. Det gör frågorna om verifiering, ansvar och mänsklig kontroll mer konkreta.

Kontroll är en hel kedja

Det är lätt att göra kontrollfrågan till en fråga om det sista beslutet: finns det en människa som kan säga ja eller nej? Det är en viktig fråga, särskilt när vapenverkan kan bli aktuell. Men kontroll behöver börja tidigare.

En AI-baserad funktion kan vara byggd på data som samlats in under andra förhållanden. Den kan ingå i ett större system med sensorer, kommunikationslänkar och programvara från flera leverantörer. Den kan också uppdateras efter att den först har testats. Varje led kan påverka resultatet.

Den praktiska kontrollkedjan sträcker sig därför från anskaffning och teknisk insyn till test, godkännande, drift, uppdateringar och efterkontroll. En människa kan ha det yttersta ansvaret för ett beslut, men det besvarar inte automatiskt om underlaget var tillförlitligt, om en ändring var korrekt granskad eller om det går att återgå till en tidigare version.

Fler system kopplas samman

FMV beskriver framtidens flygförmåga som allt mer sammankopplad mellan luft, mark, sjö och rymd. Myndigheten ger som exempel att ett mål kan upptäckas i en domän, verifieras från en annan och bekämpas från en tredje. Informationen ska kunna röra sig mycket snabbt mellan systemen.

Det är en myndighetsbeskrivning av hur förmågor kan kopplas ihop, inte bevis för autonom målbekämpning eller för att AI själv fattar beslut om vapeninsats. FMV pekar inte heller ut något specifikt AI-system eller beslutsmandat. Men exemplet visar varför kontroll inte kan begränsas till en enskild plattform. När flera system bidrar med data och funktioner behöver det gå att förstå var informationen kommer ifrån, hur den har verifierats och vem som ansvarar när kedjan brister.

Snabbare införande gör frågorna mer angelägna

Försvarsmakten skriver att vägen från idé till faktisk militär förmåga behöver bli kortare. Myndigheten beskriver behovet av att testa mer, lära snabbare, upphandla på nya sätt och ge innovation större utrymme.

Det är inte samma sak som att kontrollen blir sämre. Det vore en obelagd slutsats. Men högre tempo gör det rimligt att fråga hur testning, säkerhet, validering och mänsklig kontroll säkras när ny teknik samtidigt ska omsättas snabbare. En snabb process behöver fortfarande kunna visa vad som har ändrats, vem som godkänt ändringen och vad som händer om den får oväntade följder.

En uppdatering kan förändra systemet

Programvara förändras. Det gäller även system som använder maskininlärning. En ny modellversion, en ändrad regel eller en ny datakälla kan förbättra en funktion, men den kan också påverka hur systemet reagerar i situationer som tidigare hanterats på ett annat sätt.

En generell teknisk risk är att en modell bygger sina bedömningar på data som inte längre speglar den aktuella miljön. Normalt beteende kan förändras, och ett nytt hot kan se annorlunda ut än det systemet tidigare tränats eller testats på. Det är inte ett påstående om att ett visst svenskt system har detta problem. Det är en fråga som behöver hanteras när AI används i säkerhetskritiska miljöer.

Därför blir några grundläggande frågor viktiga: Hur testas en ny version före drift? Vem godkänner den? Hur upptäcks ett oväntat beteende? Och går det snabbt att återgå till en tidigare version om en uppdatering inte fungerar som avsett?

Cyberriskerna finns i flera led

FOI:s rapport Attacking and Deceiving Military AI Systems beskriver forskning om adversarial machine learning: angrepp som utnyttjar svagheter i AI-system. Den tar bland annat upp manipulation av indata och adversarial examples, data poisoning, extraction attacks och adversarial policy, där en motståndares beteende kan vilseleda autonoma agenter.

Det betyder inte att dessa angrepp har drabbat svenska militära AI-system. Offentliga uppgifter räcker inte för ett sådant påstående. Men de beskriver en riskbild som gör testning, versionshantering och leverantörskontroll relevanta även innan ett system når drift.

Regeringen har gett FRA i uppdrag att undersöka förutsättningarna för en AI-stödd nationell cybersäkerhetsförmåga och att påbörja pilotverksamhet med AI-stödda verktyg för samhällsviktiga verksamheter. Försvarsmakten ska stödja FRA. Uppdraget ska delredovisas den 30 oktober 2026 och slutredovisas den 29 januari 2027.

Det är ett utvecklings- och pilotuppdrag, inte belägg för att en färdig nationell AI-cyberförmåga redan finns eller att AI självständigt får vidta cyberåtgärder. Teknisk arkitektur, modeller, träningsdata och beslutsmandat är inte offentligt verifierade.

Leverantörens system måste också kunna granskas

En annan kontrollfråga gäller teknisk insyn. Ett system kan bygga på proprietär kod, slutna modellvikter eller data som myndigheten inte själv har tagit fram. Då uppstår frågan vilken dokumentation, vilka testresultat och vilken möjlighet till oberoende granskning som krävs innan systemet används i en känslig miljö.

Att en komponent är utvecklad i Sverige betyder inte automatiskt att hela teknikstacken är svensk. På samma sätt är ett utländskt beroende inte i sig bevis för bristande kontroll. Den avgörande frågan är vilken kontroll som faktiskt kan utövas över data, kod, uppdateringar, drift och leverantörskedja.

Det är också en fråga om ansvar. När flera myndigheter, företag, underleverantörer och tekniska system ingår i samma kedja behöver ansvarsfördelningen vara tydlig både när systemet fungerar och när något går fel.

Sverige har en rättslig kontrollpunkt

Sverige har en ordning för folkrättslig granskning av vapenprojekt enligt artikel 36 i tilläggsprotokoll I till Genèvekonventionerna. Delegationen för folkrättslig granskning av vapenprojekt granskar bland annat projekt som gäller studium, utveckling, nyanskaffning eller modifiering av vapen eller stridsmetoder.

Detta är en viktig rättslig kontrollpunkt, men den besvarar inte automatiskt alla frågor om programvara som förändras över tid. Det går inte av de offentliga uppgifterna att dra slutsatsen att varje modell- eller mjukvaruuppdatering alltid kräver en ny artikel 36-granskning. Just när en förändring kan kräva ny eller kompletterande granskning är en av de frågor som behöver klarläggas.

Frågan är inte bara teoretisk. FOI har i en rapport om artikel 36 pekat ut kontinuerliga funktionsförändringar under användning av autonoma AI-stödda vapensystem, om sådana system utvecklas, som ett område där det behöver belysas ytterligare om och när förnyade avgöranden av folkrättsenligheten kan krävas. FOI säger inte att varje modell-, programvaru- eller funktionsuppdatering automatiskt kräver en ny granskning.

NATO pekar på kontroll under hela livscykeln

NATO:s reviderade AI-strategi från 2024 behåller de sex principerna för ansvarsfull AI-användning, däribland ansvar och ansvarsutkrävande, förklarbarhet och spårbarhet, tillförlitlighet och styrbarhet. Strategin har också som mål att bygga ett alliansgemensamt landskap för testning, utvärdering, verifiering och validering samt att använda laboratorier, sandboxes och testmiljöer under olika tekniska, procedurmässiga och operativa förhållanden.

I NATO:s tidigare strategi beskrivs styrbarhet bland annat som lämplig människa–maskin-interaktion och möjlighet att koppla bort eller avaktivera system som beter sig oväntat.

Det är NATO:s ramverk, inte bevis för att svenska myndigheter använder samma processer eller tekniska lösningar. Men ramen sätter ord på en central fråga: kontroll behöver fungera både före, under och efter att ett system tas i bruk.

Ny teknik kräver också tydliga begrepp

Regeringen föreslog den 3 september att Transportstyrelsen får i uppdrag att utreda hur fjärropererade obemannade marina system kan möjliggöras. Det är relevant som exempel på att regelverk kan behöva utvecklas när ny teknik införs. Men fjärropererad är inte samma sak som autonom, och obemannad är inte samma sak som AI-styrd. Uppgiften är inte belägg för autonoma vapensystem.

När kontrollen inte går att granska offentligt

Det finns legitima skäl till att militär teknik, säkerhetsrutiner och operativa detaljer inte alltid kan offentliggöras. Den här artikeln spekulerar inte i vilken information som kan omfattas av sekretess eller varför myndigheterna ännu inte har svarat.

Men sekretessbehovet förändrar inte själva kontrollfrågan. När AI, programvara och sammankopplade system får större betydelse behöver det åtminstone på principnivå gå att förstå hur system verifieras, vem som godkänner större förändringar, hur fel och oväntat beteende upptäcks, vilken möjlighet till mänskligt ingripande som finns, hur ansvar fördelas och hur kontrollen hanteras när externa leverantörer och uppdateringar ingår.

Att offentlig information inte visar hur detta fungerar är inte samma sak som att sådana rutiner saknas. Men flera av de centrala frågor som NextNet undersöker saknar fortfarande tydliga offentliga svar och går därför inte att bedöma externt utifrån den information som hittills har offentliggjorts. Det begränsar allmänhetens, mediernas och andra externa aktörers möjlighet att granska kontrollen och bedöma vilka grunder det finns för att ha förtroende för den.

När svar saknas ska journalistiken inte gissa. Men frånvaron av offentlig information gör inte frågorna mindre viktiga – den gör dem svårare att granska.

NextNets frågor till myndigheterna

NextNet skickade den 5 september frågor till FRA, Försvarsmakten och FMV och bad om svar senast den 10 september klockan 12.00. När den här artikeln färdigställs har vi ännu inte fått några svar. Vi spekulerar inte i orsaken. Frågorna redovisas därför nedan. Om svar kommer efter publicering uppdaterar vi artikeln och redovisar dem.

Försvarsmakten

• Hur verifieras en ny modell-, programvaru- eller regelversion före drift, och vem godkänner uppdateringen?
• Kan ett AI-system inom den planerade pilotverksamheten själv utlösa en skyddsåtgärd, eller måste AI-resultat först bedömas av en människa?
• Finns möjlighet och krav att snabbt återgå till föregående version vid oväntat beteende?
• Hur testas system mot adversarial manipulation, data poisoning, sensor-/datamanipulation och komprometterade programuppdateringar?
• Vilken teknisk insyn kräver FMV/Försvarsmakten från externa leverantörer, exempelvis källkod, modellversioner, testresultat, träningsdata eller andra relevanta underlag?
• Hur verifieras ett system på nytt efter större modell- eller mjukvaruuppdateringar?
• Vilka krav finns på att en människa ska kunna avbryta, koppla bort eller återta kontrollen vid oväntat beteende?
• Hur fördelas ansvar när central AI-, programvaru- eller infrastrukturkomponent kommer från extern eller utländsk leverantör?
• Vilka delar av FRA/Försvarsmaktens nya AI-stödda cyberpilot kommer att kunna beskrivas offentligt när pilotverksamheten har påbörjats?

FMV

• Hur verifieras en ny modell-, programvaru- eller regelversion före drift, och vem godkänner uppdateringen?
• Finns möjlighet och krav att snabbt återgå till föregående version vid oväntat beteende?
• Hur testas system mot adversarial manipulation, data poisoning, sensor-/datamanipulation och komprometterade programuppdateringar?
• Vilken teknisk insyn kräver FMV/Försvarsmakten från externa leverantörer, exempelvis källkod, modellversioner, testresultat, träningsdata eller andra relevanta underlag?
• Hur verifieras ett system på nytt efter större modell- eller mjukvaruuppdateringar?
• När kan en förändring av ett AI-baserat vapensystem eller dess programvara innebära att ny eller kompletterande artikel-36-granskning blir aktuell?
• Vilka krav finns på att en människa ska kunna avbryta, koppla bort eller återta kontrollen vid oväntat beteende?
• Hur fördelas ansvar när central AI-, programvaru- eller infrastrukturkomponent kommer från extern eller utländsk leverantör?

FRA

• Hur hanteras risken att ett AI-baserat cybersäkerhetssystem bygger bedömningar på modeller eller data som inte längre speglar aktuell verksamhet?
• Hur verifieras en ny modell-, programvaru- eller regelversion före drift, och vem godkänner uppdateringen?
• Kan ett AI-system inom den planerade pilotverksamheten själv utlösa en skyddsåtgärd, eller måste AI-resultat först bedömas av en människa?
• Hur hanteras falska positiva och falska negativa resultat när normalt beteende förändras?
• Finns möjlighet och krav att snabbt återgå till föregående version vid oväntat beteende?
• Hur testas system mot adversarial manipulation, data poisoning, sensor-/datamanipulation och komprometterade programuppdateringar?
• Hur verifieras ett system på nytt efter större modell- eller mjukvaruuppdateringar?
• Vilka krav finns på att en människa ska kunna avbryta, koppla bort eller återta kontrollen vid oväntat beteende?
• Vilka delar av FRA/Försvarsmaktens nya AI-stödda cyberpilot kommer att kunna beskrivas offentligt när pilotverksamheten har påbörjats?

Kontroll behöver följa med tempot

Försvarets tekniska utveckling handlar inte bara om nya system. Den handlar om hur system kopplas samman, förändras och används över tid. Ju fler delar som ingår i kedjan, desto viktigare blir det att kunna spåra beslut, granska uppdateringar, kontrollera leverantörsberoenden och behålla mänskligt ansvar.

Det är inte ett argument för att stoppa teknisk utveckling. Det är ett argument för att kontroll, verifiering och ansvar måste utvecklas i samma takt som tekniken.

💬 Vad tycker du?

Vilka delar av kontrollkedjan tycker du måste vara tydligast när AI får större betydelse i försvaret?

Dela gärna dina tankar i kommentarerna.

📚 Relaterade artiklar