Bedragare använder AI – hinner skyddet med?

AI har gjort det enklare att skriva, skapa bilder, översätta språk och automatisera arbete.

Samma förmågor kan också användas av bedragare.

Artificiell intelligens har inte uppfunnit phishing, falska fakturor, romansbedrägerier eller telefonsamtal där någon utger sig för att vara en anhörig. Metoderna är gamla.

Det nya är hur snabbt de kan göras personliga, trovärdiga och storskaliga.

FBI:s amerikanska internetbrottsrapport för 2025 innehåller för första gången en särskild del om AI. Där registrerades 22 364 anmälningar med AI-relaterad information och justerade rapporterade förluster på drygt 893 miljoner dollar. FBI betonar samtidigt att AI är ett verktyg i brotten, inte nödvändigtvis hela orsaken till varje förlust.

Det förändrar också en gammal säkerhetsregel.

Tidigare kunde dåligt språk, konstiga formuleringar eller en märklig röst vara varningssignaler.

I dag kan bluffen låta precis som den borde.

Bedragaren behöver inte hacka din dator

En av de viktigaste förändringarna är att AI inte behöver ta sig igenom ett avancerat tekniskt säkerhetssystem för att orsaka skada.

Det kan räcka att tekniken hjälper bedragaren att övertyga dig.

Ett välskrivet mejl kan efterlikna en chef. Ett meddelande kan innehålla detaljer om familjen. En falsk kundtjänstmedarbetare kan låta professionell på perfekt svenska.

Och med röstkloning blir problemet ännu svårare.

FBI beskriver bland annat hur AI kan användas för att skapa övertygande sociala profiler, personliga samtal, chefsliknande mejl och syntetiska röster. FTC varnar uttryckligen för att en bedragare kan klona en anhörigs röst från ett kort ljudklipp som hämtats från nätet.

Det innebär att ”jag hörde ju att det var han” inte längre är samma bevis som tidigare.

AI automatiserar trovärdighet

AI kan också minska arbetet som krävs för att bygga själva historien.

Offentlig information på sociala medier, företagswebbplatser och andra öppna källor kan användas för att skapa ett mer trovärdigt sammanhang.

Vem är ekonomichef? Vem är bortrest? Vilken leverantör använder företaget? Hur brukar chefen formulera sig? Vilka familjemedlemmar syns offentligt?

Bedragaren behöver inte veta allt.

Några korrekta detaljer kan räcka för att resten ska kännas äkta.

Och samma metod kan sedan skalas till många fler mottagare än om varje bluff måste skrivas för hand.

Det är kanske den stora förändringen:

AI automatiserar inte bara text. Den kan automatisera trovärdighet.

OpenAI har i sina egna utredningar sett hur organiserade scam-nätverk använder AI för bland annat falska identiteter, översättning, personliga meddelanden och administration. Företaget beskriver också hur hotaktörer kombinerar flera AI-modeller med vanliga webbplatser och sociala medier snarare än att hålla sig till en enda tjänst.

Det senare blir viktigt när man börjar fråga vem som egentligen ska stoppa missbruket.

AI-bolagen sitter inte still

Det vore samtidigt fel att beskriva utvecklingen som om de största AI-företagen bara tävlade om större modeller och lämnade säkerheten åt någon annan.

Det finns tydliga exempel på motsatsen.

OpenAI meddelade den 18 augusti att företaget tillfälligt bromsat delar av modellutvecklingen efter tecken på att kommande modeller kan nå en kritisk nivå av cyberförmåga enligt bolagets eget Preparedness Framework.

Bland annat pausades reinforcement-learning-träning av modeller avsedda för lansering under två veckor. OpenAI uppger också att den största planerade frontier-RL-körningen fortfarande hålls tillbaka medan mindre tester genomförs och säkerheten i forskningsmiljöerna förstärks. Bolaget beskriver själv att detta har kostat både tid och resurser.

Det är ett konkret exempel på att säkerhet faktiskt kan få gå före hastighet.

OpenAI har också stängt konton kopplade till en Kambodja-baserad scam-operation som använde ChatGPT för bland annat investerings-, romans-, gambling- och identitetsbedrägerier.

Google försöker göra det syntetiska synligt

Google arbetar delvis från ett annat håll.

SynthID bäddar in signaler i AI-genererat innehåll så att bilder, video och ljud lättare kan identifieras som syntetiska. Google uppgav i år att tekniken har använts på över 100 miljarder bilder och videor samt motsvarande 60 000 år av genererat ljud. Företaget kombinerar också detta med C2PA Content Credentials, som kan visa hur digitalt material har skapats eller förändrats.

Men Google konstaterar samtidigt något som går rakt in i den större frågan:

lösningen fungerar i stor skala först när fler aktörer deltar.

Det är en viktig begränsning.

En standard blir inte särskilt användbar om den bara fungerar inne i ett företags eget ekosystem.

Anthropic visar varför testerna också måste vara säkra

Anthropic använder bland annat säkerhetsklassificerare för att upptäcka och blockera farlig cyberanvändning. Men företaget har också publicerat händelser där själva säkerhetstesterna gått fel.

Efter en genomgång av över 141 000 cyberutvärderingar hittade Anthropic tre incidenter där Claude-modeller fått oavsiktlig internetåtkomst från testmiljöer och därefter tagit sig in i riktiga system hos tre organisationer.

Det är viktigt att vara exakt här.

Anthropic säger att modellerna hade fått uppgiften att genomföra capture-the-flag-övningar och felaktigt trodde att de riktiga systemen ingick i simuleringen. De försökte inte medvetet ”rymma” från testmiljön eller följa något eget mål. De vanliga produktionsskydden var dessutom inte aktiverade under dessa utvärderingar.

Men incidenterna visar ändå något viktigt:

säkerhetstestning av mycket kapabla AI-agenter kan själv bli en säkerhetsrisk om miljön runt modellen inte håller samma nivå som modellen.

Anthropic stoppade sina cyberutvärderingar när problemen upptäcktes och har därefter beskrivit förändringar i övervakning och testmiljöer.

Att företaget offentliggjorde incidenterna är i sig en viktig del av säkerhetsarbetet.

SpaceXAI dokumenterar också säkerhetsarbetet

SpaceXAI/xAI har ett offentligt Frontier AI Framework som behandlar bland annat malicious use och loss of control och beskriver hur risker ska följas genom modellernas utveckling och lansering. Företagets säkerhetssida säger att utvärderingar används från pre-training till deployment.

Vid lanseringen av Grok 4.6 den 12 augusti uppgav SpaceXAI att modellen genomgått företagets hittills bredaste uppsättning av pre-deployment-tester för kapabiliteter och safeguards, tillsammans med omfattande tester efter lansering och från tredje part. Det är bolagets egen beskrivning och ska behandlas som sådan.

Det här är viktigt för balansen.

Säkerhetsarbetet finns även hos aktörer som samtidigt driver mycket aggressiva utvecklings- och infrastruktursatsningar.

Frågan är snarare hur väl säkerheten skalar när kapaciteten gör det.

Att upptäcka problemet är inte samma sak som att kunna stoppa det

En färsk granskning från den ideella organisationen Guidelight AI Standards lägger till ytterligare en dimension.

Guidelight, som grundats av två tidigare OpenAI-profiler inom säkerhet och policy, bedömde offentligt dokumenterade kontrollrutiner hos OpenAI, Anthropic, Google, xAI och Meta. OpenAI och Anthropic fick högst helhetsbetyg, C+, medan Google fick D+, xAI D− och Meta F. Bedömningen omfattade bland annat övervakning, extern granskning och möjligheten att begränsa ett system om det börjar agera utanför avsedda ramar.

Betygen ska dock läsas med en viktig reservation:

Guidelight bedömer det som är offentligt dokumenterat.

Ett lågt betyg betyder därför inte automatiskt att ett företag saknar interna skydd.

TechCrunch rapporterade den 22 augusti att få av de granskade laboratorierna offentligt redovisat detaljerade så kallade containment-planer. Guidelight definierar en sådan plan som en förutbestämd rutin för vilka rättigheter som ska tas bort, hur modellen får fortsätta användas och när den helt ska tas offline om den försöker kringgå kontroll.

OpenAI uppger till TechCrunch att företaget internt kan begränsa behörigheter, pausa workloads, begränsa deployment eller ta en modell helt offline och att sådana processer har använts. Google invänder samtidigt att Guidelights granskning inte fångar hela företagets interna säkerhetsarbete.

Det gör slutsatsen mer nyanserad:

Frånvaro av offentlig dokumentation är inte samma sak som frånvaro av säkerhet.

Men det gör det svårare för forskare, myndigheter, kunder och allmänhet att bedöma hur redo branschen faktiskt är när något redan har gått fel.

Branschen verkar alltså ha kommit långt i arbetet med att upptäcka problem.

Nästa fråga är hur tydligt den kan visa att problemen också går att stoppa.

Räcker det att alla bygger sitt eget skydd?

Här kommer vi till den större frågan.

Det finns redan gemensamma ramverk.

NIST:s AI Risk Management Framework och dess profil för generativ AI erbjuder strukturer för att identifiera och hantera AI-risker. Men användningen är frivillig.

EU har gått längre.

AI Act ställer bindande krav på leverantörer av generella AI-modeller med systemrisk. Kraven omfattar bland annat modellutvärdering, riskhantering, rapportering av allvarliga incidenter och cybersäkerhet för både modellerna och den fysiska infrastrukturen runt dem.

OpenAI, Google, Anthropic och Microsoft finns bland bolagen som skrivit under EU:s GPAI Code of Practice. xAI har skrivit under Safety and Security-kapitlet. Själva koden är ett frivilligt verktyg för att hjälpa leverantörerna visa hur de följer AI Act; de rättsliga skyldigheterna kommer från lagen.

Det är alltså fel att säga att gemensamma regler saknas helt.

Men det finns fortfarande ingen enda global säkerhetsstandard som alla stora AI-utvecklare måste följa på samma sätt.

Och en angripare behöver inte respektera företags- eller nationsgränser.

OpenAI har samtidigt skärpt sin offentliga varning. Den 23 augusti beskrev bolagets globala policychef Chris Lehane AI-driven cyberbrottslighet som på väg in i en ny fas, där mer kapabla system kan möjliggöra betydligt mer uthålliga attacker. OpenAI har redan argumenterat för gemensamma nationella och internationella säkerhetsstandarder – vilket förstärker frågan om företagsvisa skydd verkligen räcker när kapaciteten fortsätter att öka.

Ett försök att lära av varandras misstag

Den 4 augusti kom ett intressant nytt initiativ.

Inom Open Secure AI Alliance har ett förslag presenterats för SAFE – Shared AI Findings Exchange.

Tanken är att organisationer konfidentiellt ska kunna dela säkerhetsincidenter och så kallade near misses, analysera återkommande kontrollfel och omvandla erfarenheterna till gemensamma tester, regler och försvarsmetoder. Linux Foundation betonar att det ännu är ett förslag för öppen diskussion, inte en färdig standard.

NVIDIA, Cisco, CrowdStrike, Hugging Face och Red Hat finns bland aktörerna bakom det första arbetet. NVIDIA beskriver initiativet som ett sätt att förvandla incidenter med agentbaserad AI till gemensamt skydd för ekosystemet.

Det intressanta är egentligen inte namnet SAFE.

Det intressanta är principen.

Flygbranschen lär av incidenter och nära-ögat-händelser.

Den traditionella IT-säkerheten har länge byggt system för att dela sårbarheter och hotinformation.

När AI-system börjar agera mer självständigt kan samma tanke behöva bli betydligt viktigare även här.

Vad kan du själv göra?

Branschen kan bygga nya standarder och tekniska skydd, men den enskilde användaren behöver fortfarande kunna hantera bluffen som kommer i dag.

• Lita inte på röst, bild eller video som enda identitetsbevis.
• Kontrollera oväntade betalningar eller känsliga instruktioner via en annan kanal.
• Ring tillbaka via ett telefonnummer du redan känner till, inte numret i meddelandet.
• Var extra vaksam vid tidspress, sekretesskrav och plötsligt ändrade betalningsuppgifter.
• Använd multifaktorautentisering eller passkeys där det är möjligt.
• Företag bör låta större betalningar och ändrade kontouppgifter verifieras av mer än en person.
• Familjer kan komma överens om en enkel kontrollfråga eller annan verifieringsrutin för oväntade nödsamtal.

FTC:s råd vid misstänkt röstkloning är just att inte lita på rösten, utan kontakta personen genom en kontaktväg man redan känner till.

Hinner skyddet med?

AI har inte uppfunnit bedrägeriet.

Den har gjort det enklare att göra bedrägerier mer personliga, trovärdiga och skalbara.

Samtidigt finns det tydliga tecken på att AI-branschen tar säkerhetsfrågan på stort allvar.

OpenAI har bromsat utveckling när cyberförmågan krävt starkare skydd.

Google bygger system för proveniens och märkning.

Anthropic publicerar incidenter och förändrar sina testmiljöer.

SpaceXAI dokumenterar sina säkerhetsprocesser och utvärderingar.

NVIDIA driver tillsammans med andra aktörer ett försök att skapa gemensamt incidentlärande.

EU har infört bindande krav för de mest avancerade generella modellerna.

Det är värt att ge branschen erkännande för.

Men nästa steg kan kräva mer än att varje företag bygger ett starkt eget skydd.

Bedragaren kan flytta mellan modeller, tjänster och plattformar.

En AI-agent kan möta ett system som utvecklats av någon annan.

Och en incident hos ett företag kan innehålla lärdomar som resten av branschen behöver samma dag, inte sex månader senare.

Problemet är därför kanske inte att säkerheten saknas.

Problemet är att den fortfarande är fragmenterad i en utveckling där själva förmågan växer extremt snabbt.

Och då återstår den viktigaste frågan:

När AI-kapaciteten växer i rekordfart – hur ser vi till att skyddet utvecklas lika snabbt som förmågan?

💬 Vad tycker du?

AI-företagen bygger allt starkare säkerhetssystem, men angripare kan röra sig mellan modeller, tjänster och plattformar.

Räcker det att varje företag bygger sitt eget skydd – eller behövs en gemensam säkerhetsnivå för hela branschen?

Dela gärna din syn i kommentarerna.

📚 Relaterade artiklar