Cloudflare vill ta betalt för AI – men går trafiken att kontrollera?

Från robots.txt till en betalstation för AI

Under lång tid har webbplatser framför allt haft robots.txt för att tala om för sökmotorer och andra crawlers vilka delar av en webbplats de får besöka.

Cloudflare försöker gå betydligt längre.

I AI Crawl Control kan webbplatsägaren hantera olika AI-crawlers och välja om de ska tillåtas, blockeras eller – genom Pay Per Crawl – behöva betala för åtkomst.

Pay Per Crawl är fortfarande i closed beta.

När en crawler begär innehåll kan den antingen signalera betalningsavsikt för att få innehållet eller mötas av HTTP-statusen 402 Payment Required med prisinformation.

Det betyder att Cloudflare inte bara bygger ett tekniskt skydd mellan webbplatsen och automatiserad trafik. Bolaget bygger också infrastruktur för en möjlig ekonomisk relation mellan innehållsägaren och AI-crawlern.

Men robots.txt är inte en låst dörr

Här finns en viktig skillnad som lätt försvinner i diskussionen om AI-crawlers.

robots.txt är inte samma sak som teknisk åtkomstkontroll.

Internetstandarden RFC 9309 beskriver uttryckligen att reglerna inte är en form av auktorisering och att robots.txt inte ska användas som ersättning för riktiga säkerhetsåtgärder.

En webbplats kan alltså i praktiken säga:

”Besök inte den här delen.”

Men robots.txt är inte i sig en låst dörr som tekniskt hindrar en klient från att försöka hämta innehållet.

Det är en avgörande skillnad när innehåll plötsligt får ett ekonomiskt pris.

Cloudflare försöker göra reglerna verkställbara

Cloudflares modell bygger därför inte enbart på att crawlers förväntas följa robots.txt.

När en crawler blockeras genom AI Crawl Control skapar eller uppdaterar Cloudflare en anpassad WAF-regel för webbplatsen.

Det innebär att begäran kan stoppas vid Cloudflares edge innan den når webbplatsens ursprungsserver.

Pay Per Crawl ligger senare i behandlingskedjan. Cloudflare beskriver ordningen som att AI Crawl Controls crawlerblockering via WAF sker först, därefter Cloudflares botlösningar och sedan Pay Per Crawl.

Det är en betydligt mer verkställbar modell än robots.txt på egen hand.

Men den leder direkt till nästa fråga.

Först måste Cloudflare veta vem som knackar på dörren

För att kunna säga ja, nej eller ”betala först” behöver systemet kunna identifiera trafiken.

På gratisplanen identifierar AI Crawl Control enligt Cloudflare AI-crawlers utifrån deras user-agent-strängar. Det gör att tjänsten kan känna igen välkända crawlers som identifierar sig själva.

För mer omfattande detektering använder Cloudflare bland annat sin Bot Management-teknik.

Skillnaden är viktig.

En crawler som tydligt berättar vem den är och vad den gör är betydligt enklare att behandla än automatiserad trafik som inte identifierar sig lika tydligt eller försöker efterlikna vanlig webbläsartrafik.

Kontrollfrågan handlar därför inte bara om vilka regler webbplatsägaren ställer in.

Den handlar också om hur tillförlitligt trafiken kan identifieras.

Web Bot Auth ska göra identiteten starkare

Cloudflare har samtidigt utvecklat ett svar på identitetsproblemet.

Web Bot Auth använder kryptografiska signaturer i HTTP-meddelanden för att verifiera att en begäran kommer från en automatiserad bot.

En registrerad bot kan publicera sitt nyckelmaterial och därefter signera sina förfrågningar.

Det ger en betydligt starkare teknisk identitet än att enbart förlita sig på ett namn i en user-agent.

För betalande crawleroperatörer är det särskilt viktigt.

Om ett system ska koppla åtkomst och betalning till en viss crawler behövs en metod som gör det svårare för någon annan att bara utge sig för att vara samma bot.

Web Bot Auth är en del av den infrastrukturen.

Alla går inte genom den kontrollerade vägen

Det tekniska problemet försvinner ändå inte bara för att det finns bättre metoder för identifiering.

TollBit, som själv säljer teknik för att mäta och kontrollera AI-åtkomst, har testat kommersiella scrapingverktyg mot större webbplatser.

I bolagets Scraper Audit testades 14 scrapingverktyg mot 30 webbplatser.

Enligt TollBit lyckades bara tre av de 30 webbplatserna blockera samtliga testade scrapingförsök.

Det är TollBits egen undersökning och ska därför inte behandlas som ett universellt mått på hela webben.

Men resultatet illustrerar ett centralt problem:

Att publicera en regel är inte samma sak som att kunna verkställa den mot all automatiserad trafik.

Scraping har blivit svårare att känna igen

Moderna scrapingverktyg behöver inte bete sig som de traditionella crawlers som webbplatser länge varit vana vid.

TollBit beskriver verktyg som kan efterlikna vanlig webbläsartrafik, rotera infrastruktur och använda andra tekniker för att undvika traditionell botdetektering.

Det gör identifieringen till en kapplöpning.

På ena sidan försöker webbplatser och infrastrukturleverantörer avgöra vad som är en människa, en legitim crawler, en AI-agent eller en oönskad scraper.

På den andra sidan finns automatiserade system som kan förändra hur trafiken ser ut.

Det är därför infrastrukturen under robots.txt blir allt viktigare.

All AI-trafik är dessutom inte samma sak

Sedan den 1 juli 2026 delar Cloudflare upp tre centrala typer av AI-relaterat beteende som alla kunder kan hantera separat:

Search – crawlers som samlar eller indexerar innehåll för att senare kunna svara på frågor.

Agent – automatiserad aktivitet som agerar i realtid på en människas uppdrag, till exempel en AI-agent som hämtar information eller använder webben åt användaren.

Training – crawling där innehåll används för att träna eller finjustera AI-modeller.

Skillnaden spelar stor roll för publicister.

En sökcrawler som hjälper människor att upptäcka en webbplats är inte nödvändigtvis samma sak som en crawler som samlar material för modellträning.

Och en AI-agent som på en användares direkta uppdrag hämtar en sida är ytterligare en situation.

Att behandla all AI-trafik som en enda kategori blir därför allt mindre användbart.

Det räcker alltså inte att fråga om AI får läsa sidan

Den gamla frågan var förhållandevis enkel:

Får robotar besöka den här sidan?

Den nya frågan innehåller betydligt fler lager.

Vem är roboten?

Varför hämtar den innehållet?

Gör den det för sökning, träning eller på uppdrag av en användare?

Är den verifierad?

Följer den webbplatsens regler?

Och om webbplatsägaren kräver betalning – kan samma innehåll ändå hämtas genom en annan teknisk väg?

Det är den verklighet som Cloudflare försöker bygga ett kontrollsystem för.

Cloudflares kontroll löser inte allt

Att automatiserad trafik kan vara svår att identifiera betyder inte att Cloudflares modell saknar betydelse.

Tvärtom försöker Cloudflare lösa flera av problemen som robots.txt inte kan lösa på egen hand.

WAF-regler kan faktiskt stoppa begäranden.

Botdetektering kan identifiera trafik utifrån fler signaler.

Web Bot Auth kan ge automatiserade förfrågningar en kryptografiskt verifierbar identitet.

Pay Per Crawl kan göra betalning till ett villkor för identifierad trafik som webbplatsägaren valt att debitera.

Men inget av detta innebär automatiskt att all AI-relaterad scraping på internet går att identifiera eller tvinga in i samma ekonomiska modell.

Det är den viktiga gränsen.

Från en teknisk regel till en ekonomisk marknad

Cloudflares ambition är större än att bara blockera några botar.

Bolaget försöker skapa en modell där innehållsägaren kan säga:

Ja.

Nej.

eller:

Ja – men då kostar det.

Det är ett stort steg från en webb där automatiserade system länge huvudsakligen har förväntats läsa robots.txt och följa publicistens instruktioner.

När åtkomst får ett pris blir identifiering och verkställighet också ekonomiska frågor.

Om en identifierad crawler betalar samtidigt som annan automatiserad trafik kan hämta samma material utanför den kontrollerade vägen uppstår en svaghet i marknadsmodellen.

Och ju mer avancerad identifieringen måste bli, desto större betydelse får infrastrukturen som avgör vem som är vem och vilka regler som ska gälla.

Den verkliga maktfrågan på den nya AI-webben

Diskussionen om AI-crawlers håller därför på att förändras.

Först handlade den mycket om huruvida AI-bolag borde få använda publicisternas innehåll.

Sedan kom frågan om ersättning.

Nu blir nästa fråga allt tydligare:

Vem kan faktiskt verkställa reglerna?

Cloudflare bygger ett system där webbplatsägaren ska kunna bestämma vem som får komma in och på vilka villkor.

Samtidigt visar utvecklingen inom scraping varför den kontrollen inte kan tas för given.

Det betyder inte att Cloudflares modell har misslyckats.

Tvärtom är själva problemet en viktig förklaring till varför företag som Cloudflare bygger den här typen av kontrollskikt.

Men den nya AI-webbens maktfråga avgörs inte bara av vilka regler som skrivs eller vilket pris en publicist sätter.

Den avgörs också av vem som kan identifiera trafiken, verkställa reglerna – och kontrollera vägen mellan AI-systemet och innehållet.

💬 Vad tycker du?

Ska publicister kunna ta betalt när AI-system hämtar deras innehåll – och hur långt bör ansvaret sträcka sig för att respektera de regler som webbplatsägaren sätter?

Skriv gärna vad du tycker i kommentarerna.

📚 Relaterade artiklar