Cloudflare vill bygga kontrollskiktet för den nya AI-webben

Cloudflare tar en större roll på AI-webben

När en människa besöker en webbplats är relationen ganska lätt att förstå. Personen öppnar en sida, läser den och kan möta annonser, en prenumeration eller ett erbjudande. När en AI-tjänst i stället hämtar, indexerar eller använder innehåll blir flödet mer svåröverskådligt. Är trafiken där för att träna en modell, för att bygga ett sökindex eller för att lösa en användares uppgift just nu? Ger den besök tillbaka till webbplatsen? Kan innehållsägaren säga ja, nej eller kanske – på villkor?

I det läget vill Cloudflare erbjuda fler verktyg. Företaget beskriver dem som sätt att hantera AI-trafik, kontrollera åtkomst och i vissa fall skapa vägar till ersättning. Det tekniska mellanledet kan få betydelse både före åtkomst och när användning eller hänvisningar ska förstås.

Det betyder inte att Cloudflare redan kontrollerar AI-webben. Många andra aktörer bestämmer fortfarande över modeller, söktjänster, webbläsare, innehåll och betalningar. Men kombinationen av funktioner gör att företaget kan få en större praktisk roll i samspelet mellan innehållsägare och automatiserad trafik.

Från CDN till kontrollskikt

Cloudflare har vuxit genom att stå mellan en webbplats och den som försöker nå den. I den rollen kan företaget bland annat leverera innehåll snabbare, avvärja angrepp och filtrera trafik innan den når webbplatsens egen server.

NextNet använder här ordet kontrollskikt som en analytisk beskrivning: ett lager mellan publicisten, AI-crawlern eller agenten och innehållet. Det är inte ett officiellt Cloudflare-namn. Poängen är att flera beslut kan samlas i samma infrastruktur: identifiering av trafik, åtkomstregler, mätning och möjliga betalningsregler.

Search, Agent och Training

Den 1 juli 2026 lanserade Cloudflare nya val för AI-trafik. De gäller enligt företaget alla Cloudflare-kunder, även kunder på Free-nivån.

Cloudflare delar in trafiken i tre huvudkategorier. Search avser crawlers som samlar in eller indexerar innehåll för att senare kunna svara på frågor. Agent avser automatiserad aktivitet som sker i realtid på en persons vägnar, till exempel en agent som hämtar en sida eller använder en webbläsare. Training avser crawlers som samlar in innehåll för att träna eller finjustera en modell.

För var och en av kategorierna kan kunden välja att blockera överallt, blockera på sidor med annonser eller tillåta. Enligt Cloudflare används företagets automatiska annonsdetektering i alternativet som gäller sidor med annonser. De exakta kriterierna för den detekteringen har däremot inte kunnat verifieras i det här underlaget.

Den 15 september 2026 planerar Cloudflare att ändra standardinställningarna för nya domäner som ansluts till tjänsten. Då ska Agent och Training blockeras som standard på sidor där annonser visas, medan Search ska vara tillåtet. Det är viktigt att hålla isär datumen: den 1 juli var lanseringen av valen; den 15 september är det planerade datumet för de nya standarderna. Kunder kan välja andra inställningar.

En känslig del gäller crawlers med flera syften. Cloudflare skriver att crawlers som kombinerar Search och Training ska behandlas utifrån alla sina beteenden och att den mest restriktiva regeln då får effekt. Företaget nämner Googlebot, Applebot och BingBot som exempel.

Det kan ge en publicist tydligare kontroll, men också skapa svårbedömda följder. En inställning som ska begränsa träning kan samtidigt påverka åtkomst för en crawler som Cloudflare klassar som både sökning och träning. Det är inte belagt att en publicist därmed förlorar synlighet. Den faktiska effekten beror på kundens inställning, Cloudflares klassificering och den enskilda crawlerns sätt att arbeta.

Från Pay Per Crawl till Pay Per Use

Cloudflare har också försökt öppna en annan väg än det enkla valet mellan att släppa in eller blockera en crawler. Pay Per Crawl presenterades den 1 juli 2025 som en privat beta. I den modellen kan en innehållsägare för varje crawler välja att tillåta, ta betalt eller blockera, och ange ett enhetligt pris per begäran för hela domänen. Cloudflare uppger att bolaget i betan fungerar som den part som hanterar den kommersiella transaktionen och betalningsflödet, Merchant of Record, samt den tekniska infrastrukturen för loggning.

Pay Per Crawl är inte dokumenterad som en allmänt etablerad marknadsplats för alla webbplatser och AI-företag. Cloudflare har senare gjort anpassningsbara 402-svar tillgängliga för betalande kunder i AI Crawl Control. Ett sådant svar kan ange att åtkomst kräver kontakt eller licensiering, men innebär inte i sig en automatiserad betalning.

Den 1 juli 2026 beskrev Cloudflare nästa riktning som Pay Per Use. Bolaget skriver att en crawl är ett grovt mått: en sida kan hämtas en gång men användas i många sammanhang, eller hämtas ofta utan att få någon tydlig användning. Därför uppger Cloudflare att det genomför experiment med bland andra Ceramic.ai och You.com. Ceramic beskriver enligt Cloudflare en modell där publicister som väljer att delta kan ersättas när innehåll visas i sökresultat.

Cloudflare säger också att deltagande innehållsägare ska kunna få rapportering om bland annat frågor, sidor och snippets samt genomsnittlig placering i sökresultat. Det är företagets beskrivning av ett experiment och en målsättning, inte en färdig, generell ersättningsmodell. Det finns inte heller offentligt stöd för att betalning påverkar en AI-tjänsts källval, citering eller placering.

Monetization Gateway

Samma dag som Pay Per Use-experimenten presenterades annonserade Cloudflare också Monetization Gateway. Enligt bolaget ska tjänsten göra det möjligt att ta betalt för tillgångar som skyddas av Cloudflare, exempelvis webbsidor, dataset, API:er och MCP-verktyg. MCP, Model Context Protocol, är ett sätt för AI-system att koppla ihop sig med verktyg och datakällor.

Tjänsten beskrivs som en central plats för regler om betalning och åtkomst. Cloudflare uppger att regler ska kunna hanteras via dashboard, API och Terraform – ett verktyg för att beskriva infrastruktur i kod.

I den modellen spelar x402 en central roll. Cloudflare beskriver x402 som ett öppet betalningsprotokoll ovanpå vanliga HTTP-begäranden. När en resurs kräver betalning kan den svara med HTTP-statuskoden 402, Payment Required, och information om pris och betalningssätt. Köparen kan därefter göra en ny begäran med betalningsbevis.

Men Monetization Gateway ska beskrivas med försiktighet. Cloudflares egen presentation använder genomgående framtidsform och listar planerade funktioner. Det finns en waitlist för kunder. Det är därför en annonserad produkt under utveckling, inte en fullt etablerad marknadsplats där alla redan kan sälja eller köpa innehåll på samma sätt.

Större kontroll för publicister

För publicister kan en tydligare uppdelning mellan sökning, agentanvändning och träning göra det lättare att formulera egna regler för automatiserade besök.

Mätning kan också vara värdefull. Om en publicist bättre kan se vilken automatiserad trafik som kommer in och vilken hänvisning eller synlighet som kommer tillbaka, blir besluten om åtkomst mindre blinda.

OpenAI skriver att OAI-SearchBot behöver tillåtas om innehåll ska kunna ingå i ChatGPT-sökningens sammanfattningar och snippets. Den som vill undanta sidor från möjlig träning rekommenderas samtidigt att blockera GPTBot. Hänvisningstrafik från ChatGPT-sökning kan enligt OpenAI följas genom utm_source=chatgpt.com.

Det visar att olika typer av automatiserad åtkomst redan behöver hanteras var för sig. Men det beskriver inte hur Cloudflares klassificeringar skulle användas av OpenAI eller andra AI-bolag.

En ny koncentration av makt

Samma lösningar kan också göra en infrastrukturleverantör viktigare. Om Cloudflare klassificerar en crawler, tillämpar åtkomstregeln, visar mätningen och erbjuder betalningsflödet samlas flera avgörande funktioner i ett och samma lager.

Det behöver inte vara negativt i sig. En gemensam teknisk lösning kan förenkla för webbplatsägare och göra regler mer konsekventa. Men den väcker rimliga frågor om beroende. Hur transparent är klassificeringen när en crawler har flera syften? Hur kan en publicist upptäcka ett fel eller förstå en oväntad förändring i synlighet? Vem avgör vilka mätvärden som blir tillgängliga och hur de tolkas?

Risken är alltså inte ett fastställt resultat, utan en möjlig följd av koncentration: att publicister blir mer beroende av Cloudflares tolkning av trafik och av den data företaget väljer att visa. Det är en fråga som blir särskilt viktig om fler innehållsägare använder samma infrastruktur för både åtkomst och ersättning.

Frågorna berör gränsen mellan teknisk infrastruktur och redaktionell synlighet. Det saknas också verifierad aktuell dokumentation i detta underlag om hur ChatGPT-User ska placeras i samma struktur.

Vem sätter reglerna för den nya AI-webben?

Cloudflares satsningar pekar mot en webb där innehållsägaren kan skilja olika former av AI-användning åt. Det kan stärka publicisters förhandlingsläge och göra användningen av innehåll mer synlig.

Samtidigt blir Cloudflare en viktigare mellanhand när flera beslut samlas på samma plats. Det är därför den avgörande frågan inte bara är om en crawler ska få tillgång till en sida. Den handlar också om vem som definierar trafikens syfte, vilka följder en klassificering får och hur reglerna går att granska.

Utvecklingen kan ge publicister större handlingsutrymme. Men den kan också göra ett redan inflytelserikt infrastrukturföretag ännu mer centralt. Vilken av de två riktningarna som väger tyngst beror på hur öppna systemen blir, hur valen fungerar i praktiken och vilka svar Cloudflare och AI-företagen ger framöver.

Källor

• Cloudflare: Your site, your rules: new AI traffic options for all customers, 1 juli 2026.
• Cloudflare: Block AI Bots, uppdaterad 1 juli 2026.
• Cloudflare: Introducing pay per crawl, 1 juli 2025.
• Cloudflare: Introducing AI Crawl Control, 21 augusti 2025.
• Cloudflare: Making AI search smarter, 1 juli 2026.
• Cloudflare: Announcing the Monetization Gateway, 1 juli 2026.
• OpenAI: Publishers and Developers FAQ.
• OpenAI: ChatGPT Search.

💬 Vad tycker du?

Vilka regler behöver publicister kunna granska när AI-tjänster använder innehåll från webben?

Dela gärna dina tankar i kommentarerna.

📚 Relaterade artiklar