När AI-kontroll blir ett SEO-beslut

Read this article in English →

I den tidigare granskningen av Cloudflares AI-satsning beskrev NextNet hur företaget vill ge publicister fler regler för automatiserad trafik. Nu uppstår en mer konkret fråga: vad händer när en regel mot AI-träning möter en crawler som också används för sökning?

Cloudflare uppger att Googlebot klassas som både Search och Training. Google beskriver däremot Googlebot som crawlern för Google Search och erbjuder Google-Extended som en separat robots.txt-token för vissa AI-relaterade användningar. Skillnaden är dokumenterad. Den bevisar varken en konflikt mellan bolagen eller att en webbplats säkert förlorar ranking, men den kan göra åtkomstvalet till ett SEO-beslut.

Den nya frågan: AI-kontroll blir ett SEO-beslut

Cloudflares policyer ger kunden möjlighet att skilja mellan Search, Agent och Training. För publicisten kan det vara ett sätt att begränsa användning för modellträning utan att stänga dörren för allt automatiserat besök. Men kategorierna är Cloudflares beteendebeskrivning, och en crawler kan enligt företaget ha flera syften.

Vad förändras den 15 september?

Enligt Cloudflares produktdokumentation ska nya domäner från den 15 september 2026 få standarden att Training och Agent blockeras på sidor där annonser upptäcks, medan Search tillåts. Kunden kan göra andra val. Dokumentationen anger också att befintliga kunder kan välja bort de nya standarderna före datumet. För befintliga gratiskunder behöver den faktiska konfigurationen kontrolleras i Cloudflares gränssnitt, eftersom det offentliga underlaget inte räcker för att beskriva varje kontos slutliga inställningar.

Search, Agent och Training

Cloudflare beskriver Search som crawlers som samlar in eller indexerar innehåll för att senare svara på frågor, Agent som automatiserad aktivitet i realtid på en persons vägnar och Training som crawlers som samlar in innehåll för att träna eller finjustera en modell. Varje beteende kan enligt bolaget blockeras överallt, blockeras på sidor med annonser eller tillåtas.

Cloudflare klassar Googlebot som Search och Training

Cloudflare skriver att blandade crawlers som kombinerar Search och Training blockeras av konfigurationer som blockerar AI-träning. Googlebot nämns i Cloudflares material som ett exempel. När samma crawler har flera användningsområden tillämpar Cloudflare regler utifrån dessa beteenden. Det betyder inte att Google Search alltid blockeras, men det gör klassificeringen praktiskt viktig för den som väljer en restriktiv regel.

Google beskriver Googlebot som crawlern för Google Search

Google beskriver Googlebot som crawlern som håller resultaten i Google Search uppdaterade. Google uppger att blockering av Googlebot kan beröra Google Search och bland annat Discover, Images, Video och News. Samtidigt skiljer Google mellan crawling och indexering: crawling är hämtning och upptäckt, medan indexering är Googles efterföljande bearbetning av innehåll. Varken indexering eller ranking är garanterad för en viss sida.

Vad är Google-Extended?

Google-Extended är enligt Google en fristående produkt-token i robots.txt, inte en separat HTTP-user-agent. Den låter publicister styra om innehåll som Google crawlar får användas för framtida Gemini-modeller och vissa grounding-användningar. Google säger uttryckligen att Google-Extended inte påverkar inkludering eller ranking i Google Search.

Två olika beskrivningar av samma tekniska åtkomst

Cloudflare beskriver vilka användningsområden en crawler kan ha och tillämpar regler utifrån dessa beteenden. Google beskriver hur publicister kan styra användningen inom Googles egna produkter. För publicisten kan skillnaden ändå få praktiska konsekvenser för crawleråtkomst, synlighet och trafik. Det är en möjlig teknisk och strategisk motsättning, inte ett bevis på att någon av beskrivningarna är fel.

Crawling, indexering och ranking är inte samma sak

En blockering kan påverka möjligheten att hämta innehåll, men den fastslår inte på egen hand om en URL indexeras, visas eller rankar. Google beskriver sökning som flera steg och uppger att ranking görs programmässigt med många signaler. Därför går det inte att av detta underlag dra slutsatsen att en viss Cloudflare-inställning automatiskt orsakar en bestämd ranking- eller trafikförlust.

Cloudflares roll på infrastrukturnivå

NextNet använder begreppet kontrollskikt som en analytisk beskrivning, inte som Cloudflares produktnamn. När en leverantör både klassificerar trafik och erbjuder policyregler blir dess definitioner viktiga för kundens beslut. Den tidigare artikeln behandlade bredare betalningsmodeller; här är frågan snävare: vilken insyn får publicisten innan en klassificering får konsekvenser?

Cloudflare–OpenAI-piloten

Cloudflare och OpenAI uppgav den 8 juli 2026 att de startat en forskningspilot för att undersöka om nätverkssignaler från deltagande webbplatser kan hjälpa AI-söktjänster att hitta och indexera relevant innehåll. Cloudflare nämner innehållsfärskhet, trafikkvalitet och faktiska sidändringar. Det är bolagens beskrivning av en pilot. Det offentliga materialet förklarar inte fullt ut urval, exakta signaler, datahantering, likvärdig tillgång för andra leverantörer eller eventuell produktionspåverkan.

Vad webbplatsägare behöver kontrollera före den 15 september

1. Vilka Cloudflare-policyer som är aktiva för Search, Agent och Training.
2. Om annonsdetektering används och vilka sidor som omfattas.
3. Hur blandade crawlers, inklusive Googlebot, visas och behandlas i det egna kontot.
4. Robots.txt-regler för Googlebot och Google-Extended som två skilda kontroller.
5. Baslinjer i Search Console och annan analys före en ändring, utan att tolka enskilda variationer som bevis på orsak.

Frågorna NextNet skickade – och som fortfarande saknar svar

NextNet skickade konkreta frågor till Cloudflare och OpenAI den 31 juli 2026. Cloudflare fick mejlet klockan 03.15 och OpenAI klockan 03.17. Båda bolagen ombads svara senast den 4 augusti klockan 17.00 CEST och erbjöds möjlighet att begära ytterligare tid. Frågorna besvarades inte inom den angivna tidsfristen. NextNet publicerar därför samtliga frågor så att läsaren själv kan bedöma vilka uppgifter som fortfarande saknas.

Syftet är inte att dra slutsatser om bolagens motiv, utan att ge läsare och publicister möjlighet att själva bedöma vad som fortfarande är oklart.

Frågor till Cloudflare

1. Hur avgör Cloudflare om en crawler klassificeras som Search, Agent eller Training, särskilt när samma crawler kan ha flera syften?
2. Finns det en offentlig process där crawleroperatörer eller webbplatsägare kan invända mot, rätta eller överklaga en klassificering? Om ja, vilken är processen och vilken svarstid förväntas?
3. Hur väljs deltagande webbplatser ut till forskningspiloten med OpenAI, och väljer varje webbplatsägare aktivt att delta?
4. Vilka exakta signaler lämnas till OpenAI genom piloten? Omfattar de URL:er, innehållsfärskhet, sidändringar, mått på trafikkvalitet, rå trafikdata, IP-adresser, besöksinformation eller användarfrågor?
5. Kommer andra leverantörer av AI-sökning och svarsmotorer att erbjudas tillgång till samma signaler, tekniska gränssnitt och kommersiella villkor som OpenAI? Vilka kriterier måste ett företag uppfylla för att delta?
6. Kan betalning, ett kommersiellt avtal eller deltagande i en pilot påverka prioritet för crawling, indexering, källval, citeringsfrekvens eller placering i AI-genererade sökresultat?

Fördjupande fråga: Hur skiljer Cloudflare mellan betald åtkomst till innehåll och varje möjlig påverkan på ranking eller källprioritering?

Frågor till OpenAI

1. Vilka exakta signaler får OpenAI från Cloudflare genom piloten? Omfattar dessa innehållsfärskhet, sidändringar, information om trafikkvalitet, URL:er, trafikdata eller annan metadata?
2. Cloudflare uppger att OpenAI bidrar med verkliga användarfrågor för tester. Hur används dessa frågor, och delas de direkt med Cloudflare? Är de aggregerade, avidentifierade eller anonymiserade?
3. Används någon information från piloten för modellträning eller finjustering, eller är den strikt begränsad till forskning om sökning, crawling och indexering?
4. Påverkar piloten för närvarande ChatGPT Search i produktion, inklusive crawlprioritet, indexering, källval, citering eller resultatplacering?
5. Kan betalning till en publicist, ett kommersiellt avtal eller deltagande i ett partnerprogram påverka om en källa crawlas, indexeras, citeras eller prioriteras?
6. Hur skiljer OpenAI mellan pay-to-access och pay-to-rank? Kan ni bekräfta om betalning för crawleråtkomst ger någon fördel för ranking, citering eller placering?
7. Är OpenAI:s deltagande exklusivt, eller stöder OpenAI att samma Cloudflare-signaler och tekniska gränssnitt görs tillgängliga för konkurrerande AI-sök- och svarsmotorleverantörer på likvärdiga villkor?
8. Om en publicist av misstag blockerar OAI-SearchBot och senare tar bort blockeringen, hur snabbt kan innehållet åter bli kvalificerat för upptäckt, sammanfattningar, snippets och citeringar?

Slutsats: kontroll kräver insyn i konsekvenserna

Cloudflares regler kan ge publicister mer handlingsutrymme. Men när en crawler kan beskrivas på olika sätt av infrastrukturen och av crawleroperatören behöver inställningarna granskas som mer än ett enkelt ja eller nej till AI. Det som saknas offentligt är just den insyn som gör följderna förutsägbara.

💬 Vad tycker du?

Vilken insyn ska en publicist kunna kräva innan en crawlerklassificering kan påverka åtkomst och synlighet?

Dela gärna dina tankar i kommentarerna.

📚 Relaterade artiklar