Cloudflare og AI-bots: Hvad skal du tillade, og hvad bør du blokere?

Cloudflare kan bruges til at styre AI-tjenesters adgang til en hjemmeside. Redaktionel illustration.

Skal en AI-tjeneste kunne læse jeres produktbeskrivelser, vejledninger og faglige artikler? For mange virksomheder er svaret ja, hvis formålet er at hjælpe en potentiel kunde med at finde et relevant svar. Det samme svar er ikke nødvendigvis rigtigt, hvis indholdet bliver indsamlet til modeltræning.

Derfor bør beslutningen begynde med indholdets formål og virksomhedens ønsker. Først derefter giver det mening at vælge indstillinger i Cloudflare.

Denne guide viser, hvordan I undersøger AI-besøg, vælger en afgrænset adgangspolitik og kontrollerer, om den virker. Arbejdsgangen kan bruges sammen med den person, der vedligeholder hjemmesiden. Den kræver ikke, at marketingafdelingen selv skriver firewallregler.

Hvad er nyt i Cloudflares styring af AI-bots?

Når hjemmesidens trafik går gennem Cloudflare som proxy, ligger tjenesten mellem den besøgende og hjemmesidens server. AI Crawl Control giver et overblik over registreret AI-trafik og mulighed for at styre bestemte crawleres adgang. Det er ikke tilstrækkeligt, at domænets DNS blot administreres hos Cloudflare; den relevante trafik skal være proxied. Se Cloudflares forudsætninger for AI Crawl Control↗.

Den 21. august 2026 annoncerede Cloudflare Bot Preference Sync. Funktionen skal afspejle de valgte præferencer for AI-kategorier i den robots.txt-fil, hjemmesiden viser omverdenen. Den bygger videre på muligheder for særskilt at håndtere Search, Agent og Training, som Cloudflare oplyser at have lanceret 1. juli 2026.

Annonceringen varslede adgang på alle abonnementer i den følgende uge. Den dokumenterer lanceringen og den planlagte udrulning; kontrollér den konkrete adgang og eventuelle aktiveringsbeskeder på jeres konto. Se Cloudflares annoncering af Bot Preference Sync↗.

For virksomheden er den praktiske opgave at få beslutning, offentlig instruktion og teknisk håndhævelse til at hænge sammen. Hvis én medarbejder retter robots.txt, mens en anden ændrer sikkerhedsreglerne, bør begge ændringer indgå i samme kontrol.

Tre typer AI-besøg, som I bør skelne mellem

"AI-bot" er en bred betegnelse. Begynd med at undersøge, hvad den konkrete bot bruges til, og hvem der driver den.

OpenAI beskriver eksempelvis tre forskellige identiteter. OAI-SearchBot bruges til søgning i ChatGPT. GPTBot indsamler indhold, der kan bruges til at træne generative AI-modeller. ChatGPT-User bruges til visse besøg, som udløses af brugerhandlinger; det er ikke en automatisk crawler, og robots.txt-regler gælder ikke nødvendigvis for disse besøg.

OpenAI oplyser, at indstillingerne for de forskellige bots er uafhængige. Adgang for OAI-SearchBot kan derfor kombineres med en instruktion om at afvise GPTBot. Se OpenAIs dokumentation om bots↗.

Brug følgende spørgsmål, når I skal omsætte formålet til en beslutning:

Kortlægningen gælder den enkelte bot. Antag ikke, at alle udbydere organiserer sig som OpenAI. Nogle samler flere anvendelser bag samme identitet, hvilket kan gøre et rent skel mellem søgning og træning vanskeligere. Cloudflare beskriver denne udfordring som mixed-use crawlers i annonceringen om botpræferencer↗.

Teknisk adgang er desuden kun én del af arbejdet med synlighed. Den bredere indholdsopgave er beskrevet i vores guide til Google AI Overviews og AI Mode.

Robots.txt og teknisk blokering har forskellige opgaver

En robots.txt-fil ligger normalt på hjemmesidens rodadresse, eksempelvis https://eksempel.dk/robots.txt. Den fortæller understøttende crawlere, hvilke områder de må hente.

Filen er offentlig og fungerer ikke som adgangskontrol. En bot kan ignorere instruktionerne. Google understreger også, at en URL, der er blokeret for crawling, stadig kan optræde i søgeresultater, hvis Google kender den fra andre steder. Se Googles introduktion til robots.txt↗.

Et illustreret eksempel på en instruktion til GPTBot er:

User-agent: GPTBot
Disallow: /

Eksemplet beder den pågældende bot om ikke at hente indhold på hjemmesiden. Det er ikke en færdig robots.txt-fil til jeres virksomhed. Eksisterende regler og andre botgrupper skal indgå i vurderingen, før filen ændres. Er robots.txt og indeksering nyt land, kan I begynde med vores guide til teknisk SEO.

En firewallregel kan derimod afvise en forespørgsel, som rammer reglen. Cloudflares WAF er en firewall til webtrafik, og AI Crawl Controls blokeringer bygger på WAF-regler. Det tekniske resultat afhænger derfor af både identifikation og den samlede regelbehandling. Se Cloudflares beskrivelse af samspillet med WAF↗.

Hold også indeksering og fortrolighed adskilt. Hvis en side ikke skal indekseres af Google, skal Google kunne læse dens noindex-instruktion. En samtidig crawlblokering kan forhindre det. Private kundeområder kræver egentlig adgangskontrol, eksempelvis login. Robots.txt er hverken et login eller en hemmelig liste over sider. Det fremgår af Googles vejledning om robots.txt og dens begrænsninger↗.

Undersøg først, hvilke besøg hjemmesiden modtager

Begynd med observation. Udpeg én person til at samle data og én til at vurdere de tekniske regler. Det kan være den samme person, men ansvaret skal være tydeligt.

Åbn AI Crawl Control for det rigtige domæne. Undersøg en navngiven crawler, den registrerede operatør, de besøgte værtsnavne og URL-stier samt den valgte periode. Skeln eksempelvis mellem besøg på virksomhedens artikler og på dens produktkatalog.

Gratisabonnementet giver adgang til grundlæggende styring, men har begrænsninger. Cloudflares startguide beskriver blandt andet 24 timers historik for gratis adgang og identifikation baseret på user-agent-strenge. Mere avanceret botidentifikation og udvidet historik afhænger af abonnement og tilvalg. Se funktioner og abonnementsforskelle i startguiden↗.

Vælg derfor en kontrolrutine, som passer til jeres datavindue. Hvis historikken er kort, bør den ansvarlige gemme relevante observationer løbende. Ellers risikerer I at mangle sammenligningsgrundlaget, når en ændring skal vurderes. Har I i forvejen server-side tracking, kan serverlogs og målinger supplere Cloudflares eget datavindue.

Lav en enkel registrering for hver bot og sidegruppe:

• Dato og klokkeslæt for observationen.
• Domæne, underdomæne og de undersøgte URL'er.
• Botnavn, operatør og grundlag for identifikationen.
• Ønsket adgang og den aktuelle indstilling.
• Observeret HTTP-svar og eventuelt regeltræf.
• Ansvarlig person og tidspunkt for opfølgning.

Undgå at kalde alle mislykkede besøg for blokeringer. Cloudflare skelner mellem succesfulde svar, omdirigeringer, klientfejl og serverfejl. En fejlregistrering kræver derfor nærmere undersøgelse. Se Cloudflares forklaring af trafikmålingerne↗.

Et tomt udsnit er heller ikke dokumentation for, at adgangen virker. Det kan blot betyde, at den undersøgte bot ikke har besøgt de valgte sider i perioden.

Vælg adgang efter virksomhedens formål

Der findes ikke én indstilling, der passer til alle virksomheder. Følgende tre situationer er tænkte eksempler, som viser forskellige beslutninger. De er ikke kundecases eller dokumenterede resultater.

Eksempel 1 Webshoppen vil gøre produktviden tilgængelig

En webshop sælger reservedele og har offentlige vejledninger om kompatibilitet. Den vil gerne give potentielle kunder mulighed for at finde den rigtige del gennem AI-søgning.

Virksomheden vælger at undersøge adgang for relevante søgebots og brugerinitierede besøg til produkt- og vejledningssider. Modeltræning behandles som en særskilt beslutning. Ordrehistorik, kundedata og interne indkøbspriser forbliver beskyttet af den eksisterende adgangskontrol.

Piloten kan bestå i at følge en lille gruppe vejledninger og nogle repræsentative produktsider. Kontrollen skal vise, om de ønskede besøg får brugbart offentligt indhold, og om almindelige kunder fortsat kan søge, lægge varer i kurven og gennemføre køb.

En mulig gevinst er bedre teknisk tilgængelighed for de ønskede tjenester. Om det fører til flere salg, skal vurderes særskilt på faktiske besøg og ordrer.

Eksempel 2 Servicevirksomheden vil understøtte kvalificerede henvendelser

Et installationsfirma beskriver offentligt, hvilke opgaver det løser, hvilke områder det dækker, og hvordan et projekt begynder. Virksomheden ønsker, at en potentiel kundes assistent kan læse disse oplysninger.

Her kan en afgrænset beslutning være at give de relevante søge- og assistentbesøg adgang til ydelsessiderne. Firmaet tager særskilt stilling til træningsbots og undlader at bruge offentlige botregler som beskyttelse af tilbud eller kundeprojekter.

Kontrollen bør omfatte selve ydelsessiderne og kontaktforløbet. Hvis en sikkerhedsændring samtidig gør formularen vanskelig at bruge, er adgangen ikke håndteret tilfredsstillende, selv om crawleren kan hente teksten.

Marketingansvarlig og udvikler kan afslutte piloten med en fælles status: Hvilke sider skal være tilgængelige, hvilke besøg er observeret, og er der tegn på relevante henvendelser?

Eksempel 3 Udgiveren vil vurdere forskellige anvendelser af fagligt indhold

En virksomhed udgiver både gratis fagartikler og en betalt analyse. Den ønsker, at de åbne artikler kan findes, mens den betalte analyse kræver abonnement.

Udgiveren kan vælge at understøtte relevante søgebesøg og samtidig ønske at afvise indsamling til modeltræning. Brugerinitierede besøg skal vurderes ud fra, hvilket offentligt materiale virksomheden vil stille til rådighed. Adgang til abonnementsindhold afgøres fortsat af den faktiske betalings- og loginløsning.

Start med at kontrollere, præcis hvilken tekst en ikke-indlogget besøgende får. En generel botindstilling løser ikke problemet, hvis en betalt rapport allerede ligger frit tilgængelig på en offentlig URL.

Eksemplet viser, hvorfor indholdsmodel, adgangskontrol og botpolitik skal vurderes sammen. Valget skal passe til det materiale, virksomheden faktisk leverer.

Sådan gennemfører I en afgrænset ændring

En lille pilot behøver ikke begynde med en ændring. Den første leverance kan være en liste over ønsket adgang og de nuværende forhold. Når der er grundlag for at ændre noget, kan I følge disse seks trin.

1 Gem udgangspunktet og aftal, hvad der skal lykkes

Gem den nuværende robots.txt og dokumentér relevante indstillinger og regler. Notér tidspunktet. Aftal derefter et konkret mål, eksempelvis at en bestemt søgebot skal kunne hente offentlige vejledninger uden at ændre adgangen til kundeområdet.

Udpeg den person, der kan rulle ændringen tilbage. Det gør det muligt at handle hurtigt, hvis en vigtig funktion bliver påvirket.

2 Afklar, hvor indstillingen faktisk gælder

En analyse filtreret til /guides/ betyder ikke, at en ændring kun gælder denne mappe. Skeln mellem de sider, I observerer, og det område, reglen teknisk omfatter.

Cloudflare beskriver mulighed for at udvide den underliggende WAF-regel med blandt andet stibaserede undtagelser. Det kræver, at regeludtrykket faktisk afgrænser trafikken korrekt. Få den tekniske ansvarlige til at kontrollere dette, før en domæneomfattende indstilling bruges til en lokal pilot. Se Cloudflares vejledning om tilpasning af WAF-reglen↗.

3 Vælg den konkrete bot og den ønskede handling

Brug operatørens dokumentation og de aktuelle muligheder på kontoen. I crawlerstyringen kan handlingen eksempelvis være Allow eller Block. Cloudflare beskriver disse kontroller i vejledningen til at administrere AI-crawlere↗.

Skriv også begrundelsen ned. "Offentlige installationsvejledninger skal kunne findes via søgning" er lettere at vedligeholde end en ubeskrevet liste over tilladelser.

4 Gennemgå robots.txt og eventuel synkronisering

Hent den robots.txt-fil, som faktisk bliver leveret offentligt, og sammenhold den med beslutningen. Hvis I bruger Bot Preference Sync, skal I være opmærksomme på, at funktionen arbejder med kategoripræferencer og ikke direkte aflæser komplekse individuelle WAF-regler. Se Cloudflares beskrivelse af synkroniseringens afgrænsning↗.

Aftal, hvem der fremover ejer filen og indstillingerne. Ellers kan en senere manuel ændring skabe en ny uoverensstemmelse.

5 Kontrollér de vigtigste sider og funktioner

Gennemgå de offentlige sider, som piloten omfatter, samt et lille udvalg af kritiske funktioner. Det kan være navigation, søgning, formular og køb. Kontrollér både det tekniske svar og det indhold, der faktisk bliver leveret.

Hvis en test fejler, undersøg den konkrete årsag. Lad den tekniske ansvarlige rette den relevante regel frem for at åbne et større område, end opgaven kræver.

6 Følg rigtige besøg og afslut piloten med en beslutning

Registrér faktiske botbesøg efter ændringen, når de forekommer. Sammenhold observationerne med udgangspunktet, og notér, hvad der fortsat er uafklaret.

Piloten kan afsluttes med én af tre beslutninger: Behold ændringen, tilpas den, eller gendan den tidligere opsætning. Udvid først, når den afgrænsede opgave er forstået.

Kontrollér den samlede adgang og mål resultatet

Allow i AI Crawl Control tilsidesætter ikke andre WAF-blokregler. En bot kan derfor være tilladt ét sted og alligevel blive afvist. Cloudflare beskriver også, at tidligere regelbehandling kan påvirke, hvilke forespørgsler der overhovedet når AI Crawl Control. Se Cloudflares dokumentation om WAF og AI Crawl Control↗.

Brug denne kontrolplan efter en ændring:

En test med et selvvalgt user-agent-navn beviser ikke, at en rigtig bot har fået adgang. Til OpenAIs bots findes offentliggjorte IP-oplysninger, som kan indgå i en teknisk verifikation. Se OpenAIs oplysninger om botidentifikation↗. Lad udvikleren skelne mellem syntetiske tests og observerede, verificerede besøg i rapporteringen.

Mål derefter på tre forskellige niveauer. Botforespørgsler hjælper jer med at undersøge adgang. Henvisningsbesøg viser registrerede besøg fra AI-tjenester. Henvendelser og køb viser den målte forretningsværdi. Cloudflares henvisningsrapporter kræver ifølge dokumentationen et betalt abonnement; de er adskilt fra crawlerforespørgslerne. Se oversigten over trafik- og henvisningsmålinger↗.

Brug de konverteringsdata, som virksomhedens eksisterende tracking og analyseopsætning faktisk understøtter. Flere tilladte forespørgsler er ikke i sig selv dokumentation for et løft i salget. Vil I også undersøge selve omtalen, kan I arbejde videre med måling af brandets synlighed i ChatGPT og Claude.

Vil I have hjælp til at undersøge, om de rigtige bots har adgang til jeres hjemmeside? Manids arbejder med teknisk SEO og kan tage udgangspunkt i de konkrete sider og regler, som har betydning for jeres synlighed.