Blokerer din hjemmeside AI-søgemaskiner?

Senest opdateret

Opdateret november 2026.

Mange hjemmesider blokerer AI-søgemaskiner uden at vide det – via en linje i robots.txt, en firewall-regel eller en indstilling hos Cloudflare. Hvis du vil anbefales i ChatGPT, Perplexity og Claude, skal deres søge-crawlere (OAI-SearchBot, PerplexityBot, Claude-SearchBot) have adgang. Du kan godt sige nej til, at dit indhold bruges til træning (GPTBot, ClaudeBot, Google-Extended) og stadig blive vist i AI-svar.

Træning og søgning er to forskellige ting

AI-firmaerne bruger forskellige crawlere til forskellige formål:

  • Træningscrawlere henter indhold, der kan bruges til at træne fremtidige AI-modeller. At blokere dem påvirker ikke, om du bliver vist i søgesvar.
  • Søgecrawlere indekserer sider, så de kan vises og linkes til i AI-assistentens svar. Blokerer du dem, forsvinder du fra de svar.
  • Bruger-fetchere henter en side, når en bruger beder assistenten om det. De følger ikke altid robots.txt, fordi en person har bedt om besøget.

Hvis du blokerer det hele med én regel, mister du altså også synligheden.

De vigtigste crawlere

Navnene herunder er tjekket mod de officielle dokumentationer i november 2026. De ændrer sig af og til, så tjek kilderne, før du ændrer noget.

OpenAI (dokumentation)

  • GPTBot – træning. Blokering betyder, at indholdet ikke skal bruges til at træne modellerne.
  • OAI-SearchBot – søgning i ChatGPT. Blokerer du den, bliver siden ikke vist i ChatGPTs søgesvar.
  • ChatGPT-User – besøg, når en bruger beder om det. Robots.txt gælder ikke nødvendigvis.

Anthropic (dokumentation)

  • ClaudeBot – træning.
  • Claude-SearchBot – søgning. Blokering mindsker synligheden i Claudes søgesvar.
  • Claude-User – besøg på vegne af en bruger.

Perplexity (dokumentation)

  • PerplexityBot – viser og linker sider i Perplexitys søgeresultater. Bruges ifølge Perplexity ikke til træning.
  • Perplexity-User – besøg, når en bruger spørger. Ignorerer generelt robots.txt.

Google (dokumentation)

  • Googlebot – Google Søgning, og dermed også AI Overviews og AI Mode, som bygger på søgeindekset. Bloker den aldrig, hvis du vil findes på Google.
  • Google-Extended – ikke en selvstændig crawler, men et token i robots.txt, der styrer, om dit indhold må bruges til at træne Gemini og til at give Gemini-svar baggrundsviden. Google skriver, at det ikke påvirker din placering eller tilstedeværelse i Google Søgning.

Microsoft

  • Bingbot – Bings søgeindeks, som Microsoft Copilot bygger på. Blokerer du Bingbot, bliver du også svær at finde i Copilot.

Eksempel på robots.txt

Vil du tillade søgning, men sige nej til træning, kan det se sådan ud:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Søgecrawlerne (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot) falder ind under User-agent: * og har dermed adgang. Overvej om du overhovedet vil blokere træning – det er et valg, ikke et krav.

Cloudflare og andre firewalls

Robots.txt er kun den ene halvdel. Bruger du Cloudflare, så tjek under Security → Settings → Bot traffic → AI Crawler and Agent access policies. Her kan du sætte en regel for hver af de tre typer: Search, Agent og Training. Ifølge Cloudflares dokumentation er standarden “Allow” for alle tre, men indstillingen kan være ændret ved opsætningen – af dig, dit bureau eller en tidligere udvikler.

Hvis Search eller Agent står til “Block”, kan ChatGPT og Perplexity ikke læse din side, uanset hvad der står i robots.txt. Det samme gælder sikkerhedsplugins i WordPress og andre “bot-beskyttelser” hos dit webhotel.

Sådan tjekker du det

  1. Åbn din robots.txt på ditdomæne.dk/robots.txt. Kig efter Disallow: / under User-agent: * eller under navnene ovenfor.
  2. Tjek Cloudflare eller dit webhotel for AI-bot-blokering, “bot fight mode” og lignende.
  3. Tjek dine serverlogs for besøg fra OAI-SearchBot, PerplexityBot og Claude-SearchBot. Kommer de aldrig forbi, eller får de fejlkoder (403), er noget blokeret.
  4. Tjek Google Search Console med URL-inspektion, at Googlebot kan hente siden.
  5. Spørg AI’en. Bed ChatGPT eller Perplexity om at opsummere en bestemt side på dit domæne. Kan de ikke, er det et tegn.

Det handler ikke kun om adgang

Fri adgang er en forudsætning, ikke en garanti. Når crawlerne kan læse siden, skal indholdet også svare klart på, hvad du laver og hvor. Læs Sådan bliver din virksomhed anbefalet af ChatGPT.

BusinessVeno, som vi har udviklet, viser, om AI-assistenterne nævner din virksomhed, og peger på tekniske problemer, der holder dem ude. Prøv det gratis AI-tjek uden konto, eller læs om vores arbejde med GEO og AI-synlighed og hosting og drift.