Blokerer din hjemmeside AI-søgemaskiner?
Senest opdateret
Opdateret november 2026.
Mange hjemmesider blokerer AI-søgemaskiner uden at vide det – via en linje i robots.txt, en firewall-regel eller en indstilling hos Cloudflare. Hvis du vil anbefales i ChatGPT, Perplexity og Claude, skal deres søge-crawlere (OAI-SearchBot, PerplexityBot, Claude-SearchBot) have adgang. Du kan godt sige nej til, at dit indhold bruges til træning (GPTBot, ClaudeBot, Google-Extended) og stadig blive vist i AI-svar.
Træning og søgning er to forskellige ting
AI-firmaerne bruger forskellige crawlere til forskellige formål:
- Træningscrawlere henter indhold, der kan bruges til at træne fremtidige AI-modeller. At blokere dem påvirker ikke, om du bliver vist i søgesvar.
- Søgecrawlere indekserer sider, så de kan vises og linkes til i AI-assistentens svar. Blokerer du dem, forsvinder du fra de svar.
- Bruger-fetchere henter en side, når en bruger beder assistenten om det. De følger ikke altid robots.txt, fordi en person har bedt om besøget.
Hvis du blokerer det hele med én regel, mister du altså også synligheden.
De vigtigste crawlere
Navnene herunder er tjekket mod de officielle dokumentationer i november 2026. De ændrer sig af og til, så tjek kilderne, før du ændrer noget.
OpenAI (dokumentation)
GPTBot– træning. Blokering betyder, at indholdet ikke skal bruges til at træne modellerne.OAI-SearchBot– søgning i ChatGPT. Blokerer du den, bliver siden ikke vist i ChatGPTs søgesvar.ChatGPT-User– besøg, når en bruger beder om det. Robots.txt gælder ikke nødvendigvis.
Anthropic (dokumentation)
ClaudeBot– træning.Claude-SearchBot– søgning. Blokering mindsker synligheden i Claudes søgesvar.Claude-User– besøg på vegne af en bruger.
Perplexity (dokumentation)
PerplexityBot– viser og linker sider i Perplexitys søgeresultater. Bruges ifølge Perplexity ikke til træning.Perplexity-User– besøg, når en bruger spørger. Ignorerer generelt robots.txt.
Google (dokumentation)
Googlebot– Google Søgning, og dermed også AI Overviews og AI Mode, som bygger på søgeindekset. Bloker den aldrig, hvis du vil findes på Google.Google-Extended– ikke en selvstændig crawler, men et token i robots.txt, der styrer, om dit indhold må bruges til at træne Gemini og til at give Gemini-svar baggrundsviden. Google skriver, at det ikke påvirker din placering eller tilstedeværelse i Google Søgning.
Microsoft
Bingbot– Bings søgeindeks, som Microsoft Copilot bygger på. Blokerer du Bingbot, bliver du også svær at finde i Copilot.
Eksempel på robots.txt
Vil du tillade søgning, men sige nej til træning, kan det se sådan ud:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /
Søgecrawlerne (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot) falder ind under User-agent: * og har dermed adgang. Overvej om du overhovedet vil blokere træning – det er et valg, ikke et krav.
Cloudflare og andre firewalls
Robots.txt er kun den ene halvdel. Bruger du Cloudflare, så tjek under Security → Settings → Bot traffic → AI Crawler and Agent access policies. Her kan du sætte en regel for hver af de tre typer: Search, Agent og Training. Ifølge Cloudflares dokumentation er standarden “Allow” for alle tre, men indstillingen kan være ændret ved opsætningen – af dig, dit bureau eller en tidligere udvikler.
Hvis Search eller Agent står til “Block”, kan ChatGPT og Perplexity ikke læse din side, uanset hvad der står i robots.txt. Det samme gælder sikkerhedsplugins i WordPress og andre “bot-beskyttelser” hos dit webhotel.
Sådan tjekker du det
- Åbn din robots.txt på
ditdomæne.dk/robots.txt. Kig efterDisallow: /underUser-agent: *eller under navnene ovenfor. - Tjek Cloudflare eller dit webhotel for AI-bot-blokering, “bot fight mode” og lignende.
- Tjek dine serverlogs for besøg fra
OAI-SearchBot,PerplexityBotogClaude-SearchBot. Kommer de aldrig forbi, eller får de fejlkoder (403), er noget blokeret. - Tjek Google Search Console med URL-inspektion, at Googlebot kan hente siden.
- Spørg AI’en. Bed ChatGPT eller Perplexity om at opsummere en bestemt side på dit domæne. Kan de ikke, er det et tegn.
Det handler ikke kun om adgang
Fri adgang er en forudsætning, ikke en garanti. Når crawlerne kan læse siden, skal indholdet også svare klart på, hvad du laver og hvor. Læs Sådan bliver din virksomhed anbefalet af ChatGPT.
BusinessVeno, som vi har udviklet, viser, om AI-assistenterne nævner din virksomhed, og peger på tekniske problemer, der holder dem ude. Prøv det gratis AI-tjek uden konto, eller læs om vores arbejde med GEO og AI-synlighed og hosting og drift.
Lad os tage en snak om din hjemmeside
Fortæl kort om din virksomhed, så vender vi tilbage med en vurdering og et fast pristilbud. Det er gratis og uforpligtende.