Web-Crawler der AI-Engines: GPTBot, Google-Extended, ClaudeBot im Überblick

GPTBot crawlt mit User-Agent "GPTBot/1.0", Google-Extended ist ein robots.txt-Token ohne eigenen Crawler, ClaudeBot identifiziert sich als "ClaudeBot/1.0", alle drei lassen sich getrennt steuern. Dazu kommen PerplexityBot, CCBot, FacebookBot und mindestens ein Dutzend weiterer AI-Crawler, die alle leicht unterschiedlich funktionieren. Wer hier den Überblick verliert, kontrolliert auch nicht, wer seine Inhalte für AI-Training und Live-Search nutzen darf.

Dieser Guide bringt Ordnung in den Crawler-Zoo. Du bekommst eine vollständige Liste der relevanten Bots, ihre User-Agents, was sie tun und wie du sie via robots.txt steuerst. Plus: ein Copy-Paste-Beispiel, das du heute deployen kannst und in 5 Minuten live ist.

Die Crawler-Landschaft ist 2026 dynamischer denn je. OpenAI hat in 18 Monaten drei verschiedene Bot-Architekturen ausgerollt, Google hat Google-Extended als separates Token eingeführt, Anthropic ergänzt ClaudeBot regelmäßig um Varianten. Wer einmal alle 3 Monate seine robots.txt prüft, ist gegen Überraschungen gut gewappnet.

OpenAI: GPTBot und ChatGPT-User

OpenAI betreibt zwei verschiedene Crawler mit klar getrennten Aufgaben. GPTBot sammelt Daten für das Training zukünftiger Modelle wie GPT-5 oder GPT-4-Folgeversionen. Wer das blockiert, verhindert, dass eigene Inhalte ins Training fließen, was viele Publisher und Verlage tun.

ChatGPT-User ist der Crawler hinter ChatGPT mit Web-Search. Wenn ein User in ChatGPT eine Frage stellt und das Modell live recherchiert, holt ChatGPT-User die Quellen ab. Blockiert man diesen Bot, wird man nicht mehr in ChatGPT-Antworten zitiert, auch wenn man Google-Ranking-Top-1 ist.

Wichtige Nuance: GPTBot und ChatGPT-User sind unabhängig. Du kannst GPTBot blockieren (kein Training-Use) und ChatGPT-User erlauben (Citations bleiben möglich). Genau diese Kombination wählen viele Premium-Publisher 2025/2026.

OpenAI hat zusätzlich OAI-SearchBot eingeführt, der das in ChatGPT integrierte Search-Feature speist. Die User-Agent-Struktur ist mittlerweile komplex genug, dass eine reine Blacklist-Strategie schnell zu Fehlern führt. Wer es ernst meint, sollte mindestens monatlich die Logs filtern und die robots.txt-Direktiven kontrollieren.

Google: Google-Extended und Googlebot

Google hat einen anderen Ansatz: Es gibt keinen eigenen "Gemini-Bot". Stattdessen nutzt Gemini den bestehenden Googlebot-Index. Google-Extended ist kein Crawler, sondern ein robots.txt-Token, eine Opt-Out-Flagge, mit der du Google signalisierst: "Du darfst meinen Content indexieren (Google Search), aber nicht für Gemini-Training nutzen."

Praktisch heißt das: Wer Google-Extended blockiert, fliegt nicht aus den Google-Suchergebnissen. Gemini-Citations sind allerdings nach unserem Beobachtungsstand weiterhin möglich, weil die Live-Search-Komponente von Gemini den normalen Index nutzt. Nur das Training für Gemini-Modelle wird ausgeschlossen.

Anthropic: ClaudeBot und Claude-User

Anthropic betreibt mehrere Crawler. ClaudeBot ist der Haupt-Training-Crawler, vergleichbar mit GPTBot. Claude-User ist der Live-Lookup-Crawler für Claude.ai-Antworten mit Web-Search. Anthropic-AI taucht in Logs als Variante auf und ist eng mit ClaudeBot verbunden.

Anthropic hat sich in der Vergangenheit eher zurückhaltend mit eigenen Web-Search-Features gezeigt. Aktuell nutzt Claude.ai mit Web-Search einen Brave-basierten Stack, weshalb auch BraveBot/Brave-Robot indirekt relevant ist, wenn du in Claude-Antworten zitiert werden willst.

Für Anthropic-Bots gilt eine Besonderheit: Sie respektieren robots.txt-Anweisungen sehr strikt. Wer ClaudeBot blockiert, sieht den Bot tatsächlich nicht mehr in den Server-Logs. Das ist nicht bei allen Wettbewerbern so gut umgesetzt. Anthropic veröffentlicht zudem einen offiziellen Bot-Identifier auf der eigenen Support-Site, der für Verifikations-Zwecke nützlich ist.

Perplexity, Common Crawl und die Restbande

Neben den großen drei gibt es weitere relevante Bots. PerplexityBot crawlt für Perplexity AI sowohl für Training als auch Live-Search. Perplexity hat 2024 Schlagzeilen gemacht, weil sie robots.txt-Anweisungen wohl ignoriert haben, inzwischen offiziell behoben, aber das Vertrauen ist bei einigen Publishern noch nicht zurück.

CCBot (Common Crawl) ist kein AI-Bot direkt, aber Common-Crawl-Daten gehen in fast alle LLM-Trainings ein, inklusive GPT-4, Claude, Llama. Wer CCBot blockiert, schließt sich faktisch von vielen Training-Datasets aus. Weiter: FacebookBot (Meta-AI/Llama), Bytespider (TikTok/ByteDance), Amazonbot (Alexa-Antworten).

Eine Sonderrolle spielt YouBot der Suchmaschine You.com, sowie diverse Mid-Tier-Player wie Anthropic-AI-Variants oder neue Newcomer wie xAI mit eigenen Crawlern. Die Liste wächst monatlich. Ein einfaches Log-Filter-Setup mit grep -i "bot" über die Access-Logs schafft hier schnell Überblick.

Eine sinnvolle robots.txt-Strategie

Es gibt drei Strategien, je nach Geschäftsmodell. Strategie A: Maximale Sichtbarkeit, alle Bots erlauben, weil Citations und Awareness zählen. Typisch für SaaS, B2B-Content, Tech-Blogs. Strategie B: Citations ja, Training nein, Live-Search-Bots erlauben (ChatGPT-User, PerplexityBot), Training-Bots blockieren (GPTBot, ClaudeBot, CCBot). Typisch für Premium-Publisher.

Strategie C: Vollständige Sperre, alles blockieren. Macht nur Sinn bei Paid-Content hinter einer Paywall, wo der Wert in der Exklusivität liegt. Risiko: Du wirst in AI-Suchen unsichtbar und verlierst langfristig Markenpräsenz.

# robots.txt, Strategie B: Citations ja, Training nein

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow:

User-agent: Googlebot
Disallow:

Google-Extended als Token (Training-Opt-Out)
User-agent: Google-Extended
Disallow: /

1. Audit: Schaue in die Server-Logs der letzten 30 Tage. Welche AI-Bot-User-Agents tauchen auf?
2. Entscheidung: Wähle Strategie A, B oder C basierend auf Geschäftsmodell.
3. Deployment: robots.txt updaten, Änderung in der Google Search Console testen.
4. Monitoring: Mit Logs oder Tools wie Cloudflare-Analytics verifizieren, dass die Direktiven greifen.

Was sich 2026 ändern wird

Der Crawler-Markt fragmentiert weiter. OpenAI, Anthropic, Google, Meta und neue Player wie xAI bringen alle eigene Bots, und alle wollen Trainings-Daten. Gleichzeitig entstehen mehr Live-Lookup-Crawler, weil immer mehr Apps eigene Mini-RAG-Stacks betreiben. Plan für 2026: robots.txt mindestens quartalsweise reviewen, neue User-Agents in Logs identifizieren und Strategie anpassen.

Tools wie Merkle Schema Generator helfen beim Schema, AEORadar und Otterly beim Citation-Monitoring, aber für die Crawler-Kontrolle reicht weiterhin robots.txt plus ein gutes Log-Monitoring. Wer monatlich 15 Minuten in das Thema steckt, hat die volle Kontrolle. Beginne mit Strategie B als Default und justiere nach 90 Tagen anhand der gesammelten Daten und der dann sichtbaren Citation-Entwicklung in den Engines.

Eine letzte Empfehlung: Dokumentiere deine Entscheidungen in einem internen Wiki. Wenn in 6 Monaten ein neuer Team-Lead fragt, warum bestimmte Bots geblockt sind, brauchst du keinen Archäologie-Modus. Das spart auch bei externen Audits viel Zeit.