robots.txt für AI-Crawler: Was du GPTBot, ClaudeBot und Co erlauben solltest

Mit der robots.txt entscheidest du, ob deine Inhalte in ChatGPT, Claude, Gemini und Perplexity sichtbar werden oder nicht. GPTBot crawlt mit User-Agent "GPTBot/1.0", Google-Extended ist ein robots.txt-Token ohne eigenen Crawler, ClaudeBot identifiziert sich als "ClaudeBot/1.0", alle drei lassen sich getrennt steuern. Wer das ohne Strategie macht, verbaut sich Sichtbarkeit.

Warum AI-Crawler eine eigene Klasse sind

Klassische Suchmaschinen-Crawler wie Googlebot, Bingbot oder DuckDuckBot indexieren Inhalte für die organische Suche. Wer Googlebot blockiert, verliert Rankings, eine Entscheidung mit klarem Trade-off. AI-Crawler dagegen indexieren Inhalte für Training, Antwortgenerierung und Citation. Die Entscheidung über Erlauben oder Blockieren ist mehrdimensional.

Manche AI-Crawler werden für Trainingsdaten genutzt, manche für Retrieval-Augmented-Generation (RAG), manche für beides. OpenAI unterscheidet etwa zwischen GPTBot (Training), ChatGPT-User (User-initiated retrieval) und OAI-SearchBot (für SearchGPT). Wer das nicht trennt, blockiert entweder zu viel oder zu wenig.

Die strategische Frage lautet: Willst du in AI-Antworten zitiert werden, oder willst du verhindern, dass deine Inhalte als Trainingsdaten genutzt werden? Beides ist legitim, beides verlangt eine andere robots.txt-Konfiguration. Die häufigste Lösung für Content-Sites mit Wachstumsambitionen ist ein klar dokumentierter Mittelweg, Citation erlauben, Training selektiv steuern, sensible Bereiche konsequent ausnehmen.

Wichtig ist auch der zeitliche Horizont. Eine restriktive robots.txt heute kann morgen ungewollte Effekte haben, wenn neue Retrieval-Bots auftauchen oder bestehende ihre Funktion ändern. Eine quartalsweise Review der robots.txt im Abgleich mit den Anbieter-Dokumentationen von OpenAI, Anthropic, Google und Perplexity ist sinnvoll. So vermeidest du, dass deine Konfiguration zu einer Citation-Bremse wird, ohne dass du es merkst.

Die wichtigsten AI-Crawler im Detail

Aktuell existieren etwa 30 dokumentierte AI-Crawler, aber nur eine Handvoll davon ist für die meisten Sites relevant. Die folgende Übersicht zeigt die wichtigsten User-Agents und ihre Funktion. Quelle: jeweilige Anbieter-Dokumentation, Stand 2026.

Empfehlung: Permissive Baseline für Content-Sites

Für die meisten Publisher, Blogs und SaaS-Sites lautet die Empfehlung: Permissive Baseline. Das bedeutet, AI-Crawler grundsätzlich zu erlauben, sowohl für Training als auch für Retrieval, und nur sensible Bereiche wie /admin, /api oder /private auszuschließen. Der Grund ist einfach: Ohne Crawl-Erlaubnis keine Citation.

Sichtbarkeit in ChatGPT, Claude und Perplexity korreliert messbar mit der robots.txt-Konfiguration. Wer GPTBot blockiert, taucht in ChatGPT-Retrieval-Ergebnissen seltener auf. Wer ClaudeBot blockiert, verliert Sichtbarkeit in Claude-Antworten. Tools wie Otterly oder Profound zeigen diese Effekte rückwirkend.

Die Permissive Baseline hat einen weiteren Vorteil: Sie ist wartungsarm. Du musst nicht für jeden neuen AI-Crawler eine eigene Regel ergänzen, sondern verlässt dich auf den Default-Allow. Nur sensible Pfade, Admin-Bereiche, API-Endpoints, interne Dokumente, werden explizit gesperrt. Diese Logik skaliert mit dem schnellen Wachstum des AI-Crawler-Ökosystems und reduziert das Risiko, ungewollt Sichtbarkeit zu verlieren, wenn neue Bots wie Mistral-AI-Crawler oder regionale Anbieter auftauchen.

# Permissive Baseline (empfohlen für die meisten Sites)
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /api/

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: *
Disallow: /admin/
Disallow: /api/
Sitemap: https://example.com/sitemap.xml

Wann selektive Blockierung sinnvoll ist

Es gibt Konstellationen, in denen Blockierung sinnvoll oder sogar geboten ist. Paid-Content-Anbieter, Verlage mit Lizenzmodellen oder Sites mit hochsensiblen Inhalten haben legitime Gründe, AI-Training oder bestimmte Retrieval-Bots auszuschließen. Wichtig ist die saubere Differenzierung statt pauschaler Blockade.

Ein typisches Pattern: Training erlauben, aber nur für die kostenfreien Inhalte. Premium-Bereiche wie /paywall oder /members werden für alle AI-Crawler gesperrt. Wer Affiliate-Inhalte hat, kann auch /go oder /amazon ausschließen, weil diese URLs keinen redaktionellen Wert haben.

Für Verlage mit strengen Lizenzmodellen ist auch der umgekehrte Weg möglich: GPTBot und CCBot komplett blockieren (kein Training), aber ChatGPT-User und PerplexityBot erlauben (Retrieval mit Citation). Diese Konfiguration schützt die Trainingsdaten, hält aber die Marken-Sichtbarkeit aufrecht.

Wer mit Lizenzmodellen arbeitet, sollte die robots.txt-Strategie zusätzlich rechtlich flankieren. Klar formulierte Nutzungsbedingungen, die KI-Trainingsnutzung untersagen, sind in mehreren EU-Jurisdiktionen rechtlich relevant, sie schaffen einen Anspruchsgrund bei späteren Lizenzverhandlungen oder Klagen. Die robots.txt allein hat keine bindende Rechtswirkung, sondern ist nur ein Signal. In Kombination mit Nutzungsbedingungen und ggf. technischen Maßnahmen wird sie aber zum effektiven Werkzeug.

Restriktives Pattern: Verlags-Setup

Ein restriktives Pattern eignet sich für Sites, die Inhalte als Asset begreifen und Lizenzgebühren erwarten. Hier wird Training komplett blockiert, Retrieval-Crawling aber selektiv erlaubt. Diese Konfiguration funktioniert, weil die meisten AI-Anbieter die User-Agent-Differenzierung respektieren.

# Restriktives Verlags-Setup
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Retrieval-Bots erlauben für Citation in Antworten
User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin/

Häufige Konfigurationsfehler

Die folgenden Fehler tauchen in praktisch jedem zweiten Audit auf und sind innerhalb von Minuten korrigierbar. Wer diese fünf Punkte einmal sauber durchgeht, hat den Großteil der Hausaufgaben erledigt.

1. Wildcards "User-agent: *" mit Disallow / nutzen, ohne AI-Crawler vorher explizit zu erlauben
2. GPTBot oder ClaudeBot blockieren, ohne ChatGPT-User und OAI-SearchBot zu differenzieren
3. Google-Extended für einen Crawler halten, es ist nur ein Token, das Google selbst auswertet
4. Allow-Direktiven nutzen, ohne sicher zu sein, ob der jeweilige Crawler sie respektiert
5. robots.txt-Änderungen ohne Validator-Check live nehmen (Tools: TechnicalSEO, Sitebulb)

Unterm Strich: Strategie vor Syntax

Die robots.txt für AI-Crawler ist ein strategisches Werkzeug, kein technisches Detail. Wer ohne Plan blockiert, verbaut sich Sichtbarkeit. Wer ohne Plan erlaubt, verschenkt möglicherweise Lizenzpotenzial. Die richtige Antwort liegt fast immer in einer differenzierten Konfiguration mit klarer Unterscheidung zwischen Training und Retrieval.

Konkrete nächste Schritte: Aktuelle robots.txt mit dem Schema Markup Validator-Pendant TechnicalSEO robots.txt Tester prüfen, fehlende AI-Crawler-Regeln ergänzen, nach 30 Tagen Citation-Lift in Tools wie Otterly oder AEORadar messen. Wer diese Schleife etabliert, hat die robots.txt nicht nur sauber, sondern auch wirksam, und passt sie quartalsweise an die schnell wachsende Landschaft neuer AI-Crawler an, ohne den Überblick zu verlieren.