KI-Suche erlauben und Modelltraining blockieren
Suche, Training und Abruf sind unterschiedliche Zwecke. Eine Policy kann pro User-Agent entscheiden, statt alle Produkte per Wildcard gleich zu behandeln.
Ordnen Sie jeden dokumentierten User-Agent der Suche, dem Training oder dem nutzergesteuerten Abruf zu.
Mit dem Zweck beginnen
Ordnen Sie jeden dokumentierten User-Agent der Suche, dem Training oder dem nutzergesteuerten Abruf zu.
Ein Such-Token kann erlaubt, ein Trainings-Token blockiert und ein Nutzer-Fetcher separat bewertet werden. Dokumentation und Prüfdatum gehören dazu.
Explizite Gruppen testen
Schreiben Sie spezifische Gruppen, rufen Sie die Live-Datei ab und testen Sie Beispielpfade.
Ein Muster kann OAI-SearchBot erlauben und GPTBot blockieren. Die reale Entscheidung hängt von Rechten, Verträgen und Beratung ab.
Grenzen nennen
robots.txt ist weder Authentifizierung noch Lizenz noch Zitationsgarantie.
Schützen Sie private Daten per Zugriffskontrolle, messen Sie Logs getrennt und prüfen Sie Änderungen der Tokens.
Praktische Checkliste
Diese Schritte machen aus dem Prinzip des Artikels eine wiederholbare redaktionelle und messtechnische Routine.
- Notieren Sie URL, Token und Datum, bevor Sie eine Regel ändern.
- Trennen Sie veröffentlichte Richtlinie, beobachtete HTTP-Antwort und Suchsichtbarkeit.
- Verlinken Sie offizielle Dokumentation und nennen Sie die Grenzen des Tests.
Häufige Fragen
Blockiert GPTBot auch KI-Suche?
Nicht zwingend bei getrennten Tokens; prüfen Sie aktuelle Dokumentation und Antworten.
Ist das Rechtsberatung?
Nein. Lassen Sie Rechte und Verträge fachlich prüfen.