Überblick
Zweck
Builds Ahrefs search and SEO datasets.
Exakter User-Agent
AhrefsBot
robots.txt
Allow-Beispiel
User-agent: AhrefsBot Allow: /
Block-Beispiel
User-agent: AhrefsBot Disallow: /
Wichtige Einschränkung
Das robots.txt-Ergebnis beschreibt die veröffentlichte Regel für den getesteten Pfad. Es beweist weder Crawling noch Indexierung, Training oder Zitate.
Häufige Frage
Steuert diese Regel alle Produkte desselben Betreibers?
Nein. Betreiber können getrennte User-Agents für Training, Suche und nutzergesteuerten Abruf veröffentlichen.
Offizielle Quelle
Consult the operator’s current documentation before publishing a policy change.