Resumen
Finalidad
Collects data for Semrush SEO products.
User-agent exacto
SemrushBot
robots.txt
Ejemplo para permitir
User-agent: SemrushBot Allow: /
Ejemplo para bloquear
User-agent: SemrushBot Disallow: /
Limitación importante
El resultado de robots.txt describe la regla publicada para la ruta probada. No demuestra rastreo, indexación, entrenamiento ni citas.
Pregunta frecuente
¿Esta regla controla todos los productos del mismo operador?
No. Un operador puede publicar tokens distintos para entrenamiento, búsqueda y recuperación solicitada por el usuario.
Fuente oficial
Consult the operator’s current documentation before publishing a policy change.