Permitir búsqueda IA y bloquear entrenamiento
Búsqueda, entrenamiento y recuperación son finalidades distintas. Una política puede decidir por token en lugar de aplicar un wildcard a todos los productos.
Relaciona cada user-agent documentado con búsqueda, entrenamiento o recuperación solicitada.
Empieza por la finalidad
Relaciona cada user-agent documentado con búsqueda, entrenamiento o recuperación solicitada.
Puedes permitir un token de búsqueda, bloquear uno de entrenamiento y decidir aparte sobre un fetcher de usuario. Comprueba documentación y fecha de revisión.
Usa grupos explícitos
Escribe grupos específicos, recupera el archivo desplegado y prueba rutas representativas.
Un ejemplo puede permitir OAI-SearchBot y bloquear GPTBot, pero la política real depende de derechos, contratos y asesoramiento legal.
Explica los límites
robots.txt no es autenticación, licencia ni garantía de citas.
Protege datos privados con control de acceso, mide logs aparte y revisa la política cuando cambien los tokens.
Lista práctica
Estas etapas convierten el principio del artículo en un hábito editorial y de medición reproducible.
- Registra la URL exacta, el token y la fecha antes de cambiar una regla.
- Separa la directiva publicada, la respuesta HTTP observada y la visibilidad en búsqueda.
- Enlaza la documentación oficial y explica qué no puede demostrar la prueba.
Preguntas frecuentes
¿Bloquear GPTBot bloquea la búsqueda IA?
No necesariamente si hay tokens separados; comprueba documentación y respuestas actuales.
¿Es asesoramiento legal?
No. Consulta a un profesional sobre derechos y contratos.