Il lit la politique robots.txt publique, les tokens documentés, les fichiers de découverte, les réponses techniques et les signaux d’indexation. Le résultat décrit l’URL testée à un instant donné.
Peut-on autoriser la recherche IA et bloquer l’entraînement ?
Souvent oui. La recherche, l’entraînement et la récupération à la demande peuvent utiliser des user-agents différents. Vérifiez la documentation de chaque opérateur et écrivez des groupes explicites.
robots.txt protège-t-il le contenu privé ?
Non. robots.txt exprime une préférence pour les robots coopératifs. Utilisez l’authentification et l’autorisation pour les données sensibles.
L’audit nécessite-t-il une clé API ?
Non. Le vérificateur public récupère des preuves accessibles sans clé. Il complète les journaux serveur et Search Console, sans les remplacer.
